行业数据采集与AI处理系统-Beauty Device News Monitor & Intelligence System
2026-05-14 20:40:56
行业：电商、企业服务(saas)
载体：爬虫/脚本、操作系统
技术：Python、SQLite
业务和功能介绍
该项目为跨境电商美容仪器行业打造了一套全自动新闻情报采集与智能分析系统。
立项背景：美容仪器行业产品迭代快、全球竞品动态分散在多个信息源，客户需要每天从国内（百度/微信/36氪）和国际（NewsAPI/Google News）等渠道收集行业新闻，但人工搜索耗时且容易遗漏。
核心功能模块：
1. 多源新闻采集引擎：同时抓取聚合数据API（国内新闻）和NewsAPI（国际新闻），每日定时执行
2. 智能去重与分类：基于关键词匹配自动将新闻分为"新品发布""技术突破""市场趋势""竞品动态"四类
3. 飞书多维表格自动入库：采集结果自动写入飞书Bitable，支持多条件筛选和状态标记
4. 异常监控告警：当采集失败或IP被屏蔽时自动发送飞书通知
业务流程：定时任务触发 → 多API并发请求 → 数据清洗去重 → AI分类打标 → 飞书表格写入 → 异常告警通知。
立项背景：美容仪器行业产品迭代快、全球竞品动态分散在多个信息源，客户需要每天从国内（百度/微信/36氪）和国际（NewsAPI/Google News）等渠道收集行业新闻，但人工搜索耗时且容易遗漏。
核心功能模块：
1. 多源新闻采集引擎：同时抓取聚合数据API（国内新闻）和NewsAPI（国际新闻），每日定时执行
2. 智能去重与分类：基于关键词匹配自动将新闻分为"新品发布""技术突破""市场趋势""竞品动态"四类
3. 飞书多维表格自动入库：采集结果自动写入飞书Bitable，支持多条件筛选和状态标记
4. 异常监控告警：当采集失败或IP被屏蔽时自动发送飞书通知
业务流程：定时任务触发 → 多API并发请求 → 数据清洗去重 → AI分类打标 → 飞书表格写入 → 异常告警通知。
项目实现
整体架构采用Python + 多源API + 飞书开放平台的轻量级方案。
技术架构：使用Python asyncio实现多API并发采集，通过字典树算法进行新闻标题去重（准确率>95%），集成飞书Open API实现Bitable自动写入，部署在Windows Server定时任务中每日09:00自动运行。
我负责整个系统的全栈开发：从需求分析、API选型、数据清洗逻辑、飞书表格字段设计到最终部署上线，独立完成约800行Python代码。实现了日均采集50+条行业新闻、去重准确率95%+、飞书入库成功率100%。
遇到的主要难点：
1. NewsAPI国际新闻源在中国大陆被屏蔽 → 解决方案：对接Smartproxy静态住宅IP代理，通过requests proxy参数绕过限制
2. 聚合数据API返回格式不一致（部分新闻缺摘要/作者字段）→ 设计容错解析器，对缺失字段自动留空并标记"待补充"
3. 飞书API token过期自动续期 → 集成tenant_access_token自动刷新机制，确保长时间运行不掉线
技术架构：使用Python asyncio实现多API并发采集，通过字典树算法进行新闻标题去重（准确率>95%），集成飞书Open API实现Bitable自动写入，部署在Windows Server定时任务中每日09:00自动运行。
我负责整个系统的全栈开发：从需求分析、API选型、数据清洗逻辑、飞书表格字段设计到最终部署上线，独立完成约800行Python代码。实现了日均采集50+条行业新闻、去重准确率95%+、飞书入库成功率100%。
遇到的主要难点：
1. NewsAPI国际新闻源在中国大陆被屏蔽 → 解决方案：对接Smartproxy静态住宅IP代理，通过requests proxy参数绕过限制
2. 聚合数据API返回格式不一致（部分新闻缺摘要/作者字段）→ 设计容错解析器，对缺失字段自动留空并标记"待补充"
3. 飞书API token过期自动续期 → 集成tenant_access_token自动刷新机制，确保长时间运行不掉线
示例图片视频
相似推荐
聚合支付系统
该项目是通过对接不同的上游支付渠道，封装被扫/主扫支付、订单查询、支付异步回调、退款等全套HTTP接口。映射出不同的支付场景，例如POS机收款、商店收款码、商户收银插件、微信公众号、微信小程序等
商户进件成功后可以建立不同的门店，门店下可以新增店长店员。门店收载后店长可以查询门店交易信息，商户可以查询所有门店交易信息等等
量化
核心要解决的是加密货币量化交易的痛点：
人工盯盘不可持续 — 7×24 小时行情，人不可能实时做技术指标计算 + 风控 + 下单。
策略无法自动进化 — 传统量化策略写死参数后不会自我迭代。
赛道：加密货币衍生品
三模式运行：read_only（只读模拟）/ demo（模拟盘，自动加 x-simulated-trading）/ live（实盘，强制过安全检查清单）。
内部-宁波银行对公营销决策系统
该项目是宁波银行自己的名为星云平台中的脚手架搭建的微服务项目，本系统包含7个微服务分别 是：数据集服务、标签服务、客户群服务、决策服务、触点服务、事件服务、工单服务。整体是的数据集跑批到每个标签，客户群中配置每个客户群所包含的标签，用户主要在决策的画布中配置营销模型，包含决策所属的客户群，发放的权益种类、发放的时间和频率、发放后续的处理。主要用于银行在做一些业务推广时，需要通过发奖的方式达到宣传效果。会针对不同权益奖品所用到的不同的发放规则，发放客户群，发放时机落地到每一个策略中，以达到业务需求。
C++高性能量化回测系统-QuantPilot
面向个人投资者的A股策略回测平台，解决"策略上线前无法验证"的痛点。
核心功能：①双均线、动量、网格三类内置策略模板，支持参数化配置；②基于真实历史行情的逐笔撮合回测引擎；③收益曲线、最大回撤、夏普比率等绩效指标自动计算与可视化报告。使用流程：导入行情数据→选择策略配置参数→运行回测→查看绩效报告，全程无需编程基础。
某金融风控和模型系统
1. 风控决策引擎的研发与优化（核心主线）
这是我工作中最核心、贯穿始终的部分。我负责开发和维护机审规则引擎，它决定了贷款申请能否通过审批。具体工作包括：
开发了大量风控规则，例如：经纬度反欺诈规则、AppListName规则、银行卡信息核验、内部人脸黑名单（百度接口）、多平台共债规则、首复贷进件限制、逾期天数限制等。
主导了机审规则的两次大版本优化（2021/2/18-3/10），大幅提升了规则执行的效率与可维护性。
引入了RocketMQ，将风控规则调用、埋点数据上报等改为异步解耦，提升了系统吞吐量。
2. 多国支付网关对接（关键业务闭环）
我独立负责了泰国、尼日利亚、印尼等多个国家的支付渠道对接，完成了从支付下单、回调验签到放款、还款的完整闭环。其中：
尼日利亚支付是你投入时间最长的模块之一（持续从5月到7月），涉及Paystack渠道的深度集成，包括USSD还款、BVN（银行验证号）验证、核销对账等复杂业务。
我解决了多个生产环境的关键问题，如还款数据重复写入、姓名验证BUG等，保障了资金安全。
3. 电销与催收管理系统的功能开发
你为越南/菲律宾市场开发了电销名单自动分单系统，包括案件分配、回收时间逻辑、意向客户标记、拨打任务查询等功能，提升了贷后转化效率。同时，也涉及催收系统的部分功能（如手动分配催收订单）。
4. 数据模型与报表支持
我配合风控模型团队，将多个模型分（菲律宾模型02、越南H5模型、越南模型11/13、贷中评分卡模型等） 落地到系统中，并根据模型结果进行风险定价和档位评定。同时，我为运营提供了大量数据支持（如商户对账单、跑马灯SQL优化等）。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服