止于正

针对工业互联网场景下设备数据采集与生产环境信息同步的需求，开发了这套C++高性能分布式数据采集与处理服务。系统支持从多源工业网站、API接口异步采集设备运行数据、生产指标与行业资讯，实现数据清洗、结构化解析与实时入库。采用Boost.Asio异步IO架构，单节点并发采集能力达1000+/秒，同时支持断点续采、异常重试与IP池轮换，有效保障数据采集的稳定性与完整性，为工业数据分析与决策提供可靠的数据支撑。

基于工业设备采集的时序数据，开发了一套轻量级异常检测算法Demo。通过滑动窗口统计、3σ原则对设备运行指标进行异常识别，支持数据可视化展示与异常点标记，可用于快速发现设备运行中的异常波动，辅助工业运维人员进行故障预判，提升数据驱动运维的效率。

1、立项背景和目标：制造工厂数字化转型，需要自动化采集产线设备运行指标、行业资讯数据，项目旨在搭建分布式爬虫+时序存储一体化平台，解决多源工业数据零散、人工采集效率低下的痛点。 2、软件核心模块：分为分布式爬虫采集模块、Redis任务缓存模块、Druid时序存储模块、异常重试管控模块四大模块。 3、业务流程：依托KVM云集群部署程序→定向抓取工业站点/API数据→数据清洗过滤→缓存临时落库→海量时序数据存入Druid，配套断点续爬、故障重跑能力。