诺和官网

1、主要用来采集用户输入车架号vin17/后8位 进行指定品牌数据采集整理并完成自动化清洗入库。 2、使用web 页面进行每日数据采集的走势，可以监控每日数据采集量 3、提供API 接口可供其他前后端调用 4、自动登录，验证码识别，动态js 指纹解密，自动整理数据脚本，自动化入库处理 5、使用到使用是python +flask+js+mysql 处理、隐藏navigator.webdriver爬虫标识等等

1、立项背景和目标：制造工厂数字化转型，需要自动化采集产线设备运行指标、行业资讯数据，项目旨在搭建分布式爬虫+时序存储一体化平台，解决多源工业数据零散、人工采集效率低下的痛点。 2、软件核心模块：分为分布式爬虫采集模块、Redis任务缓存模块、Druid时序存储模块、异常重试管控模块四大模块。 3、业务流程：依托KVM云集群部署程序→定向抓取工业站点/API数据→数据清洗过滤→缓存临时落库→海量时序数据存入Druid，配套断点续爬、故障重跑能力。

SIS系统作为面向生产过程的信息系统，实现单元机组DCS、ECS、化水、输煤、除灰、数字煤场等系统联网，完成全厂生产实时数据的采集和历史数据存储，支持群集或热备工作方式进行故障切换。 可对接opcda，opcua、modbus、scada等多种工业物联网数据采集协议。系统稳定运行5年确保24*7数据采集不间断。 提供的SIS系统应包含厂级监控应用软件，实时数据采集和历史数据存储功能、厂级生产过程监视和管理功能、性能计算、耗差分析、测点查看、趋势查看、过程回放，机组性能指标分析，优化运行曲线和设备操作指导，设备状态监测，机组在线性能试验、数据报表统计和分析。

基于工业设备采集的时序数据，开发了一套轻量级异常检测算法Demo。通过滑动窗口统计、3σ原则对设备运行指标进行异常识别，支持数据可视化展示与异常点标记，可用于快速发现设备运行中的异常波动，辅助工业运维人员进行故障预判，提升数据驱动运维的效率。

针对工业互联网场景下设备数据采集与生产环境信息同步的需求，开发了这套C++高性能分布式数据采集与处理服务。系统支持从多源工业网站、API接口异步采集设备运行数据、生产指标与行业资讯，实现数据清洗、结构化解析与实时入库。采用Boost.Asio异步IO架构，单节点并发采集能力达1000+/秒，同时支持断点续采、异常重试与IP池轮换，有效保障数据采集的稳定性与完整性，为工业数据分析与决策提供可靠的数据支撑。