工业边缘设备管理生态-OMES

1. 立项背景和目标 在日常数据分析与信息监测工作中，多个垂直领域的数据（如城市交通拥堵指数、在线编程题库、政府公共资源交易公告）分散在不同平台，手工收集效率低下且难以持续。本项目旨在构建一套可扩展的多源数据采集与可视化分析系统，实现自动化抓取、结构化存储与图表化展示，为交通研究、求职备考、招投标监测等场景提供数据支撑。 2. 软件功能、核心功能模块的介绍 系统包含三大模块： 交通拥堵监测模块：通过高德地图公开API实时获取全国城市拥堵排名、拥堵延迟指数、周环比变化及畅通速度，并利用PyEcharts生成交互式柱状图，直观展示前十名城市的多维指标对比。 题库采集模块：针对牛客网平台，分别爬取“专项练习”“笔试真题”“面试真题”“在线编程”四类题目。支持按知识点ID筛选、设置试卷数量、去重存储，并获取在线编程题的高分Python3代码作为参考。 公共资源交易模块：对接广东省和福建省公共资源交易平台，支持按公告类型（工程建设/政府采购）、页数等参数筛选，破解AES加密响应，提取公告标题、发布时间、来源、公告内容等关键字段，并清洗HTML为纯文本。 3. 业务流程、功能路径描述 用户通过修改脚本头部的配置参数（如爬取页数、题目数量、知识点ID、筛选类型等）即可启动对应模块。爬虫自动请求目标接口，解析JSON或HTML响应，处理反爬机制（签名、加密），提取所需字段，最终输出为JSON或TXT文件。交通模块额外生成HTML图表，可直接在浏览器中交互查看。

主要负责工作为使用 python +强化学习+实现群体智能算法开发后台训练端，在原有的基础上使用C#对网络空间靶场端功能进行再开发,使用现实靶场进行网络渗透，成功获取所需数据和整个靶场的网络情况，辅助同事使用 godot 开发展示端功能，然后结合三端实现此项目 开发攻击端，负责后端开发，使用大模型+意图槽位增加模型开发网络安全助手攻击端功能

猿急送是程序员兼职众包平台，为高效获取平台接单需求立项。脚本可抓取需求标题、薪资、技能要求等信息，完成数据清洗与结构化存储。功能路径为：发起页面请求→解析动态渲染内容→遍历分页→提取关键字段→本地 / 数据库落地保存，实现需求信息自动化采集。

LOL-DeepWinPredictor 是一款基于深度学习的英雄联盟比赛胜率预测系统，面向对局分析与战局决策场景，通过对海量历史对局数据的训练，实现对当前对局胜率的实时预测与可视化展示。核心功能模块分为三部分：一是数据采集模块，使用线程池并发爬取英雄联盟对局数据，通过 json 库完成字段提取与清洗，存储至 MongoDB 复制集保障数据高可用；二是模型预测模块，将 MongoDB 复制集数据通过 RocketMQ 消息队列传输至 Spark 集群进行分布式计算，完成大规模数据的批量推理；三是 Web 可视化模块，使用 Flask 搭建后端服务，前端基于原生 HTML + JavaScript 构建交互界面，集成 ECharts 绘制胜率对比图表，用户可直观查看各英雄组合的胜率分布与趋势分析。整体流程为：爬取数据 → 清洗入库 → 队列调度 → 集群计算 → Web 展示。

该系统采用阿里云技术存储大数据量的国产高分卫星影像数据产品，针对合作单位等需求量的的用户采用websocket 技术通讯,可 进行数据自动推送服务,个人用户可通过网站查询订购到最新的影像数据产品。 业绩: 该产品作为一个大型的遥感数据在线查询订购、数据推送平台，通过近两年的迭代研发和升级,平台功能日益完善,用户数量日趋增 多，在国内同行业领域已处于领先地位。