多源数据采集与智能分析系统-可定制化数据采集与可视化平台
2026-04-21 15:45:24
行业：大数据、政务服务
载体：爬虫/脚本、Windows应用
技术：PyAutoGUI、SQLite、Scrapy、Selenium WebDriver
业务和功能介绍
1. 立项背景和目标
在日常数据分析与信息监测工作中，多个垂直领域的数据（如城市交通拥堵指数、在线编程题库、政府公共资源交易公告）分散在不同平台，手工收集效率低下且难以持续。本项目旨在构建一套可扩展的多源数据采集与可视化分析系统，实现自动化抓取、结构化存储与图表化展示，为交通研究、求职备考、招投标监测等场景提供数据支撑。
2. 软件功能、核心功能模块的介绍
系统包含三大模块：
交通拥堵监测模块：通过高德地图公开API实时获取全国城市拥堵排名、拥堵延迟指数、周环比变化及畅通速度，并利用PyEcharts生成交互式柱状图，直观展示前十名城市的多维指标对比。
题库采集模块：针对牛客网平台，分别爬取“专项练习”“笔试真题”“面试真题”“在线编程”四类题目。支持按知识点ID筛选、设置试卷数量、去重存储，并获取在线编程题的高分Python3代码作为参考。
公共资源交易模块：对接广东省和福建省公共资源交易平台，支持按公告类型（工程建设/政府采购）、页数等参数筛选，破解AES加密响应，提取公告标题、发布时间、来源、公告内容等关键字段，并清洗HTML为纯文本。
3. 业务流程、功能路径描述
用户通过修改脚本头部的配置参数（如爬取页数、题目数量、知识点ID、筛选类型等）即可启动对应模块。爬虫自动请求目标接口，解析JSON或HTML响应，处理反爬机制（签名、加密），提取所需字段，最终输出为JSON或TXT文件。交通模块额外生成HTML图表，可直接在浏览器中交互查看。
在日常数据分析与信息监测工作中，多个垂直领域的数据（如城市交通拥堵指数、在线编程题库、政府公共资源交易公告）分散在不同平台，手工收集效率低下且难以持续。本项目旨在构建一套可扩展的多源数据采集与可视化分析系统，实现自动化抓取、结构化存储与图表化展示，为交通研究、求职备考、招投标监测等场景提供数据支撑。
2. 软件功能、核心功能模块的介绍
系统包含三大模块：
交通拥堵监测模块：通过高德地图公开API实时获取全国城市拥堵排名、拥堵延迟指数、周环比变化及畅通速度，并利用PyEcharts生成交互式柱状图，直观展示前十名城市的多维指标对比。
题库采集模块：针对牛客网平台，分别爬取“专项练习”“笔试真题”“面试真题”“在线编程”四类题目。支持按知识点ID筛选、设置试卷数量、去重存储，并获取在线编程题的高分Python3代码作为参考。
公共资源交易模块：对接广东省和福建省公共资源交易平台，支持按公告类型（工程建设/政府采购）、页数等参数筛选，破解AES加密响应，提取公告标题、发布时间、来源、公告内容等关键字段，并清洗HTML为纯文本。
3. 业务流程、功能路径描述
用户通过修改脚本头部的配置参数（如爬取页数、题目数量、知识点ID、筛选类型等）即可启动对应模块。爬虫自动请求目标接口，解析JSON或HTML响应，处理反爬机制（签名、加密），提取所需字段，最终输出为JSON或TXT文件。交通模块额外生成HTML图表，可直接在浏览器中交互查看。
项目实现
1. 整体架构和设计思路，不同模块使用的技术栈
项目采用模块化脚本架构，每个功能独立为一个Python文件，便于维护和扩展。
网络请求层：统一使用Requests库，针对不同站点定制Headers（含Cookie、Referer、User-Agent）。
反反爬层：对福建省平台实现AES-CBC解密（pycryptodome）及自定义MD5签名生成；对牛客网使用动态时间戳参数。
解析层：JSON数据直接解析；HTML页面使用BeautifulSoup提取题目、样本、模板代码等。
可视化层：PyEcharts绘制柱状图，配置轴标签、图例、数据标签，支持Jupyter Notebook内嵌展示。
数据存储：采用JSON格式保留结构化数据（题库），TXT格式保存招投标公告（便于检索），支持追加写入和去重逻辑。
2. “我”的负责模块和结果（尽可能量化）
我独立完成了所有模块的开发与调优：
交通模块：成功爬取高德API实时数据，生成全国拥堵榜单柱状图，数据更新延迟小于5秒。
题库模块：支持22道在线编程题的高分代码获取（每道题前3名），累计爬取专项练习知识点42个、笔面试真题各10套，去重后题目数量超过300道。
招投标模块：实现广东省平台自动翻页（最大10页，每页10条），福建省平台AES解密成功率100%，累计采集有效公告200余条。
3. “我”遇到的难点、坑，和解决方案
难点1（福建省平台AES加密）：响应数据被AES-CBC加密且带PKCS7填充。通过逆向前端JS，找到密钥EB444973714E4A40876CE66BE45D5930和IVB5A8904209931867，编写解密函数，成功还原JSON。
难点2（牛客网在线编程题动态内容）：题目描述被隐藏在绝对定位的
项目采用模块化脚本架构，每个功能独立为一个Python文件，便于维护和扩展。
网络请求层：统一使用Requests库，针对不同站点定制Headers（含Cookie、Referer、User-Agent）。
反反爬层：对福建省平台实现AES-CBC解密（pycryptodome）及自定义MD5签名生成；对牛客网使用动态时间戳参数。
解析层：JSON数据直接解析；HTML页面使用BeautifulSoup提取题目、样本、模板代码等。
可视化层：PyEcharts绘制柱状图，配置轴标签、图例、数据标签，支持Jupyter Notebook内嵌展示。
数据存储：采用JSON格式保留结构化数据（题库），TXT格式保存招投标公告（便于检索），支持追加写入和去重逻辑。
2. “我”的负责模块和结果（尽可能量化）
我独立完成了所有模块的开发与调优：
交通模块：成功爬取高德API实时数据，生成全国拥堵榜单柱状图，数据更新延迟小于5秒。
题库模块：支持22道在线编程题的高分代码获取（每道题前3名），累计爬取专项练习知识点42个、笔面试真题各10套，去重后题目数量超过300道。
招投标模块：实现广东省平台自动翻页（最大10页，每页10条），福建省平台AES解密成功率100%，累计采集有效公告200余条。
3. “我”遇到的难点、坑，和解决方案
难点1（福建省平台AES加密）：响应数据被AES-CBC加密且带PKCS7填充。通过逆向前端JS，找到密钥EB444973714E4A40876CE66BE45D5930和IVB5A8904209931867，编写解密函数，成功还原JSON。
难点2（牛客网在线编程题动态内容）：题目描述被隐藏在绝对定位的
中，常规选择器无法获取。改用BeautifulSoup查找style属性包含position:absolute的容器，提取完整HTML后移除干扰元素。
难点3（大规模题库去重）：不同试卷可能包含相同题目。引入全局set存储uuid，在添加每道题前校验，避免重复存储，最终去重率达15%。
难点4（签名生成逻辑）：福建省接口要求参数按key排序后拼接密钥再MD5。通过抓包比对，实现精确复现，并通过portal-sign头传递，解决鉴权问题。
难点3（大规模题库去重）：不同试卷可能包含相同题目。引入全局set存储uuid，在添加每道题前校验，避免重复存储，最终去重率达15%。
难点4（签名生成逻辑）：福建省接口要求参数按key排序后拼接密钥再MD5。通过抓包比对，实现精确复现，并通过portal-sign头传递，解决鉴权问题。
示例图片视频
相似推荐
MyOA-企业管理系统
技术栈：SpringBoot2.7.18+Shiro1.13.0+Activiti6+Vue3.0+Ant-Design-Vue4.0+Bpmn.js+MySQL8.0
系统模块描述：
一、系统管理模块：
1，登录日志。
2，查看操作日志功能，利用spring的aop实现记录操作的功能，用于权限审计。
3，监听在线用户功能，利用shiro的sessionDao查询session，如发现异常IP可以踢下线，可在用户管理禁用用户。
4，数据库字典功能，减少后台枚举类的更新和维护。
5 , 阿里druid监控数据库，可添加白名单防止外网登录。
6 , swagger在线 API , 整合swagger轻松与前端测试解决接口沟通问题。
7 , 定时任务管理，可使用cron图形表达式编辑，Java反射调用service，支持动态配置传参，系统触发任务使用正常线程池，人为立即执行使用异步线程池。
8 , 系统监控, 监控CPU、内存和硬盘。
9 ，消息推送。
10，需求提交。
二、组织权限管理：
1 ,组织管理，公司、部门、职位、人员四级组织架构。
2 ,角色管理，角色维护分配权限。
3 ,用户管理，与组织架构绑定，禁用用户重置密码。
4 ,权限管理，遵循标准RBAC权限模型，开关式设计线上出问题可立即禁用。
三、流程管理：
1，在线绘制流程图，整合Activiti-Modeler、BPMN.js
2，流程部署管理，可以对流程模型或文件进行部署、重绘、删除，部署和模型相互转化。线上随时发布修改。
3，用户管理。
4，用户组管理。
5，流程监控，对项目中的流程实例进行监控、挂起、停止、查看流程的状态图。
四、办公管理：
1，代办任务，所有不同流程任务及业务数据展示、领取、办理、转办、委托统一管理。
2，已办任务。
3，我的流程。所有不同流程实例及业务数据展示，流程状态查询，可撤销流程实例。
4，我的报销。
5，我的请假。
6，我的出差。
7，新闻管理。
8，公告管理。
9，公文管理。审批完成后传阅任务多实例。
五、邮件管理，webamin管理用户域名，JavaMailSender用于邮件CRUD，自定义Flags满足类似QQ邮箱星标收藏功能。
六、日程管理
七、代码生成，freemarker动态生成controller、service、dao、entity、sql、vue。提高开发效率，生成的类动态注册加载。
八、ChatAi。
九、知识库。
十、企业云盘
某省社保医保数据同步项目
使用 Oracle GoldenGate 解决复杂的数据同步难题。
业务场景：核心交易库向分析库同步、上云迁移、灾备搭建。
技术栈：OGG 12c/19c/21c 全版本部署、性能调优、异构（Oracle->MySQL/Kafka）映射。
合作价值：提供亚秒级延迟的数据同步方案，保障您的业务连续性，让数据迁移不再需要漫长的停机窗口。
企业定制化开发-Teamcenter
面向企业设计制造过程中PDM系统的定制化开发，PDM是企业由产品由物料采购>设计>生产加工>组装>销售整体环节中的设计一环，往往伴随着二维/三维的相关内容，诸如设计图纸/设计模型等。
涉及到模块有：
- 项目管理：在Teamcenter中根据项目管控整体的物料信息
- 工艺：物料采用何种加工方式，制造目标，及对应工序，工时等
- 工时：每工序所涉及的工时
- 报表：物料报表，材料明细表，材料明细表
- 与其他系统集成（如：MES、ERP、CRM、MDM等）
- 流程执行handler等相关内容：Word签字、Excel签字、Office转PDF、PDF签字等
Yoxi游戏充值平台-Yoxi
1.Yoxi是一个提供多个安卓游戏平台充值的APP，1个平台即可解决多个平台游戏充值的问题。
2.提供多个三方平台（如：3011， 果盘等）折扣充值的功能，用户可在任意游戏中选择任意平台进行充值，并且享受低折扣。
3.Yoxi还提供各种积分，优惠券等福利，更进一步享受折上折的优惠。
经营管理系统
经营管理系统围绕企业核心运营场景构建，集项目合同全生命周期管理、重点工作任务跟踪与过程管控、经营数据统计分析及报表自动生成、目标分解与绩效考核、以及多维度数据驱动的领导决策支持于一体。系统通过统一数据口径与业务流程，实现信息集中化、管理可视化与决策科学化，有效提升企业运营效率、风险管控能力和精细化管理水平。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服