程序聚合 软件案例 长期爬虫项目

长期爬虫项目

2026-04-11 20:50:38
行业:工业互联网、大数据
载体:网站、爬虫/脚本
技术:Python、Selenium

业务和功能介绍

1. 利用 request 请求获取政府部门多个栏目信息
2. 通过 xpath、bs4 等模块解析 html 数据
3. 通过 mysql 存储过程存储数据
4. 利用 DrissionPage、Playwright 等自动化工具
抓取数据
5. 通过数据接口抓取并存储企某查网站数据
6. 将获取的数据进行数据清洗
7. 同时负责一些数据后台网页端的功能测试项目

项目实现

1. 利用 request 请求获取政府部门多个栏目信息
2. 通过 xpath、bs4 等模块解析 html 数据
3. 通过 mysql 存储过程存储数据
4. 利用 DrissionPage、Playwright 等自动化工具
抓取数据
5. 通过数据接口抓取并存储企某查网站数据
6. 将获取的数据进行数据清洗
7. 同时负责一些数据后台网页端的功能测试项目

示例图片视频


fengstorm
30天前活跃
方向: 后端-Python、人工智能-AI应用开发、
交付率:100.00%
相似推荐
基于深度学习的烟叶烘烤程度识别软件
通过物联网连接工控机调用摄像头采集烟叶烘烤图像,将图像数据传输上服务器,服务器启用深度模型对图像数据进行识别和检测,然后将数据保存在服务器中,并将检测结果和数据返回移动端APP应用进行显示和数据管理,辅助生产管理人员进行相应的的生产管理。
大型扶梯监控设备
嵌入式 arm 设备开发,用于监控大型扶梯的运行状况,如有异常及时报送便于消除隐患。 设备连接多种传感器(振动、转速、温度、电流、电压、激光位移、霍尔、声音采集等等多种传感器),传感器数量有十几个。即时采集各种传感器,把采集的原始数据用各种算法计算,和设定的阈值比较,判断扶梯是否异常或者由潜在风险。定时上报信息。接收中心服务器发送指令、包括接收升级指令进行升级,定时及异常时即时报送给中心服务器。 使用了线性回归这种初级的机器学习来换算各种负载情况下各相关传感器的合理阈值。 嵌入式的 cpu 主频只有 1G。存储读写速度低。在各传感器读取数据大,交互频繁。计算频繁高(有的传感器采样频率上万(每秒上万条数据),各种传感器平均几秒内就分别要运算一次(比如取平均值,比如取每 10秒内的最大值,然后取一分钟内这 6 个最大值的最小值,比如通过传感器电压最大最小值的差距计算噪声分贝值,并计算出一个时间的平均值),运行一次处理几千条数据)。还对电流等进行频谱分析。设计成数据采集层、数据存储层、数据缓存层、数据报送层。各层异步模式交互。
矿山井下车辆智能红绿灯调度系统
1、立项背景和目标:地下矿山巷道狭窄、视线差,车辆交汇时存在严重安全隐患。传统红绿灯采用固定时长轮询控制,无法根据实际车流动态调整,导致通行效率低下甚至拥堵。本项目目标是构建一套基于车辆实时定位的智能红绿灯调度系统,实现信号灯自适应控制,提升井下运输安全性与通行效率。 2、软件功能、核心功能模块的介绍: 设备统一接入中心:对接井下部署的PLC控制器、ModBus雷达测距仪、UDP/TCP信号机及OPC UA采集终端,实现多协议设备数据标准化采集与双向指令下发。 实时定位追踪引擎:基于UWB基站与车载终端融合定位,计算车辆实时位置、速度与行驶方向,预测到达路口的时间窗口。 智能红绿灯控制:突破固定时长轮询模式,根据车辆接近距离和当前相位动态调整绿信比;同时集成AI摄像仪识别结果,检测到行人或异常滞留时自动保持红灯并触发告警。 可视化调度大屏:实时展示井下车辆分布热力图与各信号机运行状态。 3、业务流程、功能路径描述:车辆定位终端上报位置 → 定位引擎计算轨迹与预计到达时间 → 调度算法根据多车优先级分配绿灯窗口 → 指令下发至信号机执行变灯 → 同时推送状态至调度大屏与车载终端。
物联网网关
本产品旨在解决工业物联网场景下,传感器终端设备数据无法远程采集、设备无法远程管理与配置的痛点。在电力设备在线监测、工业设备状态监控等业务场景中,大量分散部署的传感器需要通过低功耗无线方式将采集数据汇聚上传至云平台,同时接收云平台下发的配置指令、参数调整、固件升级等操作。传统有线采集方案布线成本高、部署不灵活,而纯无线方案又面临数据可靠性、安全性和实时性的挑战。本网关通过 BLE+4G 双模通信架构,实现了传感器数据的高效汇聚与云端同步,填补了工业现场低功耗传感器到云平台之间"最后一公里"的通信链路空白。
2.5D车规多芯粒集成芯片-整车一体化控制芯片-整车一体化控制芯片
业务和功能介绍(纯净可直接复制) 当前海外高端车规芯片限售封锁,国内车企存在芯片采购成本高、供应链受制于人难题,本项目目标打造国产2.5D异构集成车规芯粒方案,摆脱海外IP依赖。核心功能是把整车37颗分立车规芯片整合划分三合一、七合一、八合一多档芯粒模块,覆盖车身控制、座舱交互、自动驾驶、电源功率全领域功能。业务流程可适配5nm至180nm全国产工艺流片,面向车企、芯片厂商提供定制开发服务,针对海外卡脖子替代项目执行市场价五折优惠,助力国内车载芯片产业自主化发展。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服