程序聚合 软件案例 长期爬虫项目

长期爬虫项目

2026-04-11 20:50:38
行业:工业互联网、大数据
载体:网站、爬虫/脚本
技术:Python、Selenium

业务和功能介绍

1. 利用 request 请求获取政府部门多个栏目信息
2. 通过 xpath、bs4 等模块解析 html 数据
3. 通过 mysql 存储过程存储数据
4. 利用 DrissionPage、Playwright 等自动化工具
抓取数据
5. 通过数据接口抓取并存储企某查网站数据
6. 将获取的数据进行数据清洗
7. 同时负责一些数据后台网页端的功能测试项目

项目实现

1. 利用 request 请求获取政府部门多个栏目信息
2. 通过 xpath、bs4 等模块解析 html 数据
3. 通过 mysql 存储过程存储数据
4. 利用 DrissionPage、Playwright 等自动化工具
抓取数据
5. 通过数据接口抓取并存储企某查网站数据
6. 将获取的数据进行数据清洗
7. 同时负责一些数据后台网页端的功能测试项目

示例图片视频


fengstorm
30天前活跃
方向: 后端-Python、人工智能-AI应用开发、
交付率:100.00%
相似推荐
端到端自动驾驶轻量化模型设计
本项目主要面向无人驾驶仿真研究、智能车辆轨迹跟踪与轻量化控制算法验证场景,围绕端到端自动驾驶技术开展系统设计与实验开发。项目基于 CARLA 仿真平台构建虚拟驾驶环境,通过采集车辆前视图像、行驶状态和控制指令等数据,训练轻量化神经网络模型,实现从环境感知输入到车辆控制输出的端到端映射。项目可用于自动驾驶算法教学、科研训练、数据采集、模型训练、仿真测试和轨迹跟踪效果评估,为低成本、高效率的自动驾驶算法验证提供支持。 本项目主要功能包括仿真环境搭建、自动驾驶数据采集、数据预处理、模型训练、模型推理和效果评估等模块。系统可在 CARLA 仿真环境中生成车辆行驶场景,自动采集车辆前方图像、方向盘转角、油门、刹车等控制数据,并生成对应的数据标签文件;同时支持对采集数据进行划分和预处理,形成训练集、验证集和测试集。模型部分采用轻量化端到端神经网络结构,通过输入车辆前视图像,直接预测车辆控制指令或轨迹跟踪相关参数,从而实现车辆在仿真道路中的自主行驶与轨迹跟踪。项目还支持训练过程记录、模型保存、测试推理和结果可视化,便于对算法性能进行分析和改进。
智慧园区管理平台
通过数字孪生技术,真实的真实整个园区的场景,通过物联网设备管理以及大数据分析,实时展示园区的整个状态。通过对接的硬件设备,实时显示园区的环境,气象,污水等数据,通过算法实现精准决策,完成控制设备的调控
电商平台web、app、小程序-石联网
石联网是全球最大石材行业国际性电子商务平台;由主站、会员站、手机站 、手机 app 、微信小程序、会员中心、后台管理构成,采用微服务模块化架构设计,运用新的.net core、webapi、efcode、await/async、多线程、rabbitmq、quartz.net、elasticsearch、redis、git、jenkins和devops 持续集成和自动化部署、ids 4身份认证、sqlserver 、vue/element-ui、Html5、js、css等技术
智能家居平台
1 全屋智能设备控制及场景定时控制(10多种设备)。 2 用户控制设备指令通过APP下发到平台,平台通过自定义协议下方到设备,实现用户和设备的交互。根据不用场景设置相应的设备关联控制和定时控制。 3 对接第三方设备天猫精灵、alexa、rokid语音机器人通过语音控制设备。
动态监控大屏系统
构建一个基于物联网设备运行数据的实时监控系统,通过大屏幕可视化展示设备运行状 态、性能指标和异常情况,帮助运维人员快速掌握设备整体运行状况,及时发现并处理潜 在问题,提高设备管理效率和系统可靠性。系统适用于制造业生产线、智慧楼宇、能源设 施等多种物联网应用场景
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服