业务和功能介绍
（1）爬取首页所有最新案例
（2）需要每个案例的具体信息，点击链接进入第二个标签页获取（如图2），词条内容如果为URL的直接抓取链接放进表格即可，如果没有信息的词条为空
（3）爬取数据以excel表格为结果进行输出
（2）需要每个案例的具体信息，点击链接进入第二个标签页获取（如图2），词条内容如果为URL的直接抓取链接放进表格即可，如果没有信息的词条为空
（3）爬取数据以excel表格为结果进行输出
项目实现
一、整体架构与技术栈
项目基于 Scrapy 框架实现模块化设计，遵循 “数据定义 - 爬取解析 - 中间件处理 - 数据持久化” 的核心流程。技术栈方面，以 Python 为开发语言，核心依赖 Scrapy 框架实现异步爬取；通过 XPath 语法解析 HTML 页面结构；借助 scrapy-user-agents 库提供随机 User-Agent；利用 CSV 模块实现数据存储；通过 Settings 配置并发控制、反爬策略与日志管理，各模块各司其职、高效协作。
二、个人负责模块与量化成果
我主要负责核心爬虫逻辑开发（cmcc_dlut.py）与数据持久化模块（pipelines.py）。在爬虫开发中，实现了分页请求生成、案例 URL 提取与去重、28 个案例字段的精准解析逻辑，支撑 569 页（共 10228 条案例）的完整爬取；在数据持久化方面，设计中文表头 CSV 写入逻辑，实现数据实时落地，最终成功爬取并存储 10228 条案例数据，字段解析正确率达 99.5%，无重复数据与数据丢失问题，爬取过程稳定无封禁。
三、难点、坑与解决方案
反爬限制难点：目标网站对固定 User-Agent 敏感，初始爬取易被封禁。解决方案：在 Settings 中配置随机 User-Agent 中间件，禁用默认 UA 中间件，搭配 AUTOTHROTTLE 动态延迟（初始 1 秒、最大 5 秒）与 DNS 缓存，平衡爬取效率与反爬规避，最终实现全程无封禁。
重复 URL 问题：列表页存在重复案例 URL，导致重复爬取与资源浪费。解决方案：通过 list (set (case_urls)) 对提取的 URL 去重，确保每个案例仅请求一次，减少无效请求，爬取效率提升 30%。
数据解析完整性问题：部分案例存在字段缺失、文本空格冗余等情况，导致解析失败。解决方案：为每个字段添加 strip () 清洗与空值判断，缺失时记录警告日志，避免数据中断，同时保证存储数据的规范性，最终字段解析成功率达 99.5%。
项目基于 Scrapy 框架实现模块化设计，遵循 “数据定义 - 爬取解析 - 中间件处理 - 数据持久化” 的核心流程。技术栈方面，以 Python 为开发语言，核心依赖 Scrapy 框架实现异步爬取；通过 XPath 语法解析 HTML 页面结构；借助 scrapy-user-agents 库提供随机 User-Agent；利用 CSV 模块实现数据存储；通过 Settings 配置并发控制、反爬策略与日志管理，各模块各司其职、高效协作。
二、个人负责模块与量化成果
我主要负责核心爬虫逻辑开发（cmcc_dlut.py）与数据持久化模块（pipelines.py）。在爬虫开发中，实现了分页请求生成、案例 URL 提取与去重、28 个案例字段的精准解析逻辑，支撑 569 页（共 10228 条案例）的完整爬取；在数据持久化方面，设计中文表头 CSV 写入逻辑，实现数据实时落地，最终成功爬取并存储 10228 条案例数据，字段解析正确率达 99.5%，无重复数据与数据丢失问题，爬取过程稳定无封禁。
三、难点、坑与解决方案
反爬限制难点：目标网站对固定 User-Agent 敏感，初始爬取易被封禁。解决方案：在 Settings 中配置随机 User-Agent 中间件，禁用默认 UA 中间件，搭配 AUTOTHROTTLE 动态延迟（初始 1 秒、最大 5 秒）与 DNS 缓存，平衡爬取效率与反爬规避，最终实现全程无封禁。
重复 URL 问题：列表页存在重复案例 URL，导致重复爬取与资源浪费。解决方案：通过 list (set (case_urls)) 对提取的 URL 去重，确保每个案例仅请求一次，减少无效请求，爬取效率提升 30%。
数据解析完整性问题：部分案例存在字段缺失、文本空格冗余等情况，导致解析失败。解决方案：为每个字段添加 strip () 清洗与空值判断，缺失时记录警告日志，避免数据中断，同时保证存储数据的规范性，最终字段解析成功率达 99.5%。
示例图片视频
相似推荐
基于Stm32的大地电磁实时数据采集系统
本项目是一套面向大地电磁（MT）现场测量的数据采集终端软件，运行于 STM32H723 平台。系统通过 ADS1262 高精度模数转换器同步采集电场 Ex 和磁场 Hy 两路原始时域信号，支持低频、高频两类采样任务及采样率、增益等参数配置。采集数据按“项目—测点—频段—通道”组织并保存为原始数据文件，同时记录测点号、GPS 时间、定位、通道及采样参数等元数据。系统支持通过 LoRa/LoRaWAN 进行设备状态上报、命令交互和数据文件传输，并提供采集过程监视、心跳、异常恢复和存储空间管理能力，为后续波形查看、频谱分析、解释处理、项目归档与数据追溯提供可靠的原始数据基础。
数据恢复软件
开发一款能够帮助个人用户恢复误删除、格式化、无法访问设备等丢失数据，需要解析fat、exfat、ntfs、hfs+、apfs文件系统的数据格式，通过算法找到丢失的数据，恢复用户丢失的数据，同时也支持通过查找丢失文件内容特征来找到丢失的数据，提供预览功能，帮助个人用户更好的确认要恢复的数据
云帆智能客服系统（基于 Multi-Agent 架构的智能客服中台）
基于 LangGraph 构建 Multi-Agent 智能客服中台：三层意图识别架构 （规则引擎→RAG 语义匹配→LLM 深度理解，技术递进：零 Token→零 LLM→深度理解）分发 至 FAQ-RAG/订单状态机/退换货 HitL 审批/投诉升级四类 Agent，SSE 流式响应，区分实时 业务调用与知识库检索，高风险售后流程经人工审批管控，三层兜底保障高可用。
智能交互大屏-智能交互大屏
本项目为自研首款 8K 智慧云屏配套客户端软件，采用高规格 8K 显示、一体式硬件整机架构及 X86 安卓 + Windows 双系统共享硬件方案。基于 WPF 技术栈从零打造大屏全套软件体系，覆盖白板书写、屏幕批注、系统设置、Launcher 桌面、侧边栏快捷工具、分屏交互、OTA 固件升级、设备集控、外设管控等 20 余个应用模块与核心功能组件，满足政企会议、智慧办公、工业数字孪生等场景下的高清交互、设备管控、系统运维需求，实现高分辨率触控终端的智能化、一体化软件体验。
手环授时
手环通过串口连接到电脑，软件通过http跟服务器求情，将请求返回的数据通过串口发送给手环进行授时，还需要今天定时请求，对手环进行授权，手环授权以后才可以刷闸机进入使用，时间是通过前端设置保存到后端。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服