业务和功能介绍
本系统实现两套省级政府采购平台的招标公告全自动采集：
福建省平台（ggzyfw.fj.gov.cn）：MD5 请求签名破解 + AES-CBC 响应解密
广东省平台（ygp.gdzwfw.gov.cn）：双源 API 架构（门户列表+源平台详情）
总计采集 2000+ 条公告，每条包含项目名称、招标编号、招标人、招标代理、
合同估算价、投标/开标截止时间、公告正文全文等完整结构化字段。
可用于招投标信息整合、竞争对手分析、供应链情报等商业场景。
福建省平台（ggzyfw.fj.gov.cn）：MD5 请求签名破解 + AES-CBC 响应解密
广东省平台（ygp.gdzwfw.gov.cn）：双源 API 架构（门户列表+源平台详情）
总计采集 2000+ 条公告，每条包含项目名称、招标编号、招标人、招标代理、
合同估算价、投标/开标截止时间、公告正文全文等完整结构化字段。
可用于招投标信息整合、竞争对手分析、供应链情报等商业场景。
项目实现
── 福建平台 ──
- 逆向分析前端 JS bundle，提取 MD5 签名密钥和 AES 密钥/IV
- 实现参数排序拼接 → MD5(固定密钥+排序参数串) 生成 portal-sign 请求头
- AES-CBC 模式解密 API 返回的加密 JSON 数据体，还原真实数据
- 分页批量拉取公告列表 → 逐条请求详情（Info）→ 逐条请求正文（Content）
- 每个节点类型使用不同 API 端点，递归遍历 Nodes 树获取完整公告文本
- HTML → 纯文本清洗（去除标签、实体转义、空白规范化）
- 结构化输出 TXT（含项目名称/地区/平台/发布/截止/开标时间/全文）
── 广东平台 ──
- 门户列表 API：POST json 请求，携带 X-Dgi-Req-Nonce(16位随机) +
X-Dgi-Req-Timestamp(毫秒级时间戳) 绕过基础反爬
- 限流处理：检测 HTTP 429 自动等待 15s 重试，3 次限流后停止
- 源平台详情 API(gdgpo.czt.gd.gov.cn)：通过 projectCode 关联查询
正文内容（两阶段：先查 info 列表获取 ID，再按 ID 获取详情）
- ThreadPoolExecutor(3线程) 并发拉取详情内容，带 0.5s 间隔
- 智能 HTML 清洗：去除 script/style 标签、处理 Word 文档的磅值/样式标签
外语标记(EN-US/ZH-CN)等噪音
- 输出 JSON + TXT 双格式，JSON 含完整结构化字段，TXT 含全文排版
- 逆向分析前端 JS bundle，提取 MD5 签名密钥和 AES 密钥/IV
- 实现参数排序拼接 → MD5(固定密钥+排序参数串) 生成 portal-sign 请求头
- AES-CBC 模式解密 API 返回的加密 JSON 数据体，还原真实数据
- 分页批量拉取公告列表 → 逐条请求详情（Info）→ 逐条请求正文（Content）
- 每个节点类型使用不同 API 端点，递归遍历 Nodes 树获取完整公告文本
- HTML → 纯文本清洗（去除标签、实体转义、空白规范化）
- 结构化输出 TXT（含项目名称/地区/平台/发布/截止/开标时间/全文）
── 广东平台 ──
- 门户列表 API：POST json 请求，携带 X-Dgi-Req-Nonce(16位随机) +
X-Dgi-Req-Timestamp(毫秒级时间戳) 绕过基础反爬
- 限流处理：检测 HTTP 429 自动等待 15s 重试，3 次限流后停止
- 源平台详情 API(gdgpo.czt.gd.gov.cn)：通过 projectCode 关联查询
正文内容（两阶段：先查 info 列表获取 ID，再按 ID 获取详情）
- ThreadPoolExecutor(3线程) 并发拉取详情内容，带 0.5s 间隔
- 智能 HTML 清洗：去除 script/style 标签、处理 Word 文档的磅值/样式标签
外语标记(EN-US/ZH-CN)等噪音
- 输出 JSON + TXT 双格式，JSON 含完整结构化字段，TXT 含全文排版
示例图片视频
相似推荐
豆瓣top250-爬虫
本项目用于自动化采集豆瓣电影Top250榜单数据，包括电影名称和评分。通过定时或按需运行，可快速获取当前热门高分影片列表，为影迷选片、影视行业市场分析、口碑监测及长期榜单变化跟踪提供参考。系统支持分页遍历全部250部影片，数据准确度高，且代码结构清晰，易于扩展至其他榜单（如分类排行）或增加更多字段（如导演、主演、短评数），满足轻量级数据采集与分析需求。
猫眼榜单爬虫
本项目面向电影行业数据监测场景，旨在自动化采集猫眼专业版实时票房榜单，覆盖影片排名、综合票房、票房占比及排片场次等核心指标。系统可替代人工手动查表，支持高频定时抓取（如每1分钟执行一次），为影院排片、宣发策略调整、竞品分析提供及时、准确的数据依据，帮助从业者快速洞察市场动态，提升决策效率。同时，结构化存储的数据便于后续进行票房趋势分析、影片生命周期研究和档期效果评估。
大数据政策-爬虫
本项目是一个面向政策信息网站的智能爬虫系统，专注于自动采集与“航空航天”产业相关的政策文件、通知公告、工作动态等公开信息。系统通过模拟用户登录、处理动态加载内容，抓取政策的标题、正文、发布网站、技术领域和发布时间等核心字段，并将数据结构化存储至Excel表格中，便于后续的政策分析、趋势研判和产业研究。该工具可有效替代人工检索，大幅提升信息获取效率，为政府决策、企业规划及学术研究提供及时、全面的政策数据支撑。
爱奇艺风云榜爬虫-爬虫
本系统基于Scrapy+Playwright框架，动态采集爱奇艺综艺榜与电视剧榜的标题、弹幕、评价、类型、简介、热度六项核心数据。通过自动获取设备指纹与公网IP有效规避反爬机制，支持分页循环抓取，数据经Pipeline清洗后自动写入Excel，按榜单类型分工作表存储。适用于影视内容热度监测、竞品分析及行业报告数据采集场景，帮助运营人员快速掌握内容表现与市场趋势。
toc大规模爬虫与数据分析
1、爬取诗词库两百多万首诗歌以及作者相关信息，进行情感分析与作者履历分析
2、使用代理爬虫，实时监控负载情况动态调整爬虫线程数，确保对目标网站无性能影响。基于大模型对诗词进行情感分析，以及提取人物履历分析。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服