业务和功能介绍
本系统实现两套省级政府采购平台的招标公告全自动采集：
福建省平台（ggzyfw.fj.gov.cn）：MD5 请求签名破解 + AES-CBC 响应解密
广东省平台（ygp.gdzwfw.gov.cn）：双源 API 架构（门户列表+源平台详情）
总计采集 2000+ 条公告，每条包含项目名称、招标编号、招标人、招标代理、
合同估算价、投标/开标截止时间、公告正文全文等完整结构化字段。
可用于招投标信息整合、竞争对手分析、供应链情报等商业场景。
福建省平台（ggzyfw.fj.gov.cn）：MD5 请求签名破解 + AES-CBC 响应解密
广东省平台（ygp.gdzwfw.gov.cn）：双源 API 架构（门户列表+源平台详情）
总计采集 2000+ 条公告，每条包含项目名称、招标编号、招标人、招标代理、
合同估算价、投标/开标截止时间、公告正文全文等完整结构化字段。
可用于招投标信息整合、竞争对手分析、供应链情报等商业场景。
项目实现
── 福建平台 ──
- 逆向分析前端 JS bundle，提取 MD5 签名密钥和 AES 密钥/IV
- 实现参数排序拼接 → MD5(固定密钥+排序参数串) 生成 portal-sign 请求头
- AES-CBC 模式解密 API 返回的加密 JSON 数据体，还原真实数据
- 分页批量拉取公告列表 → 逐条请求详情（Info）→ 逐条请求正文（Content）
- 每个节点类型使用不同 API 端点，递归遍历 Nodes 树获取完整公告文本
- HTML → 纯文本清洗（去除标签、实体转义、空白规范化）
- 结构化输出 TXT（含项目名称/地区/平台/发布/截止/开标时间/全文）
── 广东平台 ──
- 门户列表 API：POST json 请求，携带 X-Dgi-Req-Nonce(16位随机) +
X-Dgi-Req-Timestamp(毫秒级时间戳) 绕过基础反爬
- 限流处理：检测 HTTP 429 自动等待 15s 重试，3 次限流后停止
- 源平台详情 API(gdgpo.czt.gd.gov.cn)：通过 projectCode 关联查询
正文内容（两阶段：先查 info 列表获取 ID，再按 ID 获取详情）
- ThreadPoolExecutor(3线程) 并发拉取详情内容，带 0.5s 间隔
- 智能 HTML 清洗：去除 script/style 标签、处理 Word 文档的磅值/样式标签
外语标记(EN-US/ZH-CN)等噪音
- 输出 JSON + TXT 双格式，JSON 含完整结构化字段，TXT 含全文排版
- 逆向分析前端 JS bundle，提取 MD5 签名密钥和 AES 密钥/IV
- 实现参数排序拼接 → MD5(固定密钥+排序参数串) 生成 portal-sign 请求头
- AES-CBC 模式解密 API 返回的加密 JSON 数据体，还原真实数据
- 分页批量拉取公告列表 → 逐条请求详情（Info）→ 逐条请求正文（Content）
- 每个节点类型使用不同 API 端点，递归遍历 Nodes 树获取完整公告文本
- HTML → 纯文本清洗（去除标签、实体转义、空白规范化）
- 结构化输出 TXT（含项目名称/地区/平台/发布/截止/开标时间/全文）
── 广东平台 ──
- 门户列表 API：POST json 请求，携带 X-Dgi-Req-Nonce(16位随机) +
X-Dgi-Req-Timestamp(毫秒级时间戳) 绕过基础反爬
- 限流处理：检测 HTTP 429 自动等待 15s 重试，3 次限流后停止
- 源平台详情 API(gdgpo.czt.gd.gov.cn)：通过 projectCode 关联查询
正文内容（两阶段：先查 info 列表获取 ID，再按 ID 获取详情）
- ThreadPoolExecutor(3线程) 并发拉取详情内容，带 0.5s 间隔
- 智能 HTML 清洗：去除 script/style 标签、处理 Word 文档的磅值/样式标签
外语标记(EN-US/ZH-CN)等噪音
- 输出 JSON + TXT 双格式，JSON 含完整结构化字段，TXT 含全文排版
示例图片视频
相似推荐
客服绩效看板
打破客服系统与销售系统的数据孤岛，实现客服转化数据的可视化，便于客服主管分析客服团队成功的工作情况及指标考核，从数据转化，客服人效，到客服评价等不同维度分析客服团队的服务质量
流量感知系统
流量智能感知产品面向企事业单位数字化转型，感知业务访问行为、使用体验和网络流量构成，提供业务系统的安全合规检测、访问质量监控和故障分析定位能力，提升业务运维效率，保障业务连续性，避免潜在的安全风险，为业务系统和网络的安全、高效、稳定运行保驾护航。
实时感知业务状态，主动发现业务异常：工作中经常遇到业务系统访问慢、卡顿等问题，运维人员无法感知业务状态、主动发现业务异常，只能被动响应， 事后处理，导致网络使用体验差。系统提供7*24小时业务体验监测，运维人员通过应用总览，实时了解业务状态，智能化业务流量基线异常预警，主动发现业务问题，协助运维人员及时处理。
量化业务体验，精准定界业务问题，区分责任边界：当业务访问出现故障时，运维人员需手动登录到设备上，逐个排查，耗时耗力，经常查不出问题；各部门相互推卸责任，没有数据支撑。系统实时监控业务系统，分析用户访问行为，及时发现未经授权的访问行为和未经审批的业务系统，发现潜在的安全风险，指导业务整改，保障业务访问合规，防止私搭应用
监测业务访问，保障业务访问合规，防止私搭应用：核心业务系统经常被未授权的用户非法访问，引起数据泄露风险；私自搭建应用游离于管理框架之外，缺少安全防护，带来潜在的安全风险和审计问题。系统实时监控业务系统，分析用户访问行为，及时发现未经授权的访问行为和未经审批的业务系统，发现潜在的安全风险，指导业务整改，保障业务访问合规，防止私搭应用。
江苏星河数据分析平台-AI+数据分析
针对政务数据分散、分析门槛高、报表制作耗时等痛点，旨在打造一套集数据抽取、智能分析与自然语言交互于一体的政务数据看板，赋能管理层精准决策。用户全程通过自然语言、托拉拽图表的方式分析自己想要的数据，报表支持多样化展示。
最小曲率法 地理平滑插值算法实现
使用C++17实现的地理平滑插值算法，算法底层使用最小曲率法，通过C++17实现最优性能，通过与业内通用软件的比较，误差在 0.05% 以内，但实现效率为通用软件的8.7倍。
此算法为石油勘探公司定制的算法，目标在于替代行业内通用的外国软件的核心算法，行业内通用的外国软件在计算性能和扩展性上与自研算法有很大的差距。
抖音网页自动评论
抖音自动评论工具，自定义评论内容，鼠标模拟真人操作，可挂后台，循环次数到了之后自动退出，使用javascript开发，在网页端使用，操作谷歌浏览器，是一个浏览器自动化程序，可能有一些小缺陷，不过没有大的bug
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服