业务和功能介绍
1、立项背景和目标
五矿集团电子采购平台会持续发布大量招标、采购项目公告，采购信息分散在多页列表中，人工逐条复制项目名称、采购单位、预计采购时间等信息录入 Excel 表格工作量大、容易出错，且分页翻阅统计效率低下。本项目立项目标：基于 Playwright 自动化浏览器抓取五矿集团电子采购网多页采购公示数据，自动解析字段并写入 Excel 文件，实现采购数据批量结构化导出，方便后续数据整理、统计与归档，同时掌握动态网页分页爬取、XPath 层级定位、openpyxl 表格持久化存储的完整爬虫开发流程。
2、软件功能、核心功能模块介绍
三大核心功能模块
（1）Excel 表格初始化模块：使用 openpyxl 库新建工作簿，创建名为 “五矿集团” 工作表，预先写入表头【项目名称、采购单位、预计采购时间】，定义全局列表用于临时存储抓取到的结构化数据，为后续数据落地做准备。
（2）浏览器自动化页面交互模块：调用 Playwright 启动本地 Edge 浏览器，配置可视化运行窗口、操作减速防反爬；自动访问五矿集团采购官网首页，定位导航栏采购栏目完成点击跳转，循环 5 次执行分页加载逻辑，每页设置长时间强制等待，保证后端动态渲染的采购列表完整加载。
（3）数据解析与表格写入模块：通过层级 XPath 定位每一条采购项目 DOM 容器，循环提取项目标题、采购单位、两段拼接而成的预计采购时间；增加单页最多抓取 50 条数据限制，逐条将字段追加写入 Excel 工作表，最终完整保存为本地表格文件。
3、业务流程、功能路径描述
（1）程序初始化：创建 Excel 文件、新建工作表并设置表头；配置本地 Edge 浏览器启动路径与反爬兼容参数；
（2）自动化访问目标网站：打开五矿集团电子采购平台首页，等待页面完全加载后，通过 XPath 定位导航栏 “采购” 菜单并模拟鼠标点击进入采购公告列表页；
（3）分页循环抓取：执行 5 轮分页爬取，每一页等待 10 秒确保列表数据 JS 渲染完成；定位所有采购条目父级容器；
（4）逐条解析字段：遍历每条条目 DOM 节点，分别提取项目名称、采购单位，拼接两个时间节点作为预计采购时间，限制单页最大抓取 50 条避免数据冗余；
（5）数据入库存储：每解析一条数据立即 append 追加写入 Excel 对应行；5 页全部抓取完成后保存 Excel 文件，关闭浏览器，程序执行结束。
五矿集团电子采购平台会持续发布大量招标、采购项目公告，采购信息分散在多页列表中，人工逐条复制项目名称、采购单位、预计采购时间等信息录入 Excel 表格工作量大、容易出错，且分页翻阅统计效率低下。本项目立项目标：基于 Playwright 自动化浏览器抓取五矿集团电子采购网多页采购公示数据，自动解析字段并写入 Excel 文件，实现采购数据批量结构化导出，方便后续数据整理、统计与归档，同时掌握动态网页分页爬取、XPath 层级定位、openpyxl 表格持久化存储的完整爬虫开发流程。
2、软件功能、核心功能模块介绍
三大核心功能模块
（1）Excel 表格初始化模块：使用 openpyxl 库新建工作簿，创建名为 “五矿集团” 工作表，预先写入表头【项目名称、采购单位、预计采购时间】，定义全局列表用于临时存储抓取到的结构化数据，为后续数据落地做准备。
（2）浏览器自动化页面交互模块：调用 Playwright 启动本地 Edge 浏览器，配置可视化运行窗口、操作减速防反爬；自动访问五矿集团采购官网首页，定位导航栏采购栏目完成点击跳转，循环 5 次执行分页加载逻辑，每页设置长时间强制等待，保证后端动态渲染的采购列表完整加载。
（3）数据解析与表格写入模块：通过层级 XPath 定位每一条采购项目 DOM 容器，循环提取项目标题、采购单位、两段拼接而成的预计采购时间；增加单页最多抓取 50 条数据限制，逐条将字段追加写入 Excel 工作表，最终完整保存为本地表格文件。
3、业务流程、功能路径描述
（1）程序初始化：创建 Excel 文件、新建工作表并设置表头；配置本地 Edge 浏览器启动路径与反爬兼容参数；
（2）自动化访问目标网站：打开五矿集团电子采购平台首页，等待页面完全加载后，通过 XPath 定位导航栏 “采购” 菜单并模拟鼠标点击进入采购公告列表页；
（3）分页循环抓取：执行 5 轮分页爬取，每一页等待 10 秒确保列表数据 JS 渲染完成；定位所有采购条目父级容器；
（4）逐条解析字段：遍历每条条目 DOM 节点，分别提取项目名称、采购单位，拼接两个时间节点作为预计采购时间，限制单页最大抓取 50 条避免数据冗余；
（5）数据入库存储：每解析一条数据立即 append 追加写入 Excel 对应行；5 页全部抓取完成后保存 Excel 文件，关闭浏览器，程序执行结束。
项目实现
1、整体架构和设计思路，不同模块使用的技术栈
整体架构
采用Python 单文件线性执行架构，自上而下分为四层：文件持久化层→浏览器驱动层→页面交互层→数据提取存储层，逻辑简单直观，轻量化无额外中间件，适合小型定向垂直网站数据采集。
各模块技术栈
开发语言：Python 3.12；
浏览器自动化：Playwright 同步 API，驱动 Chromium 内核 Edge 浏览器，解决采购列表动态 JS 渲染、接口异步加载无法用静态请求抓取的问题；配置 slow_mo 操作延时、长时间页面等待模拟真人访问；
数据持久化：openpyxl 库，用于新建 Excel 工作簿、创建工作表、表头写入、行数据追加、本地文件保存，生成可直接打开编辑的.xlsx 文件；
元素定位：绝对路径 + 相对层级 XPath 表达式，精准嵌套定位列表父容器内的子字段标签；
辅助逻辑：for 循环实现 5 页分页批量爬取、if 条件限制单页最大抓取条数，做基础数据量管控。
2、本人负责模块与量化成果
本项目为个人独立全流程开发，全权完成代码编写、页面元素调试、分页逻辑、Excel 写入、边界条件限制全部工作：
完成 Edge 浏览器适配启动配置，解决本地浏览器路径调用、自动化操作过快被网站风控拦截问题；
编写首页跳转、导航菜单点击进入采购列表页的自动化交互逻辑；
设计 5 页循环分页抓取方案，每页 10 秒超时等待保障数据加载完整性；
编写多层嵌套 XPath 定位规则，拆解三个目标字段，对两段时间文本做拼接处理，增加单页最多 50 条数据截断限制；
对接 openpyxl 实现自动建表、表头填充、逐条数据入库；
量化成果：最多可稳定抓取 5 页采购公告数据，单页上限 50 条，总计最高可采集 250 条结构化采购信息，自动生成规范 Excel 台账，无需手动复制粘贴，数据录入零人工误差，信息整理耗时从半小时缩短至 1 分钟以内。
3、开发遇到的难点、坑点及解决方案
难点 1：采购列表为前端异步动态渲染，静态 requests 无法获取列表内容
问题：直接请求网页源代码只能拿到框架代码，采购条目由接口异步返回后 JS 渲染到页面，无法解析。
解决：使用 Playwright 真实浏览器引擎加载完整页面，等待页面完全渲染后再执行元素定位，确保 DOM 中存在完整采购条目。
难点 2：页面层级极深，XPath 路径复杂，容易因页面微小改动定位失效
问题：网站 DIV 嵌套层级过多，绝对 XPath 容错率低，子标签序号容易变动导致定位不到数据。
解决：采用父容器批量定位 + 内部相对 XPath 二次提取的写法，先拿到所有条目大盒子，再在每个盒子内部相对路径取标题、单位、时间，提升定位稳定性。
难点 3：预计采购时间拆分在两个不同 DIV 标签内，字段分散
问题：开始时间和结束时间分别在两
整体架构
采用Python 单文件线性执行架构，自上而下分为四层：文件持久化层→浏览器驱动层→页面交互层→数据提取存储层，逻辑简单直观，轻量化无额外中间件，适合小型定向垂直网站数据采集。
各模块技术栈
开发语言：Python 3.12；
浏览器自动化：Playwright 同步 API，驱动 Chromium 内核 Edge 浏览器，解决采购列表动态 JS 渲染、接口异步加载无法用静态请求抓取的问题；配置 slow_mo 操作延时、长时间页面等待模拟真人访问；
数据持久化：openpyxl 库，用于新建 Excel 工作簿、创建工作表、表头写入、行数据追加、本地文件保存，生成可直接打开编辑的.xlsx 文件；
元素定位：绝对路径 + 相对层级 XPath 表达式，精准嵌套定位列表父容器内的子字段标签；
辅助逻辑：for 循环实现 5 页分页批量爬取、if 条件限制单页最大抓取条数，做基础数据量管控。
2、本人负责模块与量化成果
本项目为个人独立全流程开发，全权完成代码编写、页面元素调试、分页逻辑、Excel 写入、边界条件限制全部工作：
完成 Edge 浏览器适配启动配置，解决本地浏览器路径调用、自动化操作过快被网站风控拦截问题；
编写首页跳转、导航菜单点击进入采购列表页的自动化交互逻辑；
设计 5 页循环分页抓取方案，每页 10 秒超时等待保障数据加载完整性；
编写多层嵌套 XPath 定位规则，拆解三个目标字段，对两段时间文本做拼接处理，增加单页最多 50 条数据截断限制；
对接 openpyxl 实现自动建表、表头填充、逐条数据入库；
量化成果：最多可稳定抓取 5 页采购公告数据，单页上限 50 条，总计最高可采集 250 条结构化采购信息，自动生成规范 Excel 台账，无需手动复制粘贴，数据录入零人工误差，信息整理耗时从半小时缩短至 1 分钟以内。
3、开发遇到的难点、坑点及解决方案
难点 1：采购列表为前端异步动态渲染，静态 requests 无法获取列表内容
问题：直接请求网页源代码只能拿到框架代码，采购条目由接口异步返回后 JS 渲染到页面，无法解析。
解决：使用 Playwright 真实浏览器引擎加载完整页面，等待页面完全渲染后再执行元素定位，确保 DOM 中存在完整采购条目。
难点 2：页面层级极深，XPath 路径复杂，容易因页面微小改动定位失效
问题：网站 DIV 嵌套层级过多，绝对 XPath 容错率低，子标签序号容易变动导致定位不到数据。
解决：采用父容器批量定位 + 内部相对 XPath 二次提取的写法，先拿到所有条目大盒子，再在每个盒子内部相对路径取标题、单位、时间，提升定位稳定性。
难点 3：预计采购时间拆分在两个不同 DIV 标签内，字段分散
问题：开始时间和结束时间分别在两
示例图片视频
相似推荐
面向企业的SaaS化管理
本系统采用 SaaS 多租户架构，面向多个独立企业/组织在同一平台统一部署与运营。立项背景是：传统单租户模式难以满足多客户并行接入、权限隔离、按需开通功能的需求。建设目标是：平台方统一维护租户套餐与功能边界，按套餐为各租户分配菜单、插件及账号额度；租户管理员在授权范围内独立管理本租户用户与业务；实现“一套系统、多租户隔离、按套餐差异化服务”，降低运维成本并支撑商业化订阅。
2、软件功能、核心功能模块的介绍
核心模块包括：（1）租户套餐管理：配置套餐名称、状态、价格、时长、关联菜单权限、包含插件（Addon）等，数据存储于 system_tenant_package 表；（2）租户管理：维护租户名称、联系人、套餐绑定、账号额度、过期时间、绑定域名及状态，支持新增、编辑、删除、导出；（3）权限与菜单：登录后通过 get-permission-info 加载用户角色与菜单，套餐 menu_ids 决定租户超级管理员可见功能；（4）平台套餐配置（Platform）：以卡片形式管理套餐，支持推荐标签、插件关联、菜单数量展示，与系统租户模块共用套餐数据；（5）辅助能力：字典数据、租户切换、站内信未读提醒等，支撑管理端日常运营。
3、业务流程、功能路径描述
业务流程如下：① 平台管理员进入「平台管理 → 套餐配置」或「系统管理 → 租户套餐」，新建并启用套餐，勾选菜单、配置插件，保存至 system_tenant_package；② 进入「系统管理 → 租户管理 → 租户列表」，点击新增，填写租户信息并选择已启用套餐（调用 /system/tenant-package/simple-list 获取下拉选项），设置账号额度与过期时间，提交后系统自动创建租户管理员账号与角色；③ 租户管理员登录后，系统按套餐 menu_ids 过滤菜单，仅展示授权功能；④ 运营中若调整套餐，编辑租户并更换套餐，超级管理员菜单同步更新；⑤ 平台方通过租户列表查看套餐绑定、插件、状态与到期情况，到期或禁用的租户无法正常使用。整体路径为：套餐定义 → 租户开通 → 权限生效 → 日常运营 → 套餐变更/到期管控。
无忧智脑-数字化智造平台
无忧智脑：新一代AI企业管理平台
让中小企业用自然语言对话，自己创造软件
从“数据烟囱”到“数据资产”，让数据治理自动化、生成式化，让企业用自然语言直接创造软件，完成数据归集、治理
无忧智脑，开启企业管理新纪元
1、什么是无忧智脑？
一个以AI为核心的企业智能操作系统
用自然语言与系统对话，一切操作只需“说”出来
将工业数据与管理数据统一融合，打破传统软件边界
让企业拥有一个“懂你、帮你、为你思考”的智能大脑
核心理念： 让管理回归简单，让企业专注业务本身。
2.无忧智脑，如何让管理“无忧”？
三大核心能力：
一句话，办成所有事
无需学习复杂的菜单和表单，直接对AI说“我要什么”，系统自动理解并执行。
一张表，生成所有应用
业务有变化？只需导入新的业务表单，智能体自动理解字段含义、生成业务流程，应用即刻上线。
一个平台，打通所有环节
销售、采购、仓储、生产、财务、设备……所有数据在同一平台流转，设备数据实时上报，业务事件自动触发，实现跨部门、跨系统的无缝协同。
3、无忧智脑，怎么帮你“无忧”？
功能亮点一：自然语言交互
查库存：“物料YC-TP-0001还有多少？”
建订单：“帮我新增一个订单，客户：华东商贸，产品：智能托盘，数量：500”
看报表：“上个月华东区订单完成率怎么样？”
批审批：“同意张经理的采购申请单”
无需培训，上手即用。
4、无忧智脑，怎么帮你“无忧”？
功能亮点二：智能表单理解
上传一张Excel表，系统自动识别业务含义
智能体判断它是“订单”、“库存”还是“报表”
自动生成数据录入、查询、统计界面
自动关联上下游业务，形成完整流程
业务变化，只需换张表，系统瞬间适配。
5、无忧智脑，怎么帮你“无忧”？
功能亮点三：统一数据底座
销售订单、采购订单、生产工单……所有“单”都在一个平台
物料档案、客户档案、设备档案……所有“档案”都在一个库
库存数据、设备数据、财务数据……所有“数据”实时联动
报表自动生成，决策有据可依
告别“Excel满天飞”，让数据真正成为企业资产。
6、无忧智脑，怎么帮你“无忧”？
功能亮点四：设备与业务实时联动
RFID扫描托盘 → 系统自动更新库存 → 自动生成出库单
设备温度超限 → 自动创建维修工单 → 自动通知维修人员
生产完工 → 自动触发入库 → 自动通知销售部门
物理世界与数字世界无缝连接，企业运转如丝般顺滑。
7、无忧智脑，怎么帮你“无忧”？
功能亮点五：智能编码，告别混乱
输入企业名称，系统自动生成个性化编码前缀
新增物料，系统自动生成规范编码，确保唯一性
人员、单据、合同……所有编码统一管理
让编码不再是麻烦，而是企业的统一身份标识。
业知识库问答机器人（涉密脱敏演示见样板）
曾给客户交付同类知识库问答项目，已按保密协议删除源数据，此样板为简化能力的干净复刻。功能：问答页（答案下标注防线层级、检索最高分、引用来源、召回明细）、后台（知识CRUD+可见标签权限、用户角色禁用改密、KEY阈值设置、25条越狱回归一键跑）。流程：提问→政策拦截→检索阈值→KEY门槛→LLM作答→输出校验→带引用返回，范围外秒拒，黑产意图政策层直接拦。
toc平台桌面应用-WPS
WPS 客户端账号业务
• CEF 混合架构： CEF V8 + IPC 实现 JS 调客户端账号能力，实现渲染进程-主进程-云服务进程（Thrift）
• 自动化测试提效：设计 Custom URL Scheme 接口，替代 UI 自动化，提升测试稳定性
• 配置动态下发：实现合规协议弹窗的线上平台配置 + 主动拉取，解决切换账号时策略缓存延迟问题
• 鸿蒙一键登录：封装 OAuth 授权链路（ArkTS -> Native 库 -> C++ NAPI），对接系统账号体系
• 性能优化与安全加固：定位并优化账号模块冷启动阻塞点，典型场景耗时降低约 10%；
• 修复业务漏洞：修复受密码保护文档区重启后绕过验证的安全问题，将加锁 / 解锁逻辑从 UI 层下沉至数据层
WPS 新平台移植与政企交付
• 平台移植：基于 Qt 完成账号业务与界面鸿蒙适配，补全平台缺失能力并持续跟进
• 政企场景定制交付：配置 CI/CD 与 OEM 定制项，支持非公网登录等政企场景交付
WPS 客户端设备管控
• 多平台设备指纹采集：统一各平台设备信息获取层，生成设备因子用于账号/文档的按设备管控
• 系统加密服务异常降级：Windows CNG 异常导致 ECDSA 密钥无法加载、登录签名失败时，
设计 AES 备份通道存取密钥，保障主程序与 Electron 插件端可用
• 云桌面环境适配：虚拟化环境硬件信息缺失导致计算设备因子失败，设备管控功能失效，
智慧校园
蜂维塔·智慧校园平台是面向高校、职校及中小学的一体化数字校园解决方案，以"一码通"账户体系为核心底座，打通后勤消费、AI教学、安防管理、资产管控、生活服务五大业务域，实现"一个平台、一个账户、全场景覆盖"的校园数字化转型。
五大核心业务域：
① 智慧后勤消费（一码通）
融合微信/支付宝/刷脸/碰一碰/校园卡等多支付通道，覆盖食堂消费、校内超市、智能货柜、水电缴费等全场景。支持补贴精准发放、职工优惠折扣、餐券核销等个性化消费策略。提供管理平台、用户小程序、消费终端APP三端协同，高峰期单终端并发处理能力3000+。
② AI智慧教学
基于DeepSeek大模型和自研算法引擎，实现AI课堂行为分析（专注度/互动热力图）、个性化学习路径推荐（余弦相似度>0.85）、智能作业批改（准确率98.7%）、知识点关联图谱构建。配套智慧教室硬件集成（交互大屏、录播系统、学情数据采集终端）。
③ 校园安防与态势感知
多模态AI安防监控（人脸识别准确率99.5%，异常行为检测<200ms响应），校园数字孪生可视化（10万+IoT设备接入、设备故障提前3天预警），应急指挥联动、心理健康智能筛查与分级干预。支持多摄像头协同追踪和电子围栏区域管控。
④ RFID资产全生命周期管理
基于UHF RFID技术，覆盖资产入库、领用、调拨、盘点、维修、报废全流程。手持机+固定读写器+通道门+标签打印机全套硬件集成，100+标签/秒批量盘点。与一码通账户打通，员工可通过小程序自助申领/归还，所有操作留痕可追溯。
⑤ 智慧生活服务
校园外卖平台（食堂档口+周边商户，支持拼单合单、同楼聚合配送）、24小时AI智能问答（意图识别准确率92%，多轮对话>10轮）、智慧报修（图文自动识别分类派单）、招生与国际留学咨询、校园通知与消息中心统一推送。
技术架构： Spring Cloud微服务 + Kubernetes容器集群 + Docker，Redis缓存 + Kafka消息队列 + MySQL读写分离，前端HTML5响应式+UniApp跨端，支持阿里云/腾讯云/华为云/AWS混合云部署，系统可用性99.99%。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服