业务和功能介绍
采集某网站书籍信息
构建一个面向多源图书电商平台的分布式数据采集系统，实现书籍元信息（基础属性、价格、评分、评论等）的自动化采集、清洗与结构化存储，为后续的价格监控、推荐系统和数据分析提供数据基础。
构建一个面向多源图书电商平台的分布式数据采集系统，实现书籍元信息（基础属性、价格、评分、评论等）的自动化采集、清洗与结构化存储，为后续的价格监控、推荐系统和数据分析提供数据基础。
项目实现
┌─────────────────────────────────────────┐
│ 调度中心 (Scheduler) │
│ - URL 去重 (Redis Set/Bloom Filter) │
│ - 优先级队列（热门书籍优先） │
│ - 断点续传机制 │
├─────────────────────────────────────────┤
│ 采集引擎 (Spider Engine) │
│ - 列表页解析 → 详情页 URL 提取 │
│ - 详情页解析 → 结构化数据 │
│ - 评论/评分采集（可选） │
├─────────────────────────────────────────┤
│ 数据管道 (Pipeline) │
│ - 数据清洗与标准化 │
│ - 图片下载与存储 │
│ - 重复数据检测（ISBN/标题+作者） │
├─────────────────────────────────────────┤
│ 存储层 (Storage) │
│ - 原始数据：MongoDB（灵活 Schema） │
│ - 关系数据：PostgreSQL（分类、作者等） │
│ - 缓存：Redis（URL去重、任务队列） │
│ - 图片：OSS/本地文件系统 │
└─────────────────────────────────────────┘
│ 调度中心 (Scheduler) │
│ - URL 去重 (Redis Set/Bloom Filter) │
│ - 优先级队列（热门书籍优先） │
│ - 断点续传机制 │
├─────────────────────────────────────────┤
│ 采集引擎 (Spider Engine) │
│ - 列表页解析 → 详情页 URL 提取 │
│ - 详情页解析 → 结构化数据 │
│ - 评论/评分采集（可选） │
├─────────────────────────────────────────┤
│ 数据管道 (Pipeline) │
│ - 数据清洗与标准化 │
│ - 图片下载与存储 │
│ - 重复数据检测（ISBN/标题+作者） │
├─────────────────────────────────────────┤
│ 存储层 (Storage) │
│ - 原始数据：MongoDB（灵活 Schema） │
│ - 关系数据：PostgreSQL（分类、作者等） │
│ - 缓存：Redis（URL去重、任务队列） │
│ - 图片：OSS/本地文件系统 │
└─────────────────────────────────────────┘
示例图片视频
相似推荐
多源数据匹配与报表生成工具
为高考志愿填报场景开发数据匹配工具，将4个年度的招生计划表通过学校名称、专业名称、年份等多条件交叉匹配，自动关联录取分数和位次数据，生成标准化Excel汇总报表。支持模糊匹配和数据校验，准确率99%以上。
旅游企业网站、银行学习平台自动化、游戏自动化脚本
1、应客户要求开发某银行的内部学习平台自动化脚本
2、该银行要求员工挂满指定学分（在线看课程1个小时为1学分），超过20分钟无动作即被系统判定无效，需要重新进入学习界面。
软件用python做成独立EXE应用程序，直接在软件登录账号，一键开始自动挂课，挂满自动切换课程。
3、该银行不定期举行内部考试，用软件可以一键抓取所有考试题目。
清关场同屏对比分拣控制系统
1. 图像与信息绑定：将CT、X光机等设备捕捉的图像与检查数据（EDI信息）关联。同屏比对：在同一界面显示不同来源的影像（如CT与MRI），并可通过多视窗、不同窗宽/窗位进行比对分析。
2. 自动化分拣控制 – 指令控制：接收上层系统（如WMS）指令，控制分拣线的启动、停止和速度调节。- 状态监控：实时监控分拣线运行状态、电机电流、光电传感器等。- 异常处理：在卡件、拥堵等异常情况下自动停机并报警。 PLC（可编程逻辑控制器）、光电/接近传感器、变频器、电机、HMI（人机界面） 实现物流的自动化、高效分拣，降低人工成本，提升分拣准确率和效率。
3. 旧线改造与升级 – 硬件更换：更换老旧的PLC控制器、弱电系统（如线路、传感器、执行器）。- 软件重写：重新编写服务器端的控制与数据处理程序，适配新硬件并优化逻辑。- 系统集成：确保新系统与现有MES/WMS等信息系统无缝对接。 新一代PLC（如西门子S7-1500系列）、工业以太网、服务器（应用/数据库）、定制化软件开发 提升生产线可靠性、灵活性和智能化水平，消除老旧系统维护难、备件缺的痛点。
4. 新线规划与集成 – 方案设计：根据工艺需求，提供分拣线整体布局、设备选型和控制系统方案。- 接口对接：实现新分拣系统与仓库管理系统（WMS）、企业资源计划（ERP）等平台的深度对接。- 智能化扩展：为未来集成RFID、机器视觉、数据分析等智能模块预留接口。 系统架构设计、工业网络规划（如PROFINET、EtherCAT）、API（应用程序接口）开发、物联网（IoT）技术 打造一个高效、柔性、可扩展的现代化智能分拣系统，实现信息流与物流的深度融合。
Fuxi软件插件功能开发
Fuxi软件是基于公司自研芯片进行编程的软件，核心功能是提供平台和可视化工具，为用户进行fpga设计提供便利。本人开发和维护的功能有以下几块：
1. Console控制台：（1）收集和管理插件和工具的输出消息，支持如保存，加载历史日志，筛选，查找等功能;（2）通过命令行的形式运行工具
2. Flow Runs工具:（1）控制工作流的执行流程；（2）监控工作流的状态
3. FpgaEditor：（1）分级显示芯片细节，最大程度可显示芯片端口信息；（2）支持可视化编辑单元器件
工单设备管理系统
在手机浏览器访问设备管理系统，登录成功后进入首页，页面底部标签可切换扫码、首页、消息、个人中心。在首页可进入工单管理、设备管理、维保任务。工单管理可进入工单列表工单详情、工单创建、工单执行；设备管理可进入设备列表、设备详情；维保任务列表，维保详情；点击扫一扫可扫描设备二维码打开设备详情页；消息是显示消息列表，阅读消息，点击工单号跳转工单执行页；个人中心可修改用户手机号码、用户名、密码；维护PC端管理系统；
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服