领卓 MES 系统-领卓 MES 系统

•联通在线APP等核心业务AI智能体全流程开发，完成业务需求拆解、场景设计及Agent/工作流/工具的串联集成，优化Prompt工程迭代效率，保障智能查号业务的高效运转。 •负责AI业务接口体系搭建，开发业务Mock接口，完成总控落域大模型服务接口联调，保障上下游系统数据交互顺畅，支撑日均万级请求的AI业务场景稳定运行。

多源数据采集：爬取 quotes.toscrape.com 名言数据 + Hacker News API 科技资讯 智能反爬策略：请求延迟、重试机制、随机 User-Agent、错误容忍 数据清洗存储：JSON 结构化存储，Pandas DataFrame 分析 多维数据分析：作者统计、标签分布、热度排行、词频分析 可视化图表生成：柱状图、饼图、词云式标签图，自动保存为 PNG 一键全流程：python main.py run 一条命令完成采集→分析→可视化

项目由公司自研的海外DTC项目，目前主要用于shopify平台，配合相关电商商品进行相关商品的宣传和引流作用，用户可以使用相关的配置进行商品内容的宣传，同时可以选择模板配置相关电商商品，以及会给商户出具A/Btest服务以及相关的数据分析展示；

1、立项背景核心是解决人工 / 通用工具下载图片效率低、适配性差的痛点，依托 Scrapy 的爬虫优势满足批量图片获取的行业需求； 项目目标分为业务（高效下载、灵活筛选、结构化存储）、技术（轻量化、可扩展、易用）、非功能（合规、性能、容错）三类，聚焦 “高效、可控、易扩展”； 核心价值是提升下载效率、降低成本，同时保证下载过程的稳定性和合规性。 2、通过scrapy中的类ImagesPipeline实现图片下载，同时可以通过scarpy crawl -a传参，修改下载图片的内容和下载的数量 3、通过start_requests方法获取需要下载图片的内容和数量，并构造url传给parse方法获取每张图片下载的url，然后利用scarpy传给管道，由管道利用ImagesPipeline下载图片

1、立项背景和目标： 随着电商竞争白热化，品牌方与零售商需实时掌握自身及竞品在各平台（如亚马逊、淘宝、京东国际站）的价格、库存、促销及用户评价动态，用于制定定价策略、监控渠道合规及进行市场分析。传统人工监控效率低下、覆盖面窄。本项目旨在构建一个自动化、高可用的分布式爬虫系统，实现对全球多个主流电商平台目标商品信息的7x24小时稳定采集、清洗、存储与可视化，为核心业务部门提供分钟级延迟的数据支持，辅助商业决策。 2、软件功能、核心功能模块的介绍： 调度中心模块：基于Redis，负责任务的优先级调度、去重与分发，管理爬虫节点状态。 爬虫核心模块：基于Scrapy框架，针对不同网站编写定制化Spider，负责页面下载、解析，处理反爬机制（IP代理、请求头轮换、验证码识别接口调用）。 数据管道模块：负责数据清洗（去重、格式化）、验证，并持久化存储至MongoDB，同时将异常数据与原始页面快照存储至备用库以供排查。 监控报警模块：监控爬虫运行指标（成功率、速度、错误类型），通过企业微信机器人推送异常报警。 管理后台模块：提供Web界面，用于管理监控任务、配置爬取规则、查看数据报表和导出数据。 3、业务流程、功能路径描述： 任务配置：运营人员在管理后台添加/编辑监控商品，输入商品URL或ID，并设置爬取频率（每30分钟）。 任务调度：调度中心将新任务封装为Request，推入Redis的待爬队列。爬虫节点（多台服务器）从队列中竞争获取任务。 页面抓取：爬虫节点根据任务类型选择对应的Spider，通过代理IP池发起请求，下载目标页面。若失败，根据策略重试或放入重试队列。 数据解析与清洗：下载成功的页面被Spider中编写的XPath/CSS规则解析，提取商品标题、价格、促销信息、评价数等结构化数据。数据管道对价格进行货币单位统一、去除无效字符。 数据存储与通知：清洗后的数据存入MongoDB的product_price集合，并生成一条变更记录。若价格波动超过预设阈值，系统触发企业微信通知。 监控反馈：所有抓取日志和状态指标实时汇总，展示在监控仪表盘上。