业务和功能介绍
股票数据获取：实时抓取A股今日涨幅前30和跌幅前30的股票
股票代码、名称、最新价、涨跌额、涨跌幅
热门板块分析：获取近30天热门板块数据
板块名称、热度（涨跌幅）、排名
双模式运行：
API模式：直接调用东方财富API（速度快）
Selenium模式：浏览器模拟（备用方案，抗检测）
自动切换：API失败时无缝切换到Selenium
防检测机制：
随机User-Agent、代理支持
执行防检测JS脚本（隐藏WebDriver特征）
广告拦截JS脚本
验证码处理框架（预留接口）
定时刷新：每10秒自动更新数据，终端实时显示
股票代码、名称、最新价、涨跌额、涨跌幅
热门板块分析：获取近30天热门板块数据
板块名称、热度（涨跌幅）、排名
双模式运行：
API模式：直接调用东方财富API（速度快）
Selenium模式：浏览器模拟（备用方案，抗检测）
自动切换：API失败时无缝切换到Selenium
防检测机制：
随机User-Agent、代理支持
执行防检测JS脚本（隐藏WebDriver特征）
广告拦截JS脚本
验证码处理框架（预留接口）
定时刷新：每10秒自动更新数据，终端实时显示
项目实现
EastMoneyCrawler/
├── 数据采集层 (get_stocks_by_api/get_sectors_by_selenium等)
├── 防检测层 (execute_js_scripts/随机化处理)
├── 业务逻辑层 (自动切换/数据整合)
└── 展示层
1.API数据获取 Requests 2.31+ JSON解析 高效获取结构化数据
2.浏览器自动化 Selenium 4.15+ ChromeDriver 备用方案，应对API限制
3.防检测系统 JavaScript ES6+ DOM操作、事件模拟 隐藏自动化特征
4.广告拦截 CSS选择器 请求拦截重写 提升爬取效率
5.配置管理 Python字典 环境变量 灵活参数调整
6.日志系统 logging模块 多级日志记录 故障排查与监控
7.验证码框架 插件式设计 第三方API接口 处理复杂验证场景
2. 防检测系统三层架构
指纹层：覆盖12个浏览器检测点（webdriver、plugins、mimeTypes等）
行为层：模拟鼠标移动（随机轨迹）、键盘输入（A-Z随机）
请求层：轮换User-Agent、支持代理池、随机请求延迟
我的负责模块与量化成果
一、主要负责模块
核心爬虫架构设计（100%）：定义类结构、接口规范、数据流
双模式自动切换系统（100%）：实现API优先+Selenium备用的智能决策
防检测集成框架（85%）：JS脚本注入执行、行为模拟调度
数据解析兼容层（90%）：多选择器策略、异常容错处理
配置文件管理系统（100%）：参数外部化、环境适配
遇到的难点与解决方案
难点一：网站反爬虫检测高强度
问题表现：
初期直接使用Selenium，封禁率达70%
API请求频率限制（>5次/分钟触发验证码）
浏览器指纹检测（webdriver、plugins等12个检测点）
解决方案：
三重防检测体系：
javascript
// 1. 指纹隐藏（覆盖12个检测点）
难点二：API稳定性与数据完整性
问题表现：
东方财富API偶发性返回空数据（约15%概率）
接口参数复杂，文档不完整
数据字段映射关系模糊
# API失败自动切换Selenium
if (not gainers or not losers) and not self.api_failed:
self.api_failed = True
return self.get_top_stocks() # 递归调用，自动走Selenium分支
Selenium资源管理与性能
问题表现：
ChromeDriver内存泄露（运行2小时后内存占用>1GB）
浏览器启动慢（冷启动>15秒）
广告元素干扰数据定位
解决方案：
广告拦截JS注入：
Driver生命周期管理：
├── 数据采集层 (get_stocks_by_api/get_sectors_by_selenium等)
├── 防检测层 (execute_js_scripts/随机化处理)
├── 业务逻辑层 (自动切换/数据整合)
└── 展示层
1.API数据获取 Requests 2.31+ JSON解析 高效获取结构化数据
2.浏览器自动化 Selenium 4.15+ ChromeDriver 备用方案，应对API限制
3.防检测系统 JavaScript ES6+ DOM操作、事件模拟 隐藏自动化特征
4.广告拦截 CSS选择器 请求拦截重写 提升爬取效率
5.配置管理 Python字典 环境变量 灵活参数调整
6.日志系统 logging模块 多级日志记录 故障排查与监控
7.验证码框架 插件式设计 第三方API接口 处理复杂验证场景
2. 防检测系统三层架构
指纹层：覆盖12个浏览器检测点（webdriver、plugins、mimeTypes等）
行为层：模拟鼠标移动（随机轨迹）、键盘输入（A-Z随机）
请求层：轮换User-Agent、支持代理池、随机请求延迟
我的负责模块与量化成果
一、主要负责模块
核心爬虫架构设计（100%）：定义类结构、接口规范、数据流
双模式自动切换系统（100%）：实现API优先+Selenium备用的智能决策
防检测集成框架（85%）：JS脚本注入执行、行为模拟调度
数据解析兼容层（90%）：多选择器策略、异常容错处理
配置文件管理系统（100%）：参数外部化、环境适配
遇到的难点与解决方案
难点一：网站反爬虫检测高强度
问题表现：
初期直接使用Selenium，封禁率达70%
API请求频率限制（>5次/分钟触发验证码）
浏览器指纹检测（webdriver、plugins等12个检测点）
解决方案：
三重防检测体系：
javascript
// 1. 指纹隐藏（覆盖12个检测点）
难点二：API稳定性与数据完整性
问题表现：
东方财富API偶发性返回空数据（约15%概率）
接口参数复杂，文档不完整
数据字段映射关系模糊
# API失败自动切换Selenium
if (not gainers or not losers) and not self.api_failed:
self.api_failed = True
return self.get_top_stocks() # 递归调用，自动走Selenium分支
Selenium资源管理与性能
问题表现：
ChromeDriver内存泄露（运行2小时后内存占用>1GB）
浏览器启动慢（冷启动>15秒）
广告元素干扰数据定位
解决方案：
广告拦截JS注入：
Driver生命周期管理：
示例图片视频
相似推荐
盛阳精密设备MES系统
本系统定位为面向离散制造型企业的轻量化MES与ERP融合解决方案，重点解决企业在多品种、小批量生产模式下计划排程难、库存数据滞后、业财数据脱节等痛点问题。核心业务功能包括：1）销售管理，涵盖报价、合同及订单全生命周期；2）采购管理，实现从请购到入库的闭环；3）生产计划管理，区分销售计划与试验研发计划；4）生产执行管理，覆盖工单派工、报工及质量追溯；5）WMS仓储管理，支持多库位和批次管理；6）BOM管理，支持物料替代及ECN变更；7）发票管理，实现业财税一体化；8）工序管理，定义标准工艺路线；9）设备管理，涵盖台账、点检与维保；10）数据集成，提供OpenAPI供第三方调用；11）金蝶数据同步，通过定时任务完成基础资料和业务单据的双向同步。
美容预约小程序
1.立项为解决美容医疗门店的获客和售前，售后沟通。帮助建立会员，及实现统一管理，使得客户获得良好的体验。
2.第一，是注册登录功能模块，第二，美容项目的介绍及场景展示；第三，具体项目的内容，价格及项目预约。这是主要的三个模块。还可增加在线付费等功能。
3.业务流程。注册，登录——项目展示——具体项目选择(可以看到具体项目描述，图片，价格）——预约时间确定——查看预约清单
OMS管理系统
1、OMS 管理系统，主要包括：订单管理、库存管理、出入库单管理、商品管理、店铺管理等模块
2、用到的技术栈主要有： 后端：springboot、mybatils ；前端：vue、html5；小程序：uniapp
3、OMS 管理系统，主要包括：订单管理、库存管理、出入库单管理、商品管理、店铺管理等模块
企业级业务中台系统-建筑工程招投标全生命周期管理中台
立项背景和目标：
旨在打造一套覆盖招投标全生命周期的数字化管理中台，打破解决传统建筑企业招投标管理依赖Excel手工台账，存在信息孤岛、流程断层、数据统计困难等问题。
核心功能模块：
市场信息管理 — 项目线索收集、跟进记录、责任人分配、阶段流转;
投标信息登记 — 招标文件解析、标段管理、主责/协同人分配、人员变更追溯;
投标策划分析 — 项目评审会议纪要、多维决策矩阵（风险/利润/技术可行性）、竞争对手报价对标;
保证金管理 — 保证金缴纳/回收全流程、对接NCC财务系统、事前审批关联、支付状态同步;
投标结果登记 — 开标记录、中标/流标判定、下浮率自动计算、附件归档;
数据看板 — 人员绩效分析、中标率统计、金额同比/环比、多维度汇总报表;
业务流程： 市场信息收集 → 投标信息登记 → 投标策划分析 → 保证金管理 → 投标结果登记 → 绩效汇总，各阶段可灵活流转，支持草稿暂存与数据回填。
北华苑冷链管理系统-北华苑冷链管理系统
面向冻品冷链 B2B 批发行业，服务冻肉、水产、粮油调料、食材副食等批发市场，是产地 / 批发商、采购商、冷链物流司机三方对接的微信小程序平台，落地于晋城本地市场，辐射全国多省份。
商户（供货商）：冻品批发商、水产商行、粮油调料店铺、食材供应商，入驻线上开店，上架冷冻食材商品，拓展线上批发渠道。
采购商（买家）：餐饮门店、餐馆、食材零售店、二级批发商，线上批量采购冻货食材，支持自提 / 冷链配送，找货源、比价下单。
冷链物流车主：货运司机、物流兼职人员，入驻平台，设置运输路线，承接冻品冷链配送订单，完成货物运输。
业务模式：批发市场线上化，把线下冻品市场搬到小程序，实现货源展示、线上批发下单、冷链物流匹配、订单全流程管理，解决冻品批发找货难、找冷链车难、交易流转效率低的痛点。
首页市场模块：支持商品关键词、地理位置筛选货源；banner 轮播及公告展示平台通知；提供商户快捷入口、商家视频专区、冻品引流货源卡片；设置悬浮微信客服。
商品与交易：商品详情查看规格、价格、质检报告，可联系商家、加购；下单可维护收货地址、填写备注，支持自提、冷链配送两种提货方式，平台优惠做手机号次数限制。
订单管理：按订单状态分类展示，支持搜索筛选订单，可查看订单全流程状态。
就近找车：选择收发货地区筛选冷链车辆；司机可入驻平台，匹配同城、跨城冻品运输订单，支持往返接单。
入驻申请：商户提交店铺、资质、结算信息申请开店；司机填报车辆、路线信息，成为平台物流兼职。
底部导航：包含市场、订单、我的三大入口。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服