电商 爬虫/脚本 软件定制 案例

平台专注于电商元件采购询价全流程业务，整合账号管理、外部平台数据抓取、询价管理、报价管理及首页看板五大核心功能模块。通过系统化、自动化的操作流程，帮助采购人员高效获取元件市场信息，规范询价与报价操作环节，最终实现采购效率提升与采购成本优化。

这是一个天池项目的训练赛，主要背景如下： 商家有时会在特定日期，例如黑色星期五或是双十一开展大型促销活动或者发放优惠券以吸引消费者，然而很多被吸引来的买家都是一次性消费者，这些促销活动可能对销售业绩的增长并没有长远帮助。因此为解决这个问题，商家需要识别出哪类消费者可以转化为重复购买者。通过对这些潜在的忠诚客户进行定位，商家可以大大降低促销成本，提高投资回报率（Return on Investment, ROI）。众所周知的是，在线投放广告时精准定位客户是件比较难的事情，尤其是针对新消费者的定位。本项目主要的内容是使用提供的一些商家信息和新消费者信息，预测新消费者六个月内再次消费的概率

1. 立项背景和目标： 针对人工整理Excel数据时“重复记录筛选耗时长、分数统计易出错”的办公痛点，立项开发轻量化自动化工具，目标是实现Excel数据的自动去重与分数统计，将单文件数据整理耗时从10分钟压缩至1分钟内，同时避免人工计算的误差。 2. 软件功能、核心功能模块的介绍： 核心包含4个功能模块：①Excel数据读取模块：支持xlsx格式文件的本地导入；②重复数据清洗模块：自动识别并移除表格中的重复记录；③统计分析模块：计算分数列的平均值等核心指标；④成果导出模块：生成“去重后数据.xlsx”和“分数统计报表.xlsx”2个结构化文件。 3. 业务流程、功能路径描述： 完整业务流程为：“将待处理的Excel文件与Python脚本放置在同一目录→运行脚本→工具自动完成数据读取、去重、统计→在目录下查看生成的2个成果Excel文件”。

电商智能视频混剪工具是一款集合图片转视频、文案生成、文案转语音、视频合成、视频配音于一体的智能电商视频生成工具，通过整合云计算、人工智能等技术，实现电商类推广视频的有效解决方案。 应用场景 1、电商推广类视频生成 2、小说解说类视频生成 3、其他涉及混剪类型的视频生成，视频生成类型跟素材相关

1. 用于采集京东视频中的达人账号下面的相关产品数据 2. 采集后的数据以产品SKU为名创建文件夹，并爬取相关的封面图片和视频 3. 使用内嵌浏览器，能够缓存登录状态，无需每次启动都重新登录 4. 主界面使用winform开发，该项目也包含了控制台版本

1. 立项背景：初学者练手项目，目标是熟悉Python面向对象、事件循环与图形绘制。 2. 软件功能：①键盘左右移动方块；②边界碰撞检测；③计分板实时刷新；④可随时重新开始。 3. 业务流程：启动→初始化窗口→监听键盘→更新坐标→重绘画面→得分实时显示→游戏结束R键重开。

AICoin是新加坡持牌（MAS/MSB）加密数据服务平台，专注提供全球万种代币实时行情、链上分析、市场周报及项目评级工具，覆盖500万+用户。其核心功能含鲸鱼追踪、多链对比与智能预警，定位为“币圈同花顺”，非交易平台。

一款专为淘宝、拼多多店铺运营者设计的店铺订单自动化管理工具，通过对已付款、待发货、退款三类核心订单的自动化操作，显著提升店铺管理效率，简化运营流程。 [在淘宝服务市场可以查询到详细产品]

1、迎合批量下载网络图片的客户需求 2、初始化界面_获取数据_选择目录_下载图片（多线程下载，包括暂停、取消功能_显示图片_退出程序 下载图片流程图（多线程）： 主线程： 用户点击“保存本页图片” 检查状态：如果正在下载，则警告并返回 检查目录和图片列表 禁用按钮，启用暂停和取消按钮 启动下载线程 更新状态为“开始下载” 下载线程： 创建保存目录 初始化下载计数和总数量 对于每个图片URL： 如果取消下载标志为True，跳出循环 如果暂停标志为True，则循环等待直到暂停标志为False或取消 下载图片（分块） 发送HTTP请求 打开文件写入 按块读取数据，并写入文件，同时更新已下载大小 更新总体进度（通过主线程after方法更新界面） 下载完成后，设置完成状态

本项目旨在构建一套自动化爬虫系统，定向采集某电商平台游戏鼠标类目下的全量数据，为企业运营决策与产品迭代提供精准的数据支撑，覆盖游戏鼠标类目下FPS、RTS、MMO三大细分类型，共 20 个主流品牌（罗技、雷蛇、华硕 ROG 等）、800余款商品。每款商品包含25个核心字段，采用全量采集（每周1次）+增量采集（每1小时1次）双模式。

主要功能：自动化网站登录和验证码识别 核心功能模块 1. 基础浏览器自动化 (test01.py) - 自动打开百度网站 - 执行搜索操作（搜索"特斯拉"） - 网页截图功能 2. 教务系统自动登录 (pra_1_cdtu.py) - 自动登录成都工业学院教务管理系统 - 自动填写学号和密码 - 验证码自动识别和输入 3. 通用网站自动登录 (test03.py) - 通用API登录页面自动化 - 支持多种验证码类型识别 技术特性 1. 验证码识别系统 (test02.py) - 集成图图识别API - 支持多种验证码类型（纯数字、英文、混合、计算题等） - 支持坐标点选、缺口识别、拼图识别 2. 图像处理工具 (basic_to_pit.py) - Base64图片编码/解码 - 验证码图片保存和处理 3. 坐标获取工具 (截图坐标.py) - 鼠标坐标获取 - 屏幕截图功能 应用场景 - 自动化测试 - 批量账号登录 - 教务系统数据采集 - 验证码破解研究 - Web爬虫辅助工具

机器学习算法案例 -公司拥有自主研发、自主知识产权的机器学习自动化建模平台-Model Robot，在客户行为预测、商品推荐算法、因果分析推理模型、自然语言处理和视觉学习方面拥有成熟模型，沉淀了丰富的实践经验; 精准营销系统功能案例 a. MA系统、多维客户画像标签、千人千面，精准筛选 b. 精准推荐系统: 内置推荐引擎、车辆进店，摄像头自动识别，一车一策，精准营销 知识图库与舆情系统 a.KG Learnings-以汽车售后收益诊断为例，已落地多家主机厂，500余家4s店；gpt式领域知识查询已落地应用1年以上 b.舆情系统: 全网开源数据实时抓取、清洗处理和分析呈现，多家豪华品牌连续三年采购 定制BI开发 a.除多业务层级、多岗位角色关联指标实时大屏呈现外，也具备AI辅助的决策分析和短板精准诊断功能 b.与精准营销模块无缝对接，知道KPI短板在哪里，也知道造成KPI短板的原因在哪里，也知道弥补短板的目标引流客群是谁，什么干预措施能带来多大量化效果

根据指定站点的数据位置，进行获取指定的机型信息，填写到表格内，进行一些分析操作后将结果写入到数据库供人工审核，最终实现为并行获取多个站点的多个机型的数据信息并分析出结果后保存到数据库

主要功能有： 1、js加解密算法分析 2、数据请求 3、验证码智能识别系统 4、数据ETL处理管线 5、数据入库 6、多级代理IP轮换机制 7、自适应反爬对抗策略（随机User-Agent轮换;TLS指纹伪装;请求头参数加密;随机操作延迟（0.5-3s）;鼠标移动轨迹模拟;页面停留时间控制） 8、分布式任务调度支持

根据需求使用浏览器自动化工具爬取评论内容和评论人名以及评论时间，对于个人小红书号和所在ip则使用request请求并发访问获取数据，整个脚本除了浏览器初始启动外全部采用人工翻页加监听器捕获请求获取数据，最大程度模拟真人操作避免反爬。最终获取1万多条有效数据

解决了获取数据的参数逆向解密 使用分布式爬虫，解决同ip的多线程爬取的限制 使用redis的临时存储，提高采集存储效率 使用生产-消费的队列机制，可以防止重复采集，漏采，以及中断后继续采集 提供查询数据，调取数据的功能

功能模块： 数据加载与初步检查：支持CSV文件输入，快速检测空值、格式错误 智能清洗：自动修复日期（如无效日期"2025-02-31"）、修正负金额、标准化分类 报告生成：输出清洗日志，包含数据量变化、异常记录统计 功能路径： 原始数据 → 加载 → 逐字段清洗（日期/金额/分类/支付方式） → 结果导出 → 可视化报告

采集抖音、快手 点赞评论转发收藏，并且根据自定义阈值发送提醒功能。其中包括自己提醒设置、提醒上级设置，特殊流量延长监控、评论关键字提醒。可选择关联产品进行报表统计。第一次使用时添加新手引导无缝上手。 并整合了钉钉、快麦erp、金蝶等第三方api。避免数据孤岛，整个业务流程形成闭环。

1. 内嵌obs辅助直播功能，自动启停obs，自动配置obs各种功能，自动拉流和自动开启虚拟摄像头； 2. 支持针对各直播平台的不同来源的直播商品采集； 3. 支持实时抓取各直播平台互动信息，并过滤主播信息； 4. 支持提供内嵌web端原生平台功能。

1：根据客户需要定时执行任务查询旺店通数据（旺店通暂时不支持推送方式） 2：对查询结果数据，进行过滤，满足条件的数据进行更基础资料的处理（比如查询商品信息在金蝶中是否存在等） 3：根据情况，对基础资料进行同步。 4：到步骤3为止，如果发生错误，将错误信息保存到DB，否则执行步骤5。 5：同步旺店通业务单据到金蝶（具体字段，根据与客户协商为准），同步成功后更新DB 6：每天定时对DB中的数据进行查询，未正常执行的数据，需要定时再执行（需要客户对错误原因进行修正后才能正常执行）