爬虫/脚本 软件定制 案例

Python 副业接单自动化系统 模块1：订单监控 - 每小时抓取猪八戒网公开的 Python/办公自动化/Excel 新单 - 过滤预算 300–2000 元、低难度 - 保存到 Excel + 控制台提醒 模块2：需求分析与报价 - 输入：客户需求文本 - 输出：难度、工时、报价、能否做、交付清单、沟通话术 模块3：成品模板匹配 - 内置 3 个模板：Excel 合并、静态爬虫、自动发邮件 - 需求匹配后自动推荐对应模板，标注“现成工具，快速交付” 模块4：交付打包 - 自动整理代码 + 使用说明.txt + 演示步骤 - 输出可直接发给客户的压缩包文件列表

本项目为海外中小企业客户开发场景搭建邮件外联自动化流水线。目标是替代人工逐封撰写与发送的低效模式。功能含:收件人名单多步清洗与有效性校验、调用 AI 按收件人信息逐条生成个性化首封正文、分批入队发送、跟进节奏管理。流程为:导入名单→清洗校验→AI 生成个性化内容→分批队列发送→记录与跟进。

本项目为解决电商与内容平台公开数据的批量获取与整理需求而立项。核心目标:把原本需要人工逐条复制粘贴的信息采集工作,变成一套可自动批量执行的系统。功能模块包括:目标页面批量抓取、浏览器指纹环境与登录态管理以应对常规反爬、抓取结果自动清洗去重、字段标准化、最终导出为可直接使用的结构化 Excel 表格。业务流程为:指定采集目标与所需字段→系统自动抓取→清洗去重→输出成表,全程无需人工干预。

本项目为电商场景下的商品数据采集与分析系统，旨在解决人工比价效率低、竞品分析成本高的问题。通过爬虫技术，实现主流电商平台商品价格、库存、评论等数据的自动化定时采集，支持多平台对比、价格波动监控、用户情感倾向分析，并提供结构化数据报表，为商家定价决策与竞品分析提供数据支撑。

1、主要用来采集用户输入车架号vin17/后8位 进行指定品牌数据采集整理并完成自动化清洗入库。 2、使用web 页面进行每日数据采集的走势，可以监控每日数据采集量 3、提供API 接口可供其他前后端调用 4、自动登录，验证码识别，动态js 指纹解密，自动整理数据脚本，自动化入库处理 5、使用到使用是python +flask+js+mysql 处理、隐藏navigator.webdriver爬虫标识等等

抖音用户公开数据自动化采集系统 1.支持用户对关注主页的信息抓取 2.签名逆向破解、反爬绕过、数据清洗与结构化输出，用户指定输出格式存储 3.累计完成 589 条实战数据采集，支持批量处理和增量更新

文件批量重命名工具 按规则批量重命名文件，支持前缀后缀、序号命名、文本替换、正则替换、按日期命名。 适用场景 照片整理：旅游照片按拍摄日期重命名 资料归档：发票扫描件统一加编号前缀 文件规范化：批量去除文件名中的广告词

本项目面向高校课程设计需求，实现图书信息全生命周期管理，包含图书新增、按编号 / 书名检索、信息修改、数据删除、全量信息浏览五大核心功能；程序启动自动从本地 txt 文件加载历史数据，完成操作后自动落地保存，搭配彩色边框美化菜单，提升交互观感，适配课程作业交付场景。

为解决自动化脚本在遇到滑块验证码时无法继续执行的问题，开发了一套基于计算机视觉的验证码自动识别系统。 核心功能：1）图像预处理模块，对验证码图片进行灰度化、边缘检测和降噪处理；2）滑块缺口定位模块，使用OpenCV模板匹配算法计算滑块目标位置；3）轨迹生成模块，模拟人类拖动行为生成平滑滑动轨迹曲线；4）REST API服务，通过Flask将识别能力封装为HTTP接口供其他自动化工具调用。 业务流程：客户端上传验证码背景图和滑块图→系统预处理并匹配缺口位置→计算偏移量和滑动轨迹→返回识别结果（偏移像素+置信度）。

为解决高校学生重复性教务操作耗时问题，开发了一套全自动教务辅助系统。 核心功能包括：1）自动签到模块，通过协议逆向还原签到API，定时自动完成课堂签到；2）课程视频自动播放模块，模拟播放进度上报，支持多倍速和断点续刷；3）多账号管理模块，支持同时管理多个学生账号，Cookie持久化存储避免频繁登录；4）任务状态看板，实时展示各账号课程完成进度、签到记录。 工作流程：导入账号信息→系统自动登录并保持会话→根据课程表执行签到/刷课任务→异常自动重试→生成完成报告。

为本地电商卖家开发竞品监控工具，解决手动比价效率低、数据量大的痛点。 核心功能模块包括：1）商品信息采集模块，自动抓取淘宝、拼多多指定商品的标题、价格、销量、评价数据；2）定时任务调度模块，按小时/天自动执行采集任务；3）数据清洗与报表生成模块，使用Pandas处理采集数据并输出Excel报表对比分析；4）反爬策略模块，引入随机User-Agent代理池和IP轮换机制绕过网站反爬虫限制。 业务流程：卖家在后台设置目标商品链接→系统自动匹配采集策略→定时执行采集→数据入库清洗→生成价格波动趋势图和竞品对比报表。

立项背景和目标：在日常办公中，经常需要将多个部门发来的Excel报表（格式相似但不完全一致）合并成一个总表，再进行汇总分析。手动复制粘贴不仅耗时，而且容易出错。本项目的目标是开发一个简单的Python脚本，能够自动读取指定文件夹下所有Excel文件，提取关键列，合并去重，并输出一个干净的汇总表。 软件功能、核心功能模块：脚本包含三个核心模块：1）文件遍历模块，自动扫描文件夹内所有.xlsx文件；2）数据提取模块，根据用户配置的列名映射，从每个文件中抓取所需数据；3）合并清洗模块，去除重复行、填补缺失值、统一日期格式，最后生成一个新的Excel文件。 业务流程、功能路径描述：用户将需要合并的Excel文件放入同一文件夹 → 双击运行脚本 → 命令行提示输入需要保留的列名（如“姓名、销售额、日期”）→ 脚本自动处理 → 输出“merged_result.xlsx”到同一文件夹。全程无需打开Excel，30秒内完成原本需要1小时的手工劳动。

立项背景与目标： 进入代码接单市场第一步是摸清行情——哪些需求在涨价、哪些赛道竞争小、客户出价区间是多少。每日侦察兵的目标就是用一个自动化 脚本，每天定时抓取国内外接单平台和行业动态，汇总成情报简报，让决策有数据支撑，不靠感觉拍脑袋。 业务功能介绍： 全自动的接单市场情报采集工具。用户运行一条命令，系统自动对多个预设关键词（覆盖 Upwork、一品威客、AI 行业趋势等）发起搜索，抓取最新市场需求和竞品动态，汇总生成结构化 Markdown 简报。全过程无人干预，约 30 秒完成一轮侦察。 核心功能模块： ① 多关键词搜索——支持自定义中英文关键词列表，覆盖多个情报维度。② 限流保护——请求间自动插入延时，防止被搜索引擎封禁，失败时有明确提示。③ 报告生成——结果自动组装为 Markdown 简报，含标题、链接、摘要，按关键词分组。④ 自动归档——按日期保存至 output/YYYY-MM-DD.md，形成可追溯的时间序列。 业务流程： 启动 → 遍历关键词列表 → 逐个发起 DuckDuckGo 搜索 → 每次完成后等待 3 秒防限流 → 收集并结构化所有结果 → 组装 Markdown 简报 → 按日期保存至 output 目录 → 打印完成提示。全流程串行执行，一次侦察约 25-30 秒，产出约 25 条情报。 技术特色： Python 3.11+，仅依赖 ddgs 一个第三方库，150 行代码实现核心功能。零配置部署，clone 后 pip install 即可运行。跨平台兼容，输出为纯 Markdown 格式可直接阅读。架构清晰，单文件设计便于后续扩展多引擎搜索和趋势分析。

面向商贸、财务日常办公场景，解决多份零散Excel单据手动汇总效率低、录入易错的痛点。工具可批量遍历指定目录全部表格文件，自动匹配表头字段，完成数据合并、无效空行剔除、分类统计，最终整合数据生成统一汇总报表，大幅缩减人工整理耗时，适配进销存台账、往来账单等多种单据处理需求。

某茅台抢购助手是一款桌面端工具，用于帮助用户在 i茅台的申购/抢购活动中更高效地完成“选择商品 → 选择门店 → 到点提交”的重复操作，减少手动操作延迟与遗漏风险，并提供清晰的执行日志与状态反馈。 适用场景： 多账号需要统一管理、统一配置、统一执行 商品开售时间不固定（如 20:00/20:09 等），需要到点自动提交 希望在电脑端统一配置，结果在手机 i茅台 App 内查看 二、核心功能（能做什么） 账号管理 支持手机号 + 验证码登录 支持多账号批量管理 自动检测 token 失效并提示重新登录 商品管理与实时同步 支持商品勾选、记忆上次选择 启动/手动“刷新”同步商品数据（以 i茅台接口返回为准） 自动区分可申购商品与不可申购（云购等）商品 省/市配置 & 店铺选择 省/市信息用于匹配投放门店并选择 shopId 自动按省/市匹配门店；接口异常时提供回退策略，保证流程尽可能不中断 定时抢购（到点自动执行） 支持自定义多个时间点（如 20:00:00、20:09:00 等） 到点自动触发提交逻辑，减少手动卡点误差 执行引擎（稳定性） 支持并发执行、失败自动重试（可配置次数） 详细日志输出：每个账号、每个商品的提交结果与失败原因 崩溃自动弹出错误详情，便于快速定位问题 结果查看（与手机 App 打通） 若程序提示“提交成功/申购成功”（服务器返回成功），对应记录会出现在手机 i茅台 App： 我的 → 申购单/申购记录 中查看状态、结果与后续付款流程（如有） 三、典型使用流程 登录账号（可多个） 配置省/市（用于选店） 刷新商品列表并勾选目标商品 设置定时点（例如 20:00、20:09） 启动任务 → 等待日志提示结果 打开手机 i茅台 App「我的 → 申购单/申购记录」查看

本项目是为备战省级AI算法工程师竞赛开发的智能训练辅助工具。工具包含三个核心模块：题库管理与智能组卷（按知识点/难度自动生成模拟卷）、刷题进度追踪与薄弱点分析（通过Pandas统计正确率/耗时/知识盲区，Matplotlib可视化雷达图）、竞赛环境模拟器（自动计时+得分预测）。解决了传统刷题"无反馈、无针对性"的痛点，让备考从盲目刷题升级为数据驱动的精准训练。

1.负责 Python 爬虫项目的开发工作，基于表格数据定向爬取微博账号相关信息。 2.使用 requests 库发送网络请求，结合 bs4 解析网页内容，通过 re 正则表达式提取关键数据。 3.利用 openpyxl 库处理 Excel 数据，实现爬取结果的规范化存储与整理。

1、嵌入式 CI/CD 持续集成建设 负责嵌入式产品整套 CI/CD 自动化流水线落地，打通源码拉取→编译构建→固件打包→镜像生成→自动化测试全链路流程，实现一键式从源码产出最终系统镜像；搭建面向下游客户的全量源码编译构建环境，标准化构建脚本与编译配置，替代以往人工分步编译打包模式，保障多版本、多机型客户固件批量稳定构建，大幅降低版本发布出错率与人工工时。 2、Yocto 定制开发与大版本升级迭代 基于 Yocto 构建嵌入式 Linux 发行版，定制内核、驱动、系统组件与第三方软件配方；独立主导两轮 Yocto 跨大版本升级迁移工作，梳理原有定制 bb 配方、补丁、本地配置差异，适配新版 SDK 编译规则、依赖变更，解决编译报错、软件兼容、系统启动异常等各类迁移问题，平稳完成项目系统底层版本换代。 3、自研自动化提效工具（All in 自动化） 围绕日常编译、打包、版本管理、环境部署等重复工作自研配套脚本与工具链，践行Automate all the thing理念；通过 Shell/Python 开发各类辅助工具，自动化处理配置同步、批量编译、日志解析、产物归档等繁琐事务，缩减团队重复操作耗时，提升研发、测试、交付全流程工作效率。 4、QCC 质量管控与流程持续优化 参与 QCC 品质改善活动，立足嵌入式研发全流程做质量管理落地；梳理开发、构建、交付环节现存痛点，针对编译失败、镜像异常、配置混乱等问题落地优化方案，完善构建规范、版本管控规范，持续迭代流程标准，从源头减少研发缺陷，稳步提升固件交付质量与项目稳定性。

底层业务系统通过ETL抽取至DW数据仓库，经数据质量校验、主数据清洗后进入分析集市；按财务、销售、采购、生产、经营分析五大主题建模加工；上层通过统一报表平台提供驾驶舱、管理报表、自助分析、移动端多渠道展现；各级管理者按权限分层查看对应维度的经营指标数据。 经营指标体系： 财务（盈利/营运/偿债/现金流/成本6子主题）、销售（收入利润/销量/回款/价格/市场5子主题）、供应链（库存/采购预实/合同/全球跟踪/生产5子主题），覆盖集团/板块/单体三级组织 管理报表系统： 统一全集团管理报表，数据来源自动化、标准化，支持对外报送、信息披露、高管驾驶舱四类展现

针对工业互联网场景下设备数据采集与生产环境信息同步的需求，开发了这套C++高性能分布式数据采集与处理服务。系统支持从多源工业网站、API接口异步采集设备运行数据、生产指标与行业资讯，实现数据清洗、结构化解析与实时入库。采用Boost.Asio异步IO架构，单节点并发采集能力达1000+/秒，同时支持断点续采、异常重试与IP池轮换，有效保障数据采集的稳定性与完整性，为工业数据分析与决策提供可靠的数据支撑。