爬虫/脚本 软件定制 案例

1. 立项背景与目标 背景：传统运维工具（Zabbix、Nagios等）架构重、门槛高，难以覆盖边缘节点；故障排查依赖人工经验，效率低；变更操作缺乏AI辅助和细粒度审批审计。ops-agent将系统巡检、AI问诊、安全审批和可视化看板整合为统一单机程序，填补市场空白。 目标：交付v0.1.0版本，提供TUI/Daemon/Dashboard三种运行模式；以LLM实现自然语言驱动的智能运维；建立本地审查+LLM评估+人工审批三层安全机制；发行包一键部署，开箱即用。 2. 软件功能与核心模块 智能对话引擎：集成LLM，支持自然语言交互，内置ReAct和Plan-and-Execute双策略自动适配任务复杂度，自主调用系统工具，实现“对话即运维”。 安全管控中心：本地规则硬拦截+LLM辅助风险评估+人工风险队列审批三层防线，五级风险分级（只读到关键变更），全程审计可追溯。 自动化巡检与调度：后台守护进程支持Cron定时采集CPU/内存/磁盘/网络等指标，扩展至K8s/容器/Prometheus巡检，阈值告警推送钉钉/企微，告警归并为Incident故障事件。 用户交互层：TUI终端界面（ratatui，六Tab页，键盘导航）+ Web Dashboard（React，可视化看板）。 3. 核心业务流程 故障诊断修复流程：SSH登录→TUI对话页输入自然语言（如“nginx起不来”）→Agent经LLM意图分析，调用check_service/journalctl等诊断工具（安全审查保障只读）→流式呈现诊断结果→修复操作识别为高风险→进入风险队列待人工审批（a键批准/x键拒绝）→执行并反馈结果。 无人值守巡检与干预流程：Daemon systemd开机自启→按Cron定时执行巡检（指标每分钟，深度每30分钟）→数据写入SQLite→超阈值生成告警并推送钉钉/企微→运维人员通过Dashboard/TUI介入查看→查阅Incident时间线和处置计划→高风险操作仍经人工审批后执行。 4. 项目范围与约束 包含：v0.1.0全部功能开发（24个功能点）、测试、文档、发行包及安装脚本。 不包含：第三方监控系统迁移工具、SaaS云服务、移动端APP、高可用集群部署。 技术约束：Rust 2024 + tokio；前端React+TypeScript+Bun；SQLite。 环境约束：兼容麒麟/Linux（x86_64/aarch64），依赖systemd和Python 3.8+，可选kubectl/Docker。

为帮助电商卖家进行市场调研，开发了京东商品信息采集脚本。脚本通过模拟浏览器请求，能采集指定关键词下的商品标题、价格、销量、店铺名和评论数等核心数据，并自动清洗，最终生成结构化的CSV文件，供客户进行数据分析。用户仅需输入关键词和页数，脚本即可全自动运行

内置可扩展的命令映射表，支持“查看版本”、“显示接口”等中文短语到华为标准CLI的智能转换，未匹配时直接透传原始命令。基于Paramiko库实现与eNSP路由器的加密连接，采用AutoAddPolicy策略自动处理未知主机密钥，适配模拟器频繁重置的网络环境。

脚本核心实现自动化测试：游戏自动登录、定点挂机、装备替换、道具兑换、账号资源流转等全流程自动化 1、全自动登录进游戏功能 2、新手账号定点挂机初始化功能 3、场景判断及挂机自动重启功能 4、挂机自动换装功能 5、装备道具批量兑换功能 6、打工号与主号资源流转功能 7、多账号面对面交易功能

面向个人投资者的A股策略回测平台，解决"策略上线前无法验证"的痛点。 核心功能：①双均线、动量、网格三类内置策略模板，支持参数化配置；②基于真实历史行情的逐笔撮合回测引擎；③收益曲线、最大回撤、夏普比率等绩效指标自动计算与可视化报告。使用流程：导入行情数据→选择策略配置参数→运行回测→查看绩效报告，全程无需编程基础。

1. 项目有哪些具体功能模块： ① 爬虫抓取模块（scrape_lightweight.py）：基于 curl_cffi 异步并发，模拟 Chrome 131 浏览器指纹，自动轮转代理池，支持断点续爬，可抓取猿急送平台所有兼职项目数据（标题、预算、工时、状态、描述等）。 ② 智能过滤模块：内置黑名单关键词库，自动排除高难度（架构/专家/底层）、违规敏感（翻墙/刷单/赌博）、硬件 IoT、游戏开发等不适宜大学生接取的项目。 ③ 技术分类模块（classify.py）：根据项目描述中的技术关键词，自动将任务归类为爬虫/Python脚本/前端/Web/小程序移动端/后端接口/AI智能体/测试质检/嵌入式IoT/工具脚本等 10 个技术方向，并分 Sheet 输出。 ④ 学生项目筛选模块（filter_student_projects.py）：在过滤基础上，进一步筛选预算 ≤500元、非驻场的项目，按预算升序排列，输出适合大学生的项目清单。 ⑤ 代理池模块（proxy_pool.py）：自动从快代理、free-proxy-list 抓取免费代理，连通性测试后按成功率加权随机选取，失败 3 次自动拉黑，定期恢复。 2. 项目的主要功能描述： 本项目解决大学生在猿急送等兼职平台上"找项目难、筛项目累"的问题。用户只需运行脚本，即可自动获取全部可投递项目并导出 Excel，同时一键生成按技术方向分类的 Sheet 和经过严格过滤的学生友好项目列表。相比人工逐页浏览，效率提升数十倍；相比人工筛选，避免接到超难度或违规项目。项目结构清晰、依赖简单（仅 Python 4个库），可作为高校课程设计/综合实验的优秀实践案例，完整体现了网络爬虫、数据清洗、分类算法、文件处理等多项核心技能。

项目包含14个页面，核心功能模块：1）启动登录：splash页等待登录，8秒超时机制，全局globalData状态管理；2）首页：心动匹配列表展示、语音房列表、悬浮菜单（发起语音房/搜索好友/附近的人）；3）语音房：文字聊天、成员管理、开麦闭麦、VoIP多人音视频通话、点击成员头像发起私聊；4）私聊：文本/图片消息、表情面板、消息历史加载；5）我的：个人资料编辑（昵称/签名/性别/年龄/城市/标签/头像）、心动列表、我的语音房、设置页；6）搜索匹配：全量用户列表、关键词过滤、喜欢/匹配机制。

立项背景与目标： 金融分析用户常需获取股市热门标的名单，但东方财富网数据为动态加载，手动复制效率极低。本项目目标是实现热门股吧榜单的自动化采集，输出结构化数据供后续分析使用。 软件功能： 输入目标接口地址，一键运行即可获取企业名称、股吧代码、行情代码三项核心信息，输出为UTF-8编码的纯文本表格。 核心功能模块： · 请求模块：模拟浏览器访问API接口 · 解析模块：提取JSON中指定字段 · 存储模块：写入本地TXT文件 业务流程： 用户双击运行脚本→程序自动请求接口→解析返回数据→提取三个字段→生成结果文件到当前目录。 功能路径： 下载脚本→确认网络通畅→双击运行→打开同目录下生成的文本文件查看结果

立项背景与目标： 当前气象数据获取方式仍以人工查询为主，效率低且难以批量处理。本项目旨在通过自动化手段，实现对目标地区天气信息的快速采集与结构化存储，减少人工重复劳动，提升信息获取效率。 1. 数据采集模块：向目标网页发送请求，获取页面内容。 2. 数据解析模块：定位并提取温度、天气状况等关键字段。 3. 数据存储模块：将提取结果写入本地文件，便于后续查阅或导入其他系统。用户运行脚本 → 程序自动请求目标网页 → 解析天气数据 → 写入本地文件 → 完成采集。功能路径描述： 脚本启动 → HTTP 请求 → HTML 解析 → 字段提取 → 文件写入 → 结束运行

针对企业运营人员日常重复的 Excel 数据整理、报表合并、数据清洗需求开发的自动化脚本工具。核心功能包括多表格批量合并、指定字段去重筛选、数据格式统一转换、异常数据自动标记、报表按模板自动生成导出。无需人工手动操作，原本数小时的人工处理工作，脚本运行几分钟即可完成，大幅降低重复劳动成本，避免人工操作失误。

本项目是面向个人投资者的A股选股评分工具。立项背景：普通投资者面对全市场5000多只股票难以有效筛选，且AKShare等数据接口新版列名变化常导致程序失效。本工具通过AKShare自动获取全市场实时行情（自动兼容中英文列名），过滤停牌股后，对量价配合、换手活跃度、流动性、估值四个维度进行快照评分初筛，再对初筛股票拉取历史日线计算MA5/MA10/MA20均线多头排列得分，综合输出每日TOP30选股排行榜，并自动生成可视化图表与CSV数据文件，帮助投资者快速定位值得关注的标的。

数据生成：生成百万级的学生数据（学号、姓名、成绩），以CSV格式存储。 数据加载：把CSV里的数据，分别加载到三种不同的数据结构里（vector、map、unordered_map）。 精确查询测试：随机生成一个学号，测试三种容器查询一个特定学生成绩的耗时。 范围查询测试：给定一个成绩区间（如80-90分），测试三种容器统计这个区间内学生数量的耗时。 性能对比结论：用高精度计时，对比三种容器在不同查询场景下的效率差异，得出选型建议。

一、立项背景和目标 当前电力、光伏、风电等能源行业的运营、巡检、工程类项目普遍存在大量结构化与半结构化数据处理需求，企业日常需对多站点Excel运营报表、Word工程文档、设备台账数据进行人工汇总、核对与制图，单份报表往往涉及数十张表格合并、上千条数据校验，人工处理不仅耗时久、重复劳动占比高，还易出现公式错误、数据遗漏等问题，直接影响项目交付效率与数据准确性。 本系统立项核心目标是打造一套轻量化的数据自动化处理工具，替代人工完成多源数据批量清洗、跨表合并、规则校验、可视化报表生成及文档数据提取工作，将单份数据处理时长从数小时压缩至分钟级，帮助企业降低人力成本，提升数据处理的标准化程度与准确率，同时可灵活适配不同行业的定制化数据处理需求。 二、软件功能、核心功能模块介绍 1. 多源数据批量清洗与整合模块 支持Excel多工作簿、多工作表的批量导入，可自动识别不同格式的表头与数据结构，一键完成缺失值填充、重复数据删除、异常值筛查、字段格式统一等清洗操作；支持自定义匹配规则，实现跨表格数据的VLOOKUP级批量关联与合并，适配电力站点台账、光伏发电量统计等多维度数据汇总场景，无需人工逐表粘贴整理。 2. 自动化报表与可视化生成模块 内置多套行业通用报表模板，可根据清洗后的数据自动生成汇总统计表、趋势分析表、占比分析表；支持一键生成折线图、柱状图、饼图等标准化图表，可自定义图表样式、维度与指标，自动匹配排版格式，直接导出可交付的Excel报表文件，满足工程资料、运营汇报等场景的输出要求。 3. 自定义规则数据校验模块 支持用户根据业务逻辑配置数据校验规则，包括数值区间校验、字段关联性校验、格式合规性校验等；系统可自动扫描全量数据并标记异常条目，生成校验报告，大幅降低人工核对的工作量，尤其适用于电力工程竣工资料、风电设备巡检数据等对数据准确性要求较高的场景。 4. 文档数据批量提取模块 支持从Word、PDF格式的工程文档、巡检记录中批量识别表格内容，自动提取结构化数据并导出至Excel，保留原始数据的层级与对应关系，解决大量非结构化文档数据录入效率低的问题。 三、业务流程、功能路径描述 完整业务流程分为需求对接-规则配置-自动化处理-结果交付四个阶段： 1. 需求对接阶段：接收用户的数据处理需求，明确数据来源、处理规则、输出格式与交付标准，确认后完成需求方案确认。 2. 规则配置阶段：将用户提供的样本数据导入系统，根据需求配置数据清洗规则、合并逻辑、校验公式与报表模板，完成小批量样本测试与规则调优，确保输出结果符合预期。 3. 自动化处理阶段：导入全量待处理数据，启动自动化处理流程，系统按预设规则依次完成数据清洗、合并、校验、图表生成全链路操作，过程中自动记录处理日志，异常数据自动标记并单独归档。 4. 结果交付阶段：系统生成最终的报表文件与校验说明，支持一键导出

立项背景和目标：财务对账、数据汇总、报表整理等日常办公场景经常需要合并多份 Excel、按列去重、条件筛选、统计数值，手工操作繁琐且极易出错，大文件处理耗时数小时。本项目目标是开发 Excel 批处理命令行工具箱，将高频操作封装为一条命令，大幅提升办公数据处理效率。 核心功能模块：① 多文件合并 merge——自动识别表头并按并集对齐，跨文件列不一致时自动补空，保留表头底色、数字格式、列宽；② 按列去重 dedupe——指定关键列去重，保留首次出现记录；③ 条件筛选 filter——支持精确匹配、范围、包含等多条件组合筛选导出；④ 数值统计 stats——均值、合计、计数一键输出汇总表；⑤ 中文兼容——全面支持中文列名与中文数据，无乱码。 业务流程：选择子命令 → 传入 Excel 文件与参数 → 程序自动处理 → 输出结果文件 → 保留原文件不破坏。

立项背景和目标：价格波动、库存变化、公告更新、竞品动态等网页信息变化需要 7×24 小时实时盯守，人工巡检无法覆盖且易遗漏。本项目目标是开发多站点并发网页监控工具，自动检测目标网页变化并多渠道即时通知，帮助用户第一时间掌握关键信息变化。 核心功能模块：① 多站点并发监控——YAML 配置定义多站点（URL + CSS 选择器 + 检测间隔 + 通知渠道），单轮并发检查；② 精确变化检测——支持文本 diff、元素数量变化、属性变化三种检测模式，CSS 选择器圈定监控区域避免整页误报；③ 多渠道通知——Webhook JSON、飞书、钉钉、邮件 SMTP 四种通知方式，变化即时推送；④ 历史追溯——SQLite 持久化历史快照与变更日志，支持查询某站点全部变更记录；⑤ 守护调度——内置调度器按站点独立间隔运行，支持前台守护与 systemd 兼容部署。 业务流程：配置站点 → 定时抓取目标区域 → 与上次快照对比 → 有变化则多渠道通知 + 记录变更日志 → 无变化静默等待下一轮。

立项背景和目标：市场调研、电商比价、行业数据收集等场景经常需要从网页提取结构化数据，人工复制粘贴效率低、易出错、无法复用。本项目目标是开发一款通用网页数据采集工具，一条命令完成"抓取→清洗→导出"全流程，让非技术人员也能轻松采集数据。 核心功能模块：① 智能抓取引擎——通过 CSS 选择器或表格定位自动抓取列表页与详情页数据；② 多页抓取——支持下一页按钮翻页、页码参数翻页、无限滚动三种模式，自动识别并防死循环；③ 数据清洗管道——自动去空白、字段映射、类型转换（支持金额千分位、日期等）、跨页去重；④ 断点续抓——SQLite 缓存已抓页面，失败任务自动进入重试队列，中断后可继续；⑤ 多格式导出——Excel（多 Sheet、自动列宽、表头样式、冻结首行）、CSV（UTF-8 兼容 Excel）、JSON。 业务流程：输入 URL 与选择器配置 → 逐页抓取（限速+重试）→ 数据清洗转换 → 去重 → 导出文件 → 生成抓取报告（成功/失败/耗时统计）。

企业客源查询台,基于找客源免登录数据源,无需注册即可检索全国企业。支持关键词、省市地区多级筛选、有无电话过滤、跨页全量 采集与搜索结果导出。内置企查查备用源自由切换,查询历史记录。玻璃拟态界面,单文件 EXE,零依赖浏览器,适合销售获客、客源开发

1. 图像识别模块：依托OpenCV模板匹配，识别游戏界面按钮、图标、战斗状态，支持自定义识别相似度；集成OCR文字识别，读取界面文字信息，识别弹窗提示、倒计时、任务状态。 2. 任务调度模块：封装阴阳师各类业务流程，包含御魂刷图、觉醒副本、奖励收取、活动巡检等任务，支持任务顺序编排、循环执行、任务启停控制。 3. 控制交互模块：对接模拟器ADB协议，完成屏幕点击、滑动、截图操作，根据图像、OCR识别结果自动输出对应操作指令。 4. 配置与日志模块：提供可视化参数配置，可调整识别阈值、执行间隔；实时输出运行日志，记录识别结果、执行步骤，方便排查运行异常

本项目基于 Python 与 Pandas 库开发本地自动化脚本，主要解决办公场景下大量 Excel 表格人工汇总、拆分、去重、数据筛选耗时费力的问题。可实现多 Excel 文件一键合并、无效数据清洗、重复值删除、格式统一并导出新表格，额外支持本地文件夹批量重命名、文件分类整理功能，脚本轻量化部署，双击即可运行，极大减少重复性手工操作，提升日常办公效

1.立项背景和目标 日常办公、游戏操作中存在大量重复鼠标点击、滑动、输入操作，手动反复操作耗时费力，且长时间重复操作易造成手部疲劳。本鼠标宏自动化工具以Python为基础开发，目标是实现鼠标动作录制、自定义脚本编辑、图像识别触发自动化流程，无需人工持续值守，一键批量执行重复操作，大幅降低人工操作成本，兼容Windows全版本系统。 2.软件核心功能模块介绍 1. 动作录制模块：实时捕获鼠标坐标、左键/右键单击、长按、滚轮滑动等全部鼠标行为，自动生成可编辑脚本； 2. 图像识别找图模块：基于OpenCV图像匹配算法，支持自定义相似度阈值，识别到指定截图后自动触发预设鼠标操作，适配各类界面触发场景； 3. 脚本编辑管理模块：可视化编辑录制生成的宏脚本，可自定义动作延迟、循环执行次数、条件判断分支，支持新建、保存、导入、删除多套宏方案； 4. 窗口适配模块：适配Windows不同DPI缩放屏幕，有自适应功能，解决高分屏坐标偏移问题，支持绑定指定程序窗口运行宏，避免误操作桌面； 5. 一键启动热键模块：自定义全局快捷键，后台静默运行宏程序，最小化托盘不占用前台界面。 3.业务流程与功能路径 用户打开软件后，可选择两种使用流程：①录制模式：点击录制按钮，手动完成全套鼠标操作，录制结束后进入脚本编辑器微调延迟与循环规则，保存方案后设置启动热键；②自定义脚本模式：直接导入目标识别图片，手动拖拽添加点击、滑动等动作，设置图像识别触发逻辑，保存方案。完成配置后，按下自定义全局热键即可后台执行整套鼠标宏，执行过程中可随时按终止热键停止程序。