人工智能 爬虫/脚本 软件定制 案例

本项目为批量数据处理与自动化运维脚本工具，旨在解决企业日常工作中大量重复的数据处理、运维操作问题，通过 Python 自动化脚本，实现数据采集、批量导出、定时任务、日志监控等功能。工具核心功能包括：1. 多源数据采集，支持 Excel/CSV/ 数据库等多格式数据自动提取；2. 批量数据处理，支持数据清洗、格式转换、报表生成；3. 自动化运维，支持定时任务、服务器监控、日志分析；4. 可视化配置，用户可通过简单配置实现自定义自动化流程，无需代码。工具可广泛应用于财务、行政、运维等多个岗位，大幅提升工作效率，减少人工错误。

根据给定的几个关键词，从网络上抓取不少于1000张图片，且图片大小符合特定尺寸，抓取后对所有图片进行去重，计算清晰度并排序，接着将每张图片的大小都缩放到特定尺寸,并按照特定规则命名，打包即可

本项目专注于各类自动化脚本与效率工具的定制开发，依托Python及PyAutoGUI等技术实现模拟操作、数据处理、批量执行等核心功能。可满足游戏挂机、社媒矩阵运营、办公自动化、数据采集等多场景需求，通过模块化设计与逻辑优化，大幅提升用户操作效率，降低人工成本，适配个人及中小企业的定制化开发需求，具备高兼容性、高稳定性与快速交付能力。

为提升办公效率，我开发了一款Python文件批量处理小工具。该工具可实现批量重命名、格式转换、内容整理等功能，核心分为文件遍历、规则匹配、执行处理三大模块，采用Python标准库实现，无需额外依赖。我负责全流程开发，处理效率达每秒50个文件，能大幅减少重复手动操作。开发中解决了中文文件名乱码、路径兼容性等问题，工具稳定可靠，可满足日常办公自动化需求。

出于提高效率的目的且不违反法律，提供知网论文的全选与自动翻页的网络爬虫设计。爬虫自动勾选页面上的全选复选框，这样你就可以一次性对当前页的全部文献进行后续操作，例如导出题录、加入收藏、批量下载等。自动翻页处理完当前页后，自动点击“下一页”按钮，进入下一页继续执行相同的全选操作。通过循环控制，可以连续处理多页，无需手动一页一页地点击。

1、立项背景和目标： 在信息碎片化时代，用户面临新闻多端分散、优质内容易被404（链接失效）等痛点。本项目旨在打造一个跨平台（PC网页、iOS、HarmonyOS）的智能新闻聚合系统。核心目标是通过分布式爬虫实时抓取全网热点资讯，并利用无头浏览器技术对高价值新闻生成永久DOM快照和长图存档，确保信息资产的永久可访问性。 2、核心功能模块介绍： 分布式爬虫与清洗引擎： 针对不同新闻源定制抓取策略，利用自然语言处理（NLP）进行正文提取、去重和自动打标签。 网页快照与归档中台： 监听新闻入库事件，异步调度无头浏览器渲染目标页面，生成离线HTML快照和PDF/长图，存储至对象存储（OSS）。 多端统一分发API： 为HarmonyOS、iOS和PC Web提供统一的RESTful接口，支持基于ElasticSearch的亿级数据毫秒级全文检索。 智能推荐与订阅机制： 根据用户浏览画像，实现千人千面的新闻流推荐。 3、业务流程、功能路径描述： 数据生产链路： 调度中心下发任务 -> 爬虫节点抓取HTML -> 清洗服务提取标题/正文/时间 -> 触发快照异步任务 -> 存入MySQL并同步至ES索引。 C端用户访问链路（以鸿蒙端为例）： 用户打开HarmonyOS App -> 发起首页Feed流请求 -> 后端网关鉴权 -> 推荐系统计算流数据 -> 返回资讯列表 -> 用户点击新闻 -> 优先加载本地/OSS的网页快照，实现秒开体验。

在企业知识管理和智能问答系统建设中，原始文档常常存在格式混乱、OCR噪声、结构断裂等问题，导致入库前难以保证数据质量。 针对这一痛点，doc_cleaner提供自动化的文档清洗、复杂度评估和人工审核分流能力，适用于金融、医疗、制造等行业的批量文档标准化和风险筛查场景，显著提升数据入库前的可用性和安全性。 doc_cleaner 以 LangGraph固定10节点的流程为核心，支持多格式文档（PDF、扫描件、DOCX、图片等）自动识别与抽取。 系统通过智能路由（MinerU/Unstructured）、复杂度评分、清洗策略决策、半自动清洗、自动审核与人工复核闭环，实现高质量纯文本输出。 产物包括清洗结果、风险报告、复核队列、失败追踪等，支持批量处理、断点续跑和插件化策略扩展，满足企业级文档治理需求

1.立项背景 大学生群体是我们产品的核心目标用户，他们的年龄范围主要集中在18至25岁之间。这个年龄段的学生正处于高等教育阶段，需要修读各类专业课程，面临着较大的记忆压力和学习任务。由于大学生活的特点，他们的时间往往呈现出碎片化的状态，难以进行长时间连续的学习。 2.典型使用场景的深入剖析： 首先，在课前预习和课后复习方面，学生可以利用我们的产品提前了解即将学习的内容，并在课后及时巩固所学知识。其次，在考试前期，产品可以帮助学生进行集中性的记忆训练，提高复习效率。再者，日常的任务管理和课程安排也是重要应用场景，帮助学生合理规划时间。最后，考虑到现代学生多设备使用的习惯，我们还提供了跨设备同步学习进度的功能，确保学习数据的一致性和连续性。 3.核心功能的详细描述 核心目标用户群体主要针对上海交通大学学生 课程自动导入功能： 系统可以从Canvas等主流教育平台自动获取课程表和回放视频资源，同时支持用户手动补充其他日程安排，如社团活动、兼职工作等，确保日程的完整性。 AI知识点总结功能： 通过先进的AI技术，系统能够自动提取课程视频字幕中的关键信息，生成便于复习的知识摘要。同时，还能自动抓取课程PPT中的重要内容，为用户提供全方位的学习资料。 智能复习规划的算法逻辑： 基于艾宾浩斯遗忘曲线理论，系统会自动安排最优的复习时间。用户可以根据个人需求自定义复习优先级，也可以选择排除某些不需要复习的课程。 日程可视化与提醒功能的设计理念： 系统提供震动提醒和铃声提醒两种方式，确保用户不会错过重要事项。同时具备冲突检测和自动顺延机制，当出现时间冲突时能够智能调整日程安排。 个性化功能： 为了满足用户的个性化需求，我们提供了多种颜色的主题风格供用户选择。此外，还设置了可自定义的免打扰时段，既能保障用户的专注学习时间，又能在夜间休息时避免被打扰。

基于Auto.js开发的微信自动抢红包脚本，通过监听系统通知实时响应红包消息，自动点击横幅进入聊天界面，并利用固定坐标快速点击红包和“开”按钮。脚本支持多次重试机制，确保红包被及时抢到，无需人工干预，极大提升抢红包成功率。

本项目旨在解决 SAP BW 系统运维中人工监控效率低、响应滞后、易遗漏异常的痛点，通过 RPA 机器人替代人工，实现对 SAP BW 数据加载、任务执行、系统状态的 7×24 小时自动化监控。 核心功能模块包括： SAP BW 监控模块：RPA 自动登录 SAP 系统，定时检查 BW 进程、数据加载任务、系统日志及关键指标，识别任务失败、数据异常、系统告警等问题。 智能通知模块：当监控到异常时，RPA 触发微信消息推送，将异常详情、影响范围、建议处理措施实时推送给运维人员；同时可调用 Python 接口，通过电话语音或系统声音输出进行二次告警，确保关键问题不被遗漏。 辅助识别模块：集成 Python OCR 图片文字识别能力，自动解析 SAP BW 监控截图中的关键信息，补充到告警内容中，提升问题定位效率。 业务流程为：RPA 定时巡检→发现异常→触发多渠道告警→运维人员接收并处理→RPA 记录处理结果并归档，形成闭环运维监控体系，大幅降低人工成本，提升运维响应速度和系统稳定性。

核心负责华为AI智能语音音箱的时间/日程/闹钟核心模块全流程开发： 时间算法：攻克自然语言时间解析难点，设计多场景时间提取算法，精准解析用户语音输入中的时间信息（含多日期、多时间节点），适配中文多样化时间表述（如 “明天下午3点”“下周二上午10点到12点” 等），保障时间解析准确率； 高并发性能优化：重构闹钟服务多线程调度逻辑，针对百万级用户并发触发闹钟的场景做性能调优，通过线程池复用、任务分片、锁粒度优化等手段，将系统响应时间缩短 20%，支撑高并发场景下的服务稳定性。

将历史的日期特征和天气特征数字化，结合历史客流量得到输入数据，组合为LSTM算法的输入，并将LSTM算法的输出经过全连接神经网络得到未来一天的客流量预测值，最后将未来一天的日期和天气特征通过另一个全连接神经网络计算得到一个权值，修正客流量预测值，为地铁运营部门提供参考，提前调整地铁运行系统。目前主要是预测整条线路的天粒度的客流量。

本项目开发出基于人脸检测与跟踪算法的远程驾驶系统。驾驶员通过脸部的细微运动即可远程控制车辆的行驶，解放了双手。项目的核心是基于 AdaBoost 算法的人脸检测与跟踪技术以及基于 TCP-SOCKET 的远程通信技术。项目的关键技术难点在于人脸检测的准确性、判别算法的鲁棒性和通信系统的实时性。项目很好地满足了这几点要求。

1. 背景：通过机器学习训练自己的投资习惯进行定投的Agent，解放用户的精力和为客户实现盈利。 2. 功能：通过机器学习算法和长期积累的数据训练小模型，通过自动化脚本操作金融平台，为用户自动进行投资，可按用户要求定制止盈和止损策略。 3. 交付成果：此辅助程序为用户提供了极大的便利，解放用户双手，自动化进行执行并且平均每日产生至少15%的收益。

系统每日在指定时间段内随机触发，自动抓取知乎等平台的当日头条内容，结合AI文生图技术生成高质量配图，并将图文消息自动推送至微信群。整个流程无需人工干预，实现从热点发现、内容创作到社群分发的全链路自动化，提升信息传播效率与运营智能化水平。 1、定时触发机制：每天在指定时间段内自动启动任务流程。 2、随机时间执行：在设定的时间段内，系统随机选择一个具体执行时刻，避免固定时间点的可预测性。 3、头部内容抓取：自动获取主流平台（如知乎）当日的“头条”或热门帖子内容（标题+正文）。 4、AI图文生成：基于抓取的文本内容，调用文生图AI模型自动生成匹配的图像。 5、自动推送至微信群：将生成的图文内容（文字+图片）自动发送到指定微信群，完成信息分发。 6、端到端自动化运营：无需人工干预，实现从内容采集 → 图像生成 → 社群发布的一体化流程。

本项目旨在为政府及企业提供高效的网络舆情监测与智能化分析解决方案。 1. 核心功能 ： - 多源数据采集 ：内置百度新闻等主流媒体爬虫，支持通过XPath自定义配置抓取规则，实现对各类新闻门户及网页内容的精准采集。 - 智能内容分析 ：集成AI大模型接口，对采集的文章进行深度清洗、自动摘要提取及情感倾向分析。 - 可视化驾驶舱 ：提供数据大屏（Dashboard），利用图表实时展示舆情走势、来源分布及关键词云。 - 自动化报告 ：支持基于分析结果一键生成标准化的PDF舆情简报，便于归档与汇报。 2. 业务流程 ：用户配置爬虫任务 -> 系统自动抓取数据 -> AI引擎进行深度分析 -> 最终通过可视化大屏展示并生成可下载的分析报告。

项目背景：游戏环境复杂多变，人工监控游戏状况耗时费力且易出错。 目标：实现游戏状况自动精准监控与智能操作。核心模块含图像识别游戏画面、数据处理分析、自动化脚本执行。流程：识别画面，分析数据，自动操作。 最终实现全自动对指定游戏进行操作，包括不限于日常任务，战斗，账号管理，账号异常通知用户以及完善的错误处理机制

（一）定制化Python爬虫开发 1. 全场景数据采集定制 ​ - 支持网页、APP接口、小程序、API接口等多源数据采集，适配静态页面、动态JavaScript渲染（Vue/React）、反爬机制（验证码、IP封锁、Cookie验证）等复杂场景。 ​ - 可定制数据字段提取、格式转换（Excel/CSV/JSON/数据库直连）、定时采集、增量更新等个性化需求。 ​ 2. 反爬策略深度适配 ​ - 内置IP池自动切换、User-Agent随机伪装、请求频率控制、Cookie池管理等基础反爬方案； ​ - 针对高难度反爬场景（滑块验证、短信验证、设备指纹识别），提供定制化破解方案，确保爬虫稳定运行。 ​ 3. 爬虫性能优化 ​ - 支持多线程、多进程、异步协程（aiohttp）优化，提升采集效率； ​ - 实现断点续爬、异常重试、日志监控功能，避免数据丢失，便于问题排查。 （二）高强度代码加密混淆 1. 多层级混淆防护 ​ - 基础混淆：变量名/函数名/类名随机替换（支持自定义规则）、代码逻辑打乱、冗余代码插入、注释清空； ​ - 进阶混淆：控制流扁平化（嵌套分支重构）、指令乱序、字符串加密（Base64/AES/RC4）、常量加密隐藏； ​ - 高强度混淆：虚拟机保护（将核心逻辑转为自定义字节码）、反调试（禁止断点调试、检测调试工具）、反编译防护（防止PyInstaller打包后被反编译）。 ​ 2. 爬虫专属混淆优化 ​ - 针对爬虫核心逻辑（请求参数构造、反爬策略、数据解析算法）重点加密，避免核心思路泄露； ​ - 保留爬虫运行效率，混淆后不影响采集速度与稳定性。 ​ 3. 多格式输出支持 ​ - 支持.py源码直接混淆、.pyc字节码加密、PyInstaller打包后exe/elf文件加固，适配Windows、Linux、Mac多系统。 （三）附加增值服务 1. 售后技术支持：提供1-3个月免费bug修复、爬虫反爬策略更新适配、混淆方案优化； ​ 2. 个性化定制：根据客户需求整合代理IP、验证码识别接口、云存储等第三方服务； ​ 3. 教程文档配套：提供混淆后代码使用说明、爬虫部署教程、常见问题排查手册。 三、服务优势 1. 技术专业性：深耕Python爬虫与代码安全领域，适配各类复杂场景，拒绝“通用化模板”，每单均为定制开发； ​ 2. 安全可靠性：加密混淆方案经过多轮反编译、反调试测试，确保代码难以破解，爬虫稳定抗封； ​ 3. 高效响应：快速对接需求，明确开发周期（简单需求1-3天，复杂需求3-7天），支持加急开发； ​ 4. 灵活合作：支持“爬虫开发+加密混淆”一站式服务，也可单独承接爬虫开发或代码混淆需求，按需求定价。 四、适用客户 - 开发者/编程爱好者：需要定制特定场景爬虫，或希望保护自己的爬虫代码不

本项目旨在搭建一个基于大模型（LLM）的认知决策实验平台，支持单步或多步推理任务的可视化实验。平台能够模拟模型在噪声干扰下的决策过程，记录轨迹、Commit Time、敏感性指标等关键统计量，并生成可视化图表，如决策流形、H-Basin 稠密度图、轨迹重合图等。系统支持多种实验模式，可用于论文实验复现、模型解释性研究与决策动力学分析。核心功能包括参数配置、实验运行、日志记录、结果可视化和实验历史管理

模具钢企业在下料生产中，需要根据订单选择合适的母材规格并进行三维排样。现实中： 母材规格选择依赖人工经验，不同规格利用率差异大。 排样研究通常只处理固定母材，但实际母材尺寸可选且影响排样。 多订单、多零件尺寸导致排样与规格选择高度耦合。 因此企业需要一个能 自动推荐母材规格 + 自动执行三维排样 的智能系统。 系统包含功能： 数据输入与预处理：导入订单零件尺寸。 母材规格推荐：通过聚类 + 遗传算法 + 禁忌搜索优化，输出最优若干母材宽高组合。 三维排样优化：基于切割模式构建订单块，使用动态规划生成排样方案。 可视化排样：展示排样结果、切割线和利用率。