企业内部管理 爬虫/脚本 软件定制 案例

1、立项背景和目标： 针对招聘市场数据分散、技能体系混乱以及新兴岗位识别滞后的行业痛点，立项构建多源异构数据驱动的岗位能力图谱构建与动态演化分析平台。旨在解决招聘信息非结构化、数据质量参差不齐的问题，实现从多源数据采集、清洗、质检到图谱自动构建与动态追踪的全链路闭环，为招聘市场提供高精度的岗位能力画像与演化分析。 2、软件功能、核心功能模块： 平台核心包含四大模块：① 多源异构数据采集与五阶段清洗模块（SimHash去重、技能标准化、多源交叉验证、去通胀检测等）；② 三层递进式AI幻觉防控质检模块（多模型并行评审、分歧仲裁、人工兜底）；③ 能力图谱抽象存储与多维查询模块（支持PG/Neo4j双图后端动态切换、BFS遍历、多维视图查询）；④ 多级语义检索与新兴岗位聚类发现模块（向量检索、RAG交叉验证、KMeans/DBSCAN双聚类）。 3、业务流程、功能路径描述： 系统业务流程为：多源数据采集输入 → 五阶段数据清洗流水线（去重、标准化、置信度过滤） → 大模型多模型交叉质检与仲裁 → 结构化提取入库 → 能力图谱抽象存储（关系型数据库+图数据库） → 语义向量检索与动态演化分析 → 前端G6渲染数据供给与可视化展示。

JavaRPA 是一套面向 Android 设备自动化场景的 云端脚本管理与设备控制系统。 系统主要解决传统 Android 自动化脚本在实际使用过程中存在的脚本更新困难、设备分散管理、任务执行状态不可控、日志难以统一收集以及多设备维护成本高等问题。 通过 JavaRPA，可以将 Android 设备统一接入云端管理平台，由服务端集中完成脚本管理、任务下发、设备控制、版本更新、运行监控、日志采集和数据统计，实现： “云端管理脚本 → 远程下发任务 → Android 自动执行 → 实时返回日志和结果” 从而形成完整的 Android 自动化任务闭环。 适用于批量设备管理、Android RPA、数据采集、业务流程自动化、测试自动化、设备群控以及企业内部自动化业务等场景。

面向企业文档处理场景，开发了一套PDF OCR自动化工具。支持批量上传PDF和图片文件，自动区分扫描件和文字版PDF，调用OCR引擎提取文字内容，支持表格识别和版面分析。处理完成后自动导出为Word、Excel或结构化JSON格式。包含Web管理界面，支持异步任务队列、处理进度实时查看、结果批量下载。适用于合同归档、发票识别、报表提取等高频文档处理需求。

功能介绍： 商品管理：添加商品链接或ID，维护监控清单。 定时采集：按设定频率抓取标题、价格、销量、优惠券等信息。 数据存储：用 SQLite/MySQL 保存历史价格，支持 CSV 导出。 价格分析：计算涨跌幅、历史最低价、价格趋势。 告警通知：价格低于阈值时，通过邮件、钉钉或微信提醒。 可视化看板：用 Web 页面展示价格走势和商品对比。

1.企业运维、数据部门日常存在大量重复操作，手动执行脚本风险高、操作留痕缺失，数据导出、库表操作容易出现数据泄露，该项目用于统一托管运维脚本，管控执行权限，自动化处理数据脱敏、巡检任务，降低人为操作风险，提升运维工作效率。 2.支持脚本在线编辑、版本管理、脚本审批、定时任务调度；可批量执行数据库巡检、数据脱敏、日志采集；具备操作审计日志、黑白名单、执行权限管控、高危指令拦截；运维小程序可查看任务状态、接收告警；后台可视化任务大盘，查看脚本执行结果、失败记录，导出审计报表。

行业场景 用于咨询政策、五险一金新规等场景，面向街道居民提供AI智能体问答服务。 功能介绍 使用 BISHENG 毕昇（类似Dify）进行AI工作流编排,如图2 爬取数据:区级、市级新政策解读信息爬取、社保、公积金官网政策信息爬取） AI体交互Web页面，如图1 2天完成MVP开发。

给电商企业管理PR博主库和与博主的合作视频，实时分析带货视频曝光情况，以及对应曝光款式的后台走量来判断投流ROI，以此辅助决策投流方案，便于电商企业做复盘和数据分析。解决了电商后台、自媒体平台、飞书、ERP等多个零散数据的碎片化问题，做了集成。

立项是把每天重复的桌面操作自动化，目标是自用提效。软件功能是一套基于系统无障碍接口的脚本集：读窗口控件树、定位输入框、模拟粘贴和按键，能跑通完整的自检流程；所有探针先只读后写，写操作只在测试白名单里跑。业务流程是先dump控件树定动作序列，小步试跑验证，最后串成完整流程。

立项背景和目标：价格波动、库存变化、公告更新、竞品动态等网页信息变化需要 7×24 小时实时盯守，人工巡检无法覆盖且易遗漏。本项目目标是开发多站点并发网页监控工具，自动检测目标网页变化并多渠道即时通知，帮助用户第一时间掌握关键信息变化。 核心功能模块：① 多站点并发监控——YAML 配置定义多站点（URL + CSS 选择器 + 检测间隔 + 通知渠道），单轮并发检查；② 精确变化检测——支持文本 diff、元素数量变化、属性变化三种检测模式，CSS 选择器圈定监控区域避免整页误报；③ 多渠道通知——Webhook JSON、飞书、钉钉、邮件 SMTP 四种通知方式，变化即时推送；④ 历史追溯——SQLite 持久化历史快照与变更日志，支持查询某站点全部变更记录；⑤ 守护调度——内置调度器按站点独立间隔运行，支持前台守护与 systemd 兼容部署。 业务流程：配置站点 → 定时抓取目标区域 → 与上次快照对比 → 有变化则多渠道通知 + 记录变更日志 → 无变化静默等待下一轮。

招生录取数据往往同时存在系统字段、中文51列目标表、年度计划表和多套统计口径，人工复制容易出现前导零丢失、专业培养类型混并、招生类别串表和隐私泄露。项目目标是将一次性人工整理改造成可审计的本地自动化流程。系统包含系统字段到51列标准表的转换、表1至表10统一生成、年度专业与学科门类映射、特殊招生边界、异常审计、严格模式和绿色版图形界面。用户在本机选择原始总表及计划/映射文件，程序按字段名读取和标准化，生成新结果文件及不含姓名、证件号的审计文件；源表不被覆盖。对学校市区等无法确认的信息保留未解决状态，不用猜测填充。展示图片全部使用空白模板或合成数据，不含真实考生信息。

本项目为个人学习练习项目，目标实现对公开新闻网页进行内容采集。程序向目标网页发送网络请求，解析网页HTML源码，提取新闻标题与正文段落，把抓取到的文字内容保存到本地TXT文档。增加异常捕获机制，处理网络报错、页面元素找不到等情况，仅用于学习研究，不做违规商业爬取。

本项目是一款运行于 Windows 本地环境的 FCC 潜在客户线索采集与管理工具，面向检测认证、销售拓客及市场调研等业务场景。用户可按授权日期、测试机构、产品名称、产品类别和目标地区组合查询 FCC Equipment Authorization Search 公开数据，批量筛选中国大陆、港澳台或海外的潜在企业客户。系统采用多线程抓取与请求间隔控制机制，提高采集效率并降低对目标网站的访问压力。

1. 多源数据自动采集 支持读取 .xlsx / .xls / .csv 文件； 支持合并同一目录下多个结构相同的文件（如每日销售明细）； 支持从数据库（MySQL/SQLite）直接读取数据。 2. 智能数据清洗 自动检测并处理缺失值（填充均值/中位数/众数，或删除）； 自动去重，保留最新记录； 日期格式标准化（自动识别多种日期字符串并统一为 YYYY-MM-DD）； 文本规范化（去除空格、统一大小写、替换非法字符）； 异常值标记（通过 Z-score 或 IQR 方法识别并高亮）。 3. 灵活的数据透视与汇总 按任意维度（如区域、产品线、销售员）进行分组汇总； 支持自定义聚合函数（求和、平均、计数、最大/最小、标准差）； 自动生成环比/同比变化率； 可配置多级小计和总计。 4. 自动化报表生成 生成格式美观的 Excel 报表，包含： 数据明细表（自动添加筛选器）； 汇总透视表； 可视化图表（柱状图、折线图、饼图，使用 OpenPyXL 或 XlsxWriter）； 条件格式（如销量低于阈值标红、高于目标标绿）。 支持输出为 .xlsx 或 .pdf 格式。 5. 定时调度与邮件分发 集成 schedule 或 Windows 任务计划器，实现每日/每周自动运行； 自动将生成的报表通过 SMTP 邮件发送给指定收件人列表； 支持邮件正文插入关键指标摘要。

该项目面向中小企业日常运营中的重复性表格处理场景，目标是把人工整理Excel、合并多份销售数据、清洗异常字段、生成月度报表和发送邮件的流程自动化。系统支持批量导入Excel和CSV文件，自动识别字段、统一格式、去重校验，并生成汇总表、明细表和可视化图表。业务人员只需要把原始文件放入指定目录，点击运行后即可得到标准化报表，减少手工复制粘贴和公式错误，提高数据处理效率。

立项背景：客户每周需要从原始 CSV 销售数据手动制作 Excel 周报，包含汇总统计和图表，每次耗时 2~3 小时。 核心功能： 1. 拖拽 CSV 文件，自动读取数据 2. 自动计算销售额、订单量、客单价等 KPI 3. 生成柱状图（月度趋势）和折线图（日销售额） 4. 输出多 Sheet 工作簿：Dashboard 总览 + 数据明细 + 汇总分析 5. 脚本可复用，换新的 CSV 数据直接重新生成报表 交付后客户制作周报的时间从 2 小时缩短为 5 分钟。

立项背景和目标：在日常办公中，经常需要将多个部门发来的Excel报表（格式相似但不完全一致）合并成一个总表，再进行汇总分析。手动复制粘贴不仅耗时，而且容易出错。本项目的目标是开发一个简单的Python脚本，能够自动读取指定文件夹下所有Excel文件，提取关键列，合并去重，并输出一个干净的汇总表。 软件功能、核心功能模块：脚本包含三个核心模块：1）文件遍历模块，自动扫描文件夹内所有.xlsx文件；2）数据提取模块，根据用户配置的列名映射，从每个文件中抓取所需数据；3）合并清洗模块，去除重复行、填补缺失值、统一日期格式，最后生成一个新的Excel文件。 业务流程、功能路径描述：用户将需要合并的Excel文件放入同一文件夹 → 双击运行脚本 → 命令行提示输入需要保留的列名（如“姓名、销售额、日期”）→ 脚本自动处理 → 输出“merged_result.xlsx”到同一文件夹。全程无需打开Excel，30秒内完成原本需要1小时的手工劳动。

底层业务系统通过ETL抽取至DW数据仓库，经数据质量校验、主数据清洗后进入分析集市；按财务、销售、采购、生产、经营分析五大主题建模加工；上层通过统一报表平台提供驾驶舱、管理报表、自助分析、移动端多渠道展现；各级管理者按权限分层查看对应维度的经营指标数据。 经营指标体系： 财务（盈利/营运/偿债/现金流/成本6子主题）、销售（收入利润/销量/回款/价格/市场5子主题）、供应链（库存/采购预实/合同/全球跟踪/生产5子主题），覆盖集团/板块/单体三级组织 管理报表系统： 统一全集团管理报表，数据来源自动化、标准化，支持对外报送、信息披露、高管驾驶舱四类展现

行业场景 当下老板、教师、老板、各行业领导每次在某个特定时间段需要在微信群发送某些特定消息时，总是需要手动操作，且有时还需要熬着时间，这极大的增大了精神/身体双疲劳，所以就开发了这款多任务定时自动发送微信消息的工具 功能介绍 1.该项目主要有任务添加模块：指定联系人模块、自定义定时模块、任务执行模式（单次/循环）模块、自定义发送内容模块、添加任务功能按钮、任务增删改查模块。 2.主要为用户输入指定的联系人 /群的名称或备注后，根据需要自定义时间，设定任务的执行模式，输入自定义发送内容，最终点击新建任务，那么该任务就会被添加到右侧的任务栏，任务栏中的任务支持增删改查。

本工具基于Python开发，解决日常计算中需手动保留两位小数的繁琐问题。核心支持用户输入两个数值，快速完成乘除运算并自动将结果四舍五入保留两位小数，操作流程简单直观，可用于财务核算、日常数据统计等场景，帮助提升计算效率与精度。

本项目针对电脑/服务器中大量空文件夹、重复文件夹占用空间、难以手动清理的痛点，用Python实现一键自动清理。支持批量扫描指定目录，自动识别空文件夹并安全删除，可根据文件夹名称、创建时间、内容哈希值识别重复文件夹并保留最新版本，附带操作日志记录，避免误删风险，解决手动清理效率低、易误删的问题，大幅提升文件管理效率。