爬虫/脚本 软件定制 案例

一、立项背景与目标 随着语音交互在智能客服、车载、医疗记录等场景广泛落地，ASR 模型质量直接决定下游业务可用性。但业内存在两个痛点：一是模型评测常依赖厂商宣传数字，缺乏独立、可复现的客观评估手段；二是选型时面对百度、讯飞、阿里等多家厂商，难以在相同测试集上横向比较真实能力、错误类型与服务性能。本项目"ASR 全链路质量评估平台"即针对上述背景立项，目标是搭建一套端到端、可扩展、可复现的 ASR 自动化质量评估工具：输入一批待测音频及对应标准答案，平台自动调用被测 ASR 接口完成转写，基于编辑距离计算 CER 与 WER，细分替换/删除/插入三类错误，挖掘高频错误模式与场景短板，输出含 Bad Case 与优化建议的评估报告。项目既可作为个人测试工程能力的综合实战，也可作为团队 ASR 选型与回归测试的基础设施。 二、软件功能 平台提供命令行一体化入口，功能包括：测试数据生成（正弦波合成与 Windows TTS 真人发音两条路径）、批量调用真实 ASR 接口、文本归一化、多维度指标计算、错误画像分析、并发压测、Markdown 与交互式 HTML 双格式报告生成。所有第三方凭证均通过环境变量注入，仓库零明文敏感信息。 三、核心功能模块 1) 指标计算模块（metrics.py）：基于 Levenshtein 编辑距离的动态规划实现，对参考文本与识别结果做字符级与词级双向对齐，输出命中、替换、删除、插入四类计数及派生比率，并以 jiwer 库做数值交叉校验。 2) 文本归一化模块（textnorm.py）：依次执行去标点、NFKC 全角转半角、中文数字转阿拉伯数字、合并被空格分隔的单字母序列、统一小写，专用于消除"表示形式不同"导致的虚假错误。 3) ASR 客户端层（asr_client.py）：以 typing.Protocol 定义统一 transcribe 接口，实现 Mock、通用 HTTP、百度（HTTP+token 两步鉴权）、讯飞（WebSocket+HMAC-SHA256 签名+流式分帧）四类客户端，由工厂函数按配置返回。 4) 错误分析模块（error_analysis.py）：聚合字符级与词级错误构成、按场景标签分组画像、用 Counter 挖掘高频替换对/漏识字/多识字，并基于启发式规则自动生成优化建议。 5) 并发压测模块（benchmark.py）：基于 ThreadPoolExecutor 线程池对真实接口压测，统计 QPS、延迟 P50/P90/P99、成功率与错误分类，自动解读百度业务错误码。 6) 报告生成模块（report.py / report_html.py）：Jinja2 渲染 Markdown 与离线 HTML 报告，后者使用本地 vendor 的 ECharts + echarts-wordcloud

本项目为个人学习练习项目，目标实现对公开新闻网页进行内容采集。程序向目标网页发送网络请求，解析网页HTML源码，提取新闻标题与正文段落，把抓取到的文字内容保存到本地TXT文档。增加异常捕获机制，处理网络报错、页面元素找不到等情况，仅用于学习研究，不做违规商业爬取。

把国家法律法规原文搬进个人知识库：官方页面是加密参数的单页应用，正文还是动态加载，普通爬虫根本抓不到。目标是不碰页面解析，直接批量拿到法律全文，自动归档成可检索、可引用的结构化知识库，支持按时效性快速筛选和长期维护。 独立开发者「糊糊小樱」，软硬通吃工作室主理人。使用 Python 完成网站接口逆向：绕过前端加密参数，直接调用官方后端数据接口，成功收录二十二条国家法律原文，全部为法律效力级别，并按时效状态自动分为五类归档，最终生成支持双向链接的检索索引，形成可长期使用的个人法律知识库。

**业务和功能介绍** 1、立项背景和目标： A股市场信息分散、板块轮动快、事件驱动频繁，个人投资者和小型研究团队难以高效完成全市场扫描与多维度交叉验证。本项目旨在构建一套完整的A股量化分析系统，覆盖数据采集、板块监控、事件预警到标的筛选的全流程，通过多维度数据分析输出当下具备介入价值的股票池，降低人工筛选成本，提升决策效率与可解释性。 2、软件功能、核心功能模块的介绍： 系统由三大核心模块组成。数据采集层定时抓取全市场5000+只股票的行情、财务、资金流向等数据，日均处理量超10万条，保障数据时效与完整性；板块分析层对80+个行业和概念板块进行资金聚合与轮动强度评估，快速定位当前热点方向；题材事件层对财经资讯进行实时抓取和关键词分类，捕捉政策利好、业绩预告等事件驱动机会。在此基础上，系统综合技术指标（MA、MACD、RSI等）、资金流向、板块强度和事件催化四个维度，通过评分模型筛选出值得关注的个股，并输出可介入标的及简要逻辑说明。 3、业务流程，功能路径描述： 典型使用路径为：系统自动完成定时数据采集与清洗 → 板块资金与轮动强度计算，生成热点方向 → 事件资讯实时抓取与分类，形成事件驱动清单 → 多维度评分模型对全市场或指定池进行交叉筛选 → 输出带逻辑说明的可关注股票池与报告。用户可基于结果进一步人工复核或导出使用，形成从数据到决策的闭环。本人独立负责该项目从需求分析、架构设计、编码实现到部署维护的全部工作。

立项背景和目标： 随着内容电商的快速发展，小红书和抖音已成为品牌营销、竞品监测的核心数据来源。然而，两大平台均部署了高强度的反爬风控体系——小红书通过x-s、x-t等动态请求头进行请求合法性校验，抖音则采用a-bogus参数对请求进行签名保护。传统模拟请求方式难以突破，导致舆情监测、达人分析、商品价格追踪等业务无法规模化获取数据。本项目旨在逆向两大平台的核心加密参数，构建稳定的自动化数据采集能力，支撑品牌营销决策与竞品分析。 软件功能、核心功能模块： 小红书侧：逆向x-s、x-t、x-mini-wua等核心请求头参数，还原加密算法与签名生成逻辑，实现笔记详情、评论区、用户主页等数据的稳定请求。 抖音侧：逆向a-bogus参数生成机制，支持直播弹幕实时抓取、视频列表、用户信息等数据采集。 自动化框架：基于DrissionPage构建无感知浏览器自动化，结合WebSocket实时接收抖音弹幕流数据。 业务流程、功能路径： 目标数据需求 → 分析平台请求链与加密入口 → 断点调试定位加密函数 → 还原算法/补环境 → 封装成稳定请求模块 → 集成至分布式采集系统 → 数据入库供业务方使用。

本项目是一款运行于 Windows 本地环境的 FCC 潜在客户线索采集与管理工具，面向检测认证、销售拓客及市场调研等业务场景。用户可按授权日期、测试机构、产品名称、产品类别和目标地区组合查询 FCC Equipment Authorization Search 公开数据，批量筛选中国大陆、港澳台或海外的潜在企业客户。系统采用多线程抓取与请求间隔控制机制，提高采集效率并降低对目标网站的访问压力。

本项目属于内容创作辅助工具领域，服务于 Bilibili 平台的 UP 主群体。Bilibili 作为国内领先的视频社区，拥有数百万活跃内容创作者，平台每月推出数百个创作活动和征稿话题。UP 主需要在海量话题中快速识别高流量、高参与度的活动，以便合理分配创作资源。目前市场上缺乏专门针对 Bilibili 话题数据聚合和管理的桌面端工具，大多数 UP 主依赖手动浏览网页或使用简易脚本，存在数据获取不全面、管理混乱、操作繁琐等问题。本工具填补了这一市场空白，为 UP 主提供专业的话题数据洞察和管理能力。 本工具的核心价值在于将分散的 Bilibili 活动话题数据进行聚合、分析和可视化展示。通过一键同步功能，UP 主可以在数分钟内获取平台上千个活动话题的完整数据，并通过播放量排行快速锁定高价值话题。工具还支持话题状态跟踪，自动标记活跃和已结束的话题，帮助 UP 主把握参与时机。本地 SQLite 数据库确保持久化存储，历史数据可随时查询对比。整体设计注重数据密度和操作效率，采用暗色主题降低长时间使用的视觉疲劳，虚拟滚动技术确保大数据量下的流畅体验。

一、立项背景：中小电商卖家日常需要查看销售趋势、分析产品利润、生成周报，但大部分BI工具太重或者需要付费。这个项目解决的就是"一个exe搞定数据分析和周报"的需求，用户不需要配环境也不需要学Python，拿过来就能用 二、核心功能模块： 1. 多格式数据加载：支持Excel、CSV、Word表格一键导入，支持路径浏览和关键词搜索两种定位方式 2. 智能数据清洗：自动检测缺失值、异常值（IQR方法）、重复订单、负值金额，处理完后弹窗给出详细清洗报告 3. 可视化分析面板：7种图表以标签页展示，包括销售趋势（7日均线）、热销产品TOP10、品类饼图、城市双轴图、产品利润对比柱状图、订单状态分析和每日订单量趋势，图表直接嵌入程序界面，不需要额外窗口 4. 一键PDF周报：基于ReportLab生成包含KPI汇总表和全部图表的专业PDF，自动保存到桌面 5. 内置演示数据：90天模拟电商数据，10款产品10个城市，启动即用，方便演示和测试 三、业务流程：用户启动程序 -> 自动加载演示数据/手动导入自己的数据文件 -> 程序自动清洗数据并弹窗反馈 -> 在图表标签页查看各维度分析 -> 点击生成周报PDF -> 报告保存到桌面

为解决平台对航班动态信息(如延误、取消、备降等)的高效获取需求，基于WebVoyager多模态Agent 构建动态解析引擎，融合Selenium、Playwright、DrissionPage 等主流 Web 自动化框架，开发自动 化数据抓取系统，替代传统爬虫，降低人工成本的同时，提升数据实时性与准确性。

1、立项背景和目标 线下与线上多渠道服装销售产生海量订单、客群、地域、品类数据，原始 Excel 表格数据零散，无法直观定位销售高峰、热销品类、核心消费人群及区域差异。本项目目标：通过 BI 工具搭建一站式销售可视化驾驶舱，对优衣库全年销售数据进行多维度拆解分析，定位经营优势与薄弱板块，为库存备货、营销投放、产品选品提供数据支撑。 2、核心功能模块介绍 核心指标卡片模块：汇总展示销售总额、客户总数、订单总数、总利润 4 项关键经营指标，直观呈现整体营收规模； 时间维度分析模块：包含月度每日销售折线趋势图、星期维度销售额柱状图，分析淡旺季、周度消费波动规律； 地域销售分析模块：中国地图气泡分布图，以气泡大小和数值展示不同地区销售额贡献，识别高营收核心区域； 客群分层分析模块：环形图展示各年龄群体消费占比、柱状图区分男女客户销售额，精准刻画目标消费人群画像； 产品结构分析模块：横向条形图展示全品类产品销售额排名，明确爆款品类与滞销品类； 联动筛选模块：顶部设置日期区间、产品类别、年龄群体下拉筛选器，可一键钻取指定条件下全图表联动数据。 3、业务流程描述 整理清洗全年销售原始数据，梳理订单日期、下单地区、产品品类、客户年龄性别、营收利润等字段； 在 BI 工具中搭建数据集，分别配置指标卡、折线图、地图、环形图、条形图等可视化组件； 完成大屏整体布局排版，绑定全局筛选器实现所有图表数据联动； 运营人员可直接查看整体经营概况，也可通过筛选条件缩小分析范围，完成销量、客群、区域、品类多维经营分析。

1、立项背景和目标 世界幸福报告包含各国幸福指数、人均寿命、GDP、区域健康得分等多维度海量数据，纯表格数据可读性差，难以直观对比不同国家、大洲之间的差异。本项目目标：基于 BI 工具搭建可视化分析看板，将 2015 年度幸福数据拆解为排名表格、柱状图、地图热力图等多类图表，直观展示全球幸福度分布、寿命与幸福度关联、区域得分差异，实现数据可视化解读与多维对比分析。 2、软件功能、核心功能模块介绍 数据基础展示模块：搭建两个排名数据表，分别展示全球国家幸福分数排行榜、各国健康预期寿命排行榜，支持排序查看 TOP 榜单； 地理分布可视化模块：通过世界地图气泡图展示各国 GDP 数值，以气泡大小直观体现经济体量地域分布； 区域维度对比模块：两组柱状图分别展示全球各大区域健康预期寿命得分、区域平均幸福分数，横向对比大洲间整体差距； 筛选交互模块：顶部配置地区、国家下拉筛选器，可单独查看指定区域、指定国家的全部指标数据，实现钻取分析。 3、业务流程、功能路径描述 导入 2015 世界幸福报告原始数据集，完成数据清洗、字段拆分（国家、地区、幸福分数、预期寿命、GDP、大洲分类）； 按需创建 5 类可视化组件：排名表格、世界地图、两组区域柱状图； 将图表布局整合为完整可视化大屏，绑定顶部地区、国家全局筛选控件； 使用者可直接查看整体数据，也可下拉筛选指定地区，联动所有图表刷新对应数据，完成幸福度、寿命、经济的多维度分析。

1. 立项背景和目标 手动批量下载百度图片效率低下，为快速收集配图素材，基于 Playwright 开发关键词图片自动爬取工具，输入关键词即可批量下载图片到本地文件夹，提升素材收集效率，掌握动态页面爬虫技术。 2. 核心功能模块 环境初始化：自动创建 imgs 存储文件夹，配置 Edge 浏览器路径与 UA 请求头，规避基础反爬； 浏览器自动化：启动 Edge 浏览器访问百度图片搜索页，循环滚动模拟下拉加载全部懒加载图片； 图片下载解析：通过 XPath 提取图片真实地址，过滤无效链接，用 requests 下载图片并本地保存，异常捕获防止单张失败导致程序崩溃。 3. 业务流程 输入搜索关键词→自动创建保存文件夹→浏览器打开对应搜索页面→多次下滑加载完整图片→提取图片有效链接→批量下载存入本地 imgs 文件夹→关闭浏览器结束程序。

1、立项背景和目标 五矿集团电子采购平台会持续发布大量招标、采购项目公告，采购信息分散在多页列表中，人工逐条复制项目名称、采购单位、预计采购时间等信息录入 Excel 表格工作量大、容易出错，且分页翻阅统计效率低下。本项目立项目标：基于 Playwright 自动化浏览器抓取五矿集团电子采购网多页采购公示数据，自动解析字段并写入 Excel 文件，实现采购数据批量结构化导出，方便后续数据整理、统计与归档，同时掌握动态网页分页爬取、XPath 层级定位、openpyxl 表格持久化存储的完整爬虫开发流程。 2、软件功能、核心功能模块介绍 三大核心功能模块 （1）Excel 表格初始化模块：使用 openpyxl 库新建工作簿，创建名为 “五矿集团” 工作表，预先写入表头【项目名称、采购单位、预计采购时间】，定义全局列表用于临时存储抓取到的结构化数据，为后续数据落地做准备。 （2）浏览器自动化页面交互模块：调用 Playwright 启动本地 Edge 浏览器，配置可视化运行窗口、操作减速防反爬；自动访问五矿集团采购官网首页，定位导航栏采购栏目完成点击跳转，循环 5 次执行分页加载逻辑，每页设置长时间强制等待，保证后端动态渲染的采购列表完整加载。 （3）数据解析与表格写入模块：通过层级 XPath 定位每一条采购项目 DOM 容器，循环提取项目标题、采购单位、两段拼接而成的预计采购时间；增加单页最多抓取 50 条数据限制，逐条将字段追加写入 Excel 工作表，最终完整保存为本地表格文件。 3、业务流程、功能路径描述 （1）程序初始化：创建 Excel 文件、新建工作表并设置表头；配置本地 Edge 浏览器启动路径与反爬兼容参数； （2）自动化访问目标网站：打开五矿集团电子采购平台首页，等待页面完全加载后，通过 XPath 定位导航栏 “采购” 菜单并模拟鼠标点击进入采购公告列表页； （3）分页循环抓取：执行 5 轮分页爬取，每一页等待 10 秒确保列表数据 JS 渲染完成；定位所有采购条目父级容器； （4）逐条解析字段：遍历每条条目 DOM 节点，分别提取项目名称、采购单位，拼接两个时间节点作为预计采购时间，限制单页最大抓取 50 条避免数据冗余； （5）数据入库存储：每解析一条数据立即 append 追加写入 Excel 对应行；5 页全部抓取完成后保存 Excel 文件，关闭浏览器，程序执行结束。

基于Python开发的微信AI自动回复工具，通过模拟真人操作轮询查询新消息，接入智能大模型实现自然流畅的对话。支持全天候自动响应，智能处理日常咨询与闲聊，解放双手的同时保持沟通温度，让自动化交互更贴近真实聊天体验。

1、立项背景和目标 群接龙是社区团购领域广泛使用的订单管理工具，大量商家每天需要通过后台手动创建团购接龙活动。实际操作中，运营人员面临以下痛点：每天需要为数十个商家逐一复制往期接龙、手动修改团购主题日期、逐个勾选配送学校，重复劳动量大且容易出错；不同时段的模板不同（午餐/晚餐/宵夜），每周每天的商家排期也不同，管理复杂；发布过程中如果任何一个环节失败（如商家名称搜索不到、学校勾选遗漏），需要人工排查和重试，效率低下。本项目的核心目标是实现群接龙团购活动的全自动批量创建：根据预设的周排期计划，自动为每个商家复制对应的往期接龙模板、更新团购日期、选择配送学校并完成发布，全程无人值守运行，并支持失败商家自动重试。 2、软件功能、核心功能模块的介绍 工具涵盖以下核心模块：排期计划管理——读取按星期拆分的7个计划文件（星期一.txt ~ 星期日.txt）和商圈商家映射表，自动解析当天时段（午餐/晚餐/宵夜）应处理的商家及对应的复制模板后缀；学校计划管理——读取学校周计划表，自动解析当天应选择的配送学校列表；登录态管理——首次运行需扫码登录，自动保存auth.json复用登录态，过期后自动提醒重新登录；接龙复制与发布——自动点击发布按钮、复制往期接龙、按商家名+模板后缀搜索并选择对应模板；主题智能修改——自动将团购主题中的"模板"二字替换为次日日期（如"7.26"），无"模板"关键词则替换已有日期格式或在末尾追加；学校批量选择——自动切换学校Tab、全选当前学校下所有配送点；失败重试机制——第一轮失败的商家在第二轮自动重试一次，最大程度提高成功率；运行通知——完成后通过企业微信机器人发送结果统计（成功/失败数量及失败商家列表）。 3、业务流程、功能路径描述 用户配置好config.py（账号信息、企业微信Webhook等）→ 双击运行脚本 → 首次运行弹出浏览器，扫码登录群接龙后台 → 脚本自动解析当天星期和当前时段（10-15点为午餐、15-21点为晚餐、其余为宵夜）→ 读取对应星期和时段的计划文件 → 通过商圈映射展开为具体商家列表 → 读取学校周计划表获取配送学校列表 → 按顺序处理每个商家：点击"发布团购接龙"→ 点击"复制往期接龙"→ 搜索"商家名+模板后缀"→ 选择第一个复制结果 → 修改团购主题中的日期为次日 → 切换到"团购商品"Tab → 切换到"团购信息"Tab → 逐个点击学校Tab并全选学校 → 勾选协议复选框 → 点击"立即发布"→ 等待发布成功自动返回列表页 → 记录结果 → 处理下一个商家 → 第一轮完成后，失败商家自动进入第二轮重试 → 全部完成后发送企业微信通知。

立项背景：asr和agent技术成熟，人类语音信息的是重要的现实世界信息来源，应当被记录利用 目标功能：实现跨平台的个人机器本地隐私化持续asr结果储存并可选利用 项目功能： 目前仅面向ubuntu桌面端的本地化语音识别及识别结果利用工具。 基线：持续的asr和唤醒词检测。 可选功能：快捷键或唤醒词检测唤醒，然后在光标处插入asr识别结果， 记录asr结果与时间戳到数据库（sqlite）， 调用llm/本地agent对语音结果进行反馈（执行操作或直接返回文字结果）， 其他可扩展消费asr结果的功能。

我是一名专注于 Python爬虫 与 Java后端开发 的工程师，擅长从数据采集、清洗到存储的全链路解决方案，同时具备扎实的企业级应用开发能力。在 Python爬虫 领域，我熟悉 Scrapy、Requests、Selenium 等主流框架，能够应对各类静态与动态网页的数据抓取需求。在 Java开发 方面，我具有 Spring Boot、Spring Cloud、MyBatis 等框架的实战经验，我注重代码的健壮性与可维护性，习惯编写清晰的技术文档，并具备良好的数据库设计和性能调优能力。

立项背景： 中小企业及自由职业者在日常运营中常需快速了解本地文件资产分布情况（如设计稿、合同文档、代码等）。传统手动统计耗时易错，且无法及时响应管理层的即时数据需求。本项目旨在开发一款无需安装、零外部依赖的命令行工具，解决这一痛点。 核心功能模块： 1. 路径输入解析：接收任意文件夹路径，支持绝对路径和相对路径 2. 递归文件扫描：深度遍历所有子目录，不遗漏任何文件 3. 按扩展名分类统计：自动识别文件后缀并分组计数，无扩展名文件归类为"(无扩展名)" 4. 报告生成：输出结构化TXT报告，包含各类型数量、总文件数、统计时间，按数量降序排列 5. 参数自定义：支持指定输出文件名、排除特定目录（如node_modules、.git等） 业务流程： 用户在终端执行命令并传入文件夹路径 → 程序解析参数并验证路径有效性 → 递归遍历目录树，按扩展名分组统计 → 按数量降序排列结果 → 生成格式化报告写入指定路径 → 终端输出统计摘要。 该项目完整演示了从需求分析到工具交付的AI辅助全流程开发模式。

多源数据采集：集成 Remotive 公开 API 和 Hacker News 招聘帖两个数据源，异步并发抓取，单源失败不影响其他源 数据标准化：将不同格式的招聘信息统一映射为标准结构，支持职位标题、公司、地点、薪资、标签等字段 智能去重：基于数据源+ID 主键去重，重复抓取自动更新而非重复插入 数据导出：一键导出 CSV/JSON 格式，支持 Excel 直接打开（UTF-8-SIG 编码） 数据分析报告：自动生成薪资分布（分桶统计）、技能词频、地区/公司 Top-N 排名等分析报告 定时任务：支持 cron 表达式配置，定时自动抓取（默认每天 09:00）

在Arch Linux下，我深度定制了Hyprland桌面环境，从零编写Dotfiles管理配置，集成Waybar状态栏、Wofi应用启动器、swaybg动态壁纸，并配合系统级色彩方案（如Catppuccin）实现全局统一视觉。为了兼顾美观与效率，我优化了窗口动画、快捷键映射和工作区布局，将日常开发、调试、文档查阅等流程整合进同一工作流中。这套配置不仅让我每天工作心情愉悦，更锻炼了我对Linux底层、Wayland协议以及性能调优的实战能力，体现出我对细节和工程体验的极致追求。