大数据 爬虫/脚本 软件定制 案例

立项背景：为解决多平台公开数据（天气、汇率、热搜等）分散、获取效率低、缺乏可视化监控的问题，设计并实现了该数据聚合展示平台，将多源异构数据统一抓取、清洗并归档展示。 核心功能：包含四个数据源（天气、每日一句、汇率、百度热搜）的定时抓取，采用 Quartz 动态注册 4 个 Job 按 cron 调度。后端入库后，前端通过 ECharts 进行多维度可视化展示，包括温度趋势折线图、汇率柱状图、热搜标签饼图以及任务执行日志。 业务流程：定时任务触发抓取 -> 统一入库 -> 任务日志记录（耗时/成功失败） -> 前端仪表盘展示，形成完整的数据采集与监控闭环。

1. 竞品数据采集：通过分析目标平台前端交互逻辑，识别并复现数据接口，自动采集竞品库存、销量、价格等核心经营数据，替代高成本第三方数据服务。 2. 数据解密与解析：针对平台接口的AES加密机制，提取前端硬编码密钥并复现加密逻辑，实现数据的稳定获取与解析。 3. 竞品对比分析：将采集到的多维度数据进行横向对比，直观呈现自身与主要竞品在库存、销量等关键指标上的差异，辅助经营决策。 4. 市场机会识别：基于持续采集的数据，及时发现竞品库存不足、补货滞后等市场窗口期，为团队抢占市场份额提供决策依据。

项目背景与目标：电商运营每天需要盯竞品价格和销量，靠人工逐个平台抄价，一个人一天只能覆盖几十个商品，数据滞后还容易抄错，大促期间完全跟不上节奏。本项目目标是搭建一套数据采集与自动化报表平台，把「配置规则 → 定时采集 → 清洗入库 → 自动出报表」全流程自动化，让运营每天早上打开邮件就能看到最新的价格与销量分析。 核心功能：(1) 可视化规则配置，在页面上框选字段即可生成采集规则，无需写代码；(2) 灵活的定时调度，支持 Cron 表达式、按分钟/小时/天执行，可一键手动触发；(3) 反爬对抗能力，内置代理池轮换、UA 随机、请求限速、Cookie 池、验证码识别与失败重试；(4) 自动清洗去重，按业务主键和快照指纹过滤重复数据，并做完整率与异常值校验；(5) 多平台聚合报表，自动生成价格趋势、价格异动明细与销量排行；(6) 报表自动推送，支持定时邮件、企业微信告警和明细导出。 业务流程：在规则配置台拾取字段并试运行 → 发布规则并设置调度频率 → 调度器按周期触发任务 → 执行器集群多线程采集并自动处理反爬 → 解析清洗去重后入库 → 报表中心生成分析报表 → 按设定时间自动推送给业务方。

立项背景与目标： 工作选择对职业发展影响深远，不同岗位的市场需求、薪酬水平、地域分布等信息对求职者和招聘方都至关重要。然而现有招聘网站数据分散、难以系统性掌握，企业和求职者缺乏一套工具来分析不同工作的市场需求、薪酬水平与地域分布，导致人才匹配和招聘决策效率低下。本项目旨在通过抓取和分析招聘网站职位数据，提供详尽的薪酬分析，帮助双方做出更明智的决策。 核心功能模块： 1. 数据采集模块：从 Boss 直聘抓取 C++、Python、Java 和前端开发四大方向的职位数据，涵盖薪酬、职位描述、工作地点、学历要求等关键字段。 2. 数据处理模块：对原始数据进行清洗、去重、标准化处理，统一薪酬区间格式，提取学历、经验等结构化信息。 3. 数据可视化模块：利用 Plotly 生成交互式柱状图、散点图、词云图，展示薪酬分布、学历要求分布、地域分布等多维分析结果。 4. 用户个性化模块：用户可选择职业方向、省份、学历等偏好条件，系统动态生成对应的职位词云和职位推荐表格。 业务流程： 用户进入平台 → 选择职位类别（C++/Python/Java/ 前端）→ 查看整体薪酬趋势与学历分布图表 → 按省份、学历等维度筛选 → 生成个性化职位词云与职位列表 → 辅助求职或招聘决策。

抖音自动评论工具，自定义评论内容，鼠标模拟真人操作，可挂后台，循环次数到了之后自动退出，使用javascript开发，在网页端使用，操作谷歌浏览器，是一个浏览器自动化程序，可能有一些小缺陷，不过没有大的bug

1.立项背景和目标：外包平台的接单任务信息分散，人工检索汇总效率低下，难以批量获取多关键词下外包需求。本项目基于 DrissionPage 开发自动化采集脚本，目标是批量抓取外包任务标题、价格、分类、描述、状态、详情链接，输出结构化 CSV 文件，降低人工整理成本，提升外包需求信息收集效率。 2.软件功能、核心功能模块的介绍：包含多关键词调度模块，支持批量关键词循环采集；浏览器自动化交互模块，实现页面访问、输入搜索、点击筛选、标签页切换；翻页采集模块，自定义采集页数；XPath 数据解析模块提取任务各类字段，使用异常捕获兼容页面不同状态标签；数据导出模块将结果写入带表头的 CSV 文件。 3.业务流程、功能路径描述：配置关键词列表，逐个关键词启动浏览器，完成搜索操作，切换结果页面并筛选任务分类；循环翻页，解析页面任务卡片提取字段，异常处理保证脚本稳定；完成一个关键词采集后关闭浏览器执行下一个；全部采集结束，将所有任务数据保存输出 CSV 表格。

### 1. 立项背景与目标 电竞数据分散在官网、Wiki 等多个站点，人工整理耗时且易错。本项目目标是打造一个**合规的赛事数据聚合分析工具**：自动抓取第五人格 IVL 职业联赛公开赛事数据 → 清洗结构化 → 统计分析 → 可视化图表与交互式报告，让"查战绩、看排行、做对比"从手工抄表变成一条命令。 ### 2. 软件核心功能与模块 采集层 直连官方赛事接口（JS 逆向抓包），限速 + UA 伪装 + 超时 + 指数退避重试 解析层 官方 JSON / wiki 快照双源解析，字段清洗与类型兜底 分析层 胜率、胜负差、赛季概览、领跑战队 可视化层 胜率排行图、净胜局对比图、胜率×净胜局散点（中文渲染，红高绿低） 报告层 HTML 交互式报告：概览卡片 + 可排序表格 + 内嵌图表，单文件分发 存储层 JSON / CSV / Excel 三格式导出，utf-8-sig 兼容 Excel 质量保障 pytest 20 用例全覆盖 + GitHub Actions CI（3 个 Python 版本矩阵） 交互层 all / report / team / compare / menu 子命令 + 交互菜单 ### 3. 业务流程功能路径 ``` 【一条命令】python main.py all 官方接口抓取 → 解析 10 支战队 → 胜率/净胜局分析 → 生成 3 张图表 + HTML 报告 → 导出 JSON/CSV/Excel 【日常查询】python main.py menu（交互菜单） 1报表 2查队 3对比 4图表 5导出 6刷新 7退出 team ACT / compare FPX GR 支持模糊匹配 【离线兜底】main.py all --sample（内置样例数据，无网也能完整演示） ```

立项背景与目标： 金融分析用户常需获取股市热门标的名单，但东方财富网数据为动态加载，手动复制效率极低。本项目目标是实现热门股吧榜单的自动化采集，输出结构化数据供后续分析使用。 软件功能： 输入目标接口地址，一键运行即可获取企业名称、股吧代码、行情代码三项核心信息，输出为UTF-8编码的纯文本表格。 核心功能模块： · 请求模块：模拟浏览器访问API接口 · 解析模块：提取JSON中指定字段 · 存储模块：写入本地TXT文件 业务流程： 用户双击运行脚本→程序自动请求接口→解析返回数据→提取三个字段→生成结果文件到当前目录。 功能路径： 下载脚本→确认网络通畅→双击运行→打开同目录下生成的文本文件查看结果

立项背景与目标： 当前气象数据获取方式仍以人工查询为主，效率低且难以批量处理。本项目旨在通过自动化手段，实现对目标地区天气信息的快速采集与结构化存储，减少人工重复劳动，提升信息获取效率。 1. 数据采集模块：向目标网页发送请求，获取页面内容。 2. 数据解析模块：定位并提取温度、天气状况等关键字段。 3. 数据存储模块：将提取结果写入本地文件，便于后续查阅或导入其他系统。用户运行脚本 → 程序自动请求目标网页 → 解析天气数据 → 写入本地文件 → 完成采集。功能路径描述： 脚本启动 → HTTP 请求 → HTML 解析 → 字段提取 → 文件写入 → 结束运行

数据生成：生成百万级的学生数据（学号、姓名、成绩），以CSV格式存储。 数据加载：把CSV里的数据，分别加载到三种不同的数据结构里（vector、map、unordered_map）。 精确查询测试：随机生成一个学号，测试三种容器查询一个特定学生成绩的耗时。 范围查询测试：给定一个成绩区间（如80-90分），测试三种容器统计这个区间内学生数量的耗时。 性能对比结论：用高精度计时，对比三种容器在不同查询场景下的效率差异，得出选型建议。

立项背景和目标：市场调研、电商比价、行业数据收集等场景经常需要从网页提取结构化数据，人工复制粘贴效率低、易出错、无法复用。本项目目标是开发一款通用网页数据采集工具，一条命令完成"抓取→清洗→导出"全流程，让非技术人员也能轻松采集数据。 核心功能模块：① 智能抓取引擎——通过 CSS 选择器或表格定位自动抓取列表页与详情页数据；② 多页抓取——支持下一页按钮翻页、页码参数翻页、无限滚动三种模式，自动识别并防死循环；③ 数据清洗管道——自动去空白、字段映射、类型转换（支持金额千分位、日期等）、跨页去重；④ 断点续抓——SQLite 缓存已抓页面，失败任务自动进入重试队列，中断后可继续；⑤ 多格式导出——Excel（多 Sheet、自动列宽、表头样式、冻结首行）、CSV（UTF-8 兼容 Excel）、JSON。 业务流程：输入 URL 与选择器配置 → 逐页抓取（限速+重试）→ 数据清洗转换 → 去重 → 导出文件 → 生成抓取报告（成功/失败/耗时统计）。

背景：多平台（知乎/小红书/豆瓣/微博）信息监控靠人工翻页，一天 2 小时起且容易漏，竞品动态和市场变化经常错过。功能：多数据源聚合搜索（权重排序）、定时抓取、AI 分析摘要、报告自动投递到聊天工具、失败重试 + 告警；支持自定义引擎权重和监控关键词。成果：每日自动跑 30 天零故障；单轮全平台扫描 7.6 秒 / 109 条结果；摘要含评分与评论数，直接可用于决策。

架构与技术栈 整体采用模块化 Python 爬虫架构，分为网页请求模块、页面解析模块、数据清洗模块、文件存储四大模块。核心技术使用 requests 库发送网络请求，BeautifulSoup 完成 HTML 页面标签解析，re 正则表达式做文本提取，pandas 库进行批量数据处理与 Excel 文件导出，通过 time 模块添加随机延时构建反爬策略。 个人负责内容与量化成果 本人独立完成全部代码编写与项目落地，定向抓取上海平面设计、深圳游戏设计两类岗位，累计抓取有效招聘数据 400 余条，完成 20 余项字段拆分、重复数据剔除、异常薪资格式修正，最终输出两份完整结构化 Excel 数据集，数据完整率达 98% 以上，可直接导入工具进行可视化分析。 难点与解决方案 难点 1：网站存在访问频率限制，短时间高频请求容易触发 IP 拦截。 解决：设置 1-3 秒随机请求间隔，模拟自然人浏览行为，降低访问风险。 难点 2：岗位薪资、任职要求为不规则长文本，格式混乱无法直接统计。 解决：编写正则匹配规则拆分薪资上下限、工作年限、专业技能关键词，统一数据格式；利用 pandas 重复值检测函数自动去重，提升数据集整洁度

把国家法律法规原文搬进个人知识库：官方页面是加密参数的单页应用，正文还是动态加载，普通爬虫根本抓不到。目标是不碰页面解析，直接批量拿到法律全文，自动归档成可检索、可引用的结构化知识库，支持按时效性快速筛选和长期维护。 独立开发者「糊糊小樱」，软硬通吃工作室主理人。使用 Python 完成网站接口逆向：绕过前端加密参数，直接调用官方后端数据接口，成功收录二十二条国家法律原文，全部为法律效力级别，并按时效状态自动分为五类归档，最终生成支持双向链接的检索索引，形成可长期使用的个人法律知识库。

1、立项背景和目标 线下与线上多渠道服装销售产生海量订单、客群、地域、品类数据，原始 Excel 表格数据零散，无法直观定位销售高峰、热销品类、核心消费人群及区域差异。本项目目标：通过 BI 工具搭建一站式销售可视化驾驶舱，对优衣库全年销售数据进行多维度拆解分析，定位经营优势与薄弱板块，为库存备货、营销投放、产品选品提供数据支撑。 2、核心功能模块介绍 核心指标卡片模块：汇总展示销售总额、客户总数、订单总数、总利润 4 项关键经营指标，直观呈现整体营收规模； 时间维度分析模块：包含月度每日销售折线趋势图、星期维度销售额柱状图，分析淡旺季、周度消费波动规律； 地域销售分析模块：中国地图气泡分布图，以气泡大小和数值展示不同地区销售额贡献，识别高营收核心区域； 客群分层分析模块：环形图展示各年龄群体消费占比、柱状图区分男女客户销售额，精准刻画目标消费人群画像； 产品结构分析模块：横向条形图展示全品类产品销售额排名，明确爆款品类与滞销品类； 联动筛选模块：顶部设置日期区间、产品类别、年龄群体下拉筛选器，可一键钻取指定条件下全图表联动数据。 3、业务流程描述 整理清洗全年销售原始数据，梳理订单日期、下单地区、产品品类、客户年龄性别、营收利润等字段； 在 BI 工具中搭建数据集，分别配置指标卡、折线图、地图、环形图、条形图等可视化组件； 完成大屏整体布局排版，绑定全局筛选器实现所有图表数据联动； 运营人员可直接查看整体经营概况，也可通过筛选条件缩小分析范围，完成销量、客群、区域、品类多维经营分析。

1、立项背景和目标 世界幸福报告包含各国幸福指数、人均寿命、GDP、区域健康得分等多维度海量数据，纯表格数据可读性差，难以直观对比不同国家、大洲之间的差异。本项目目标：基于 BI 工具搭建可视化分析看板，将 2015 年度幸福数据拆解为排名表格、柱状图、地图热力图等多类图表，直观展示全球幸福度分布、寿命与幸福度关联、区域得分差异，实现数据可视化解读与多维对比分析。 2、软件功能、核心功能模块介绍 数据基础展示模块：搭建两个排名数据表，分别展示全球国家幸福分数排行榜、各国健康预期寿命排行榜，支持排序查看 TOP 榜单； 地理分布可视化模块：通过世界地图气泡图展示各国 GDP 数值，以气泡大小直观体现经济体量地域分布； 区域维度对比模块：两组柱状图分别展示全球各大区域健康预期寿命得分、区域平均幸福分数，横向对比大洲间整体差距； 筛选交互模块：顶部配置地区、国家下拉筛选器，可单独查看指定区域、指定国家的全部指标数据，实现钻取分析。 3、业务流程、功能路径描述 导入 2015 世界幸福报告原始数据集，完成数据清洗、字段拆分（国家、地区、幸福分数、预期寿命、GDP、大洲分类）； 按需创建 5 类可视化组件：排名表格、世界地图、两组区域柱状图； 将图表布局整合为完整可视化大屏，绑定顶部地区、国家全局筛选控件； 使用者可直接查看整体数据，也可下拉筛选指定地区，联动所有图表刷新对应数据，完成幸福度、寿命、经济的多维度分析。

本项目用于自动化采集豆瓣电影Top250榜单数据，包括电影名称和评分。通过定时或按需运行，可快速获取当前热门高分影片列表，为影迷选片、影视行业市场分析、口碑监测及长期榜单变化跟踪提供参考。系统支持分页遍历全部250部影片，数据准确度高，且代码结构清晰，易于扩展至其他榜单（如分类排行）或增加更多字段（如导演、主演、短评数），满足轻量级数据采集与分析需求。

本项目面向电影行业数据监测场景，旨在自动化采集猫眼专业版实时票房榜单，覆盖影片排名、综合票房、票房占比及排片场次等核心指标。系统可替代人工手动查表，支持高频定时抓取（如每1分钟执行一次），为影院排片、宣发策略调整、竞品分析提供及时、准确的数据依据，帮助从业者快速洞察市场动态，提升决策效率。同时，结构化存储的数据便于后续进行票房趋势分析、影片生命周期研究和档期效果评估。

本项目是一个面向政策信息网站的智能爬虫系统，专注于自动采集与“航空航天”产业相关的政策文件、通知公告、工作动态等公开信息。系统通过模拟用户登录、处理动态加载内容，抓取政策的标题、正文、发布网站、技术领域和发布时间等核心字段，并将数据结构化存储至Excel表格中，便于后续的政策分析、趋势研判和产业研究。该工具可有效替代人工检索，大幅提升信息获取效率，为政府决策、企业规划及学术研究提供及时、全面的政策数据支撑。

1、爬取诗词库两百多万首诗歌以及作者相关信息，进行情感分析与作者履历分析 2、使用代理爬虫，实时监控负载情况动态调整爬虫线程数，确保对目标网站无性能影响。基于大模型对诗词进行情感分析，以及提取人物履历分析。