朽木挽诗

1、立项背景和目标：面向个人投资者的A股市场监控需求，开发一个集数据采集、存储、分析、可视化于一体的桌面应用，帮助用户实时掌握沪深京A股全市场行情动态，辅助投资决策。 2、软件功能：①全市场股票数据采集，覆盖沪市、深市、北交所共5000+只股票；②阶梯分类统计，按涨停、大涨、小涨、小跌、大跌跌停五级自动归类；③市场概览仪表盘，展示股票总数、平均涨幅、最大涨跌幅、总成交额；④涨跌幅TOP10排行榜；⑤个股详情视图，支持7天/30天/90天/365天价格趋势、涨跌幅走势、成交量柱状图；⑥股票列表分页查询，支持阶梯筛选、关键词搜索、多字段排序。 3、业务流程：用户启动程序后浏览器自动打开监控页面，点击手动爬取触发Selenium打开Chrome浏览器，完成滑块验证码后系统自动通过JSONP协议调用东方财富API获取全量股票数据，存入SQLite数据库，前端实时刷新展示图表和数据表格。

1、立项背景和目标：开发一款面向个人用户的抖音视频下载工具，支持通过分享链接一键下载无水印视频，降低普通用户保存视频的门槛。 2、软件功能：①剪贴板自动监听，用户复制抖音分享链接后自动填入输入框，无需手动粘贴；②视频无水印下载，通过Selenium驱动Edge浏览器解析抖音视频真实下载地址；③下载去重机制，基于视频ID自动跳过已下载视频，避免重复保存；④自定义下载目录，支持在设置中修改保存路径；⑤下载进度实时显示，支持取消下载；⑥程序打包为exe，用户无需安装Python环境即可直接运行。 3、业务流程：用户双击exe启动程序，在抖音App点击分享复制链接，程序自动捕获剪贴板内容并填入，点击下载按钮后程序通过浏览器自动化解析视频地址并下载到本地downloads文件夹。

1、立项背景和目标：基于B站排行榜爬取的数据，进行深度数据分析和可视化呈现，挖掘视频播放量分布规律、分区热度差异、UP主影响力等洞察。 2、软件功能：①UGC分区平均播放量对比分析；②PGC各类型内容播放量对比；③UGC播放量TOP20视频排行；④PGC播放量TOP20作品排行；⑤播放量与点赞数相关性散点图分析；⑥UGC分区视频数量占比饼图；⑦TOP15 UP主影响力排行。共生成7张可视化图表。 3、业务流程：读取爬虫采集的CSV数据，使用pandas进行数据清洗（去除空值、类型转换）、分组聚合（按分区/类型统计均值），使用matplotlib绑定中文字体渲染7张可视化图表并保存为PNG。

1、立项背景和目标：电商图书数据分散在各平台接口中，缺乏统一的数据采集与查询方案。本项目目标是从当当网电子书频道批量采集图书数据，构建从爬取到查询到可视化的完整数据服务管线。 2、核心功能模块：①爬虫模块负责从当当网JSON接口抓取书名、价格、封面图片等字段，支持自动翻页；②API服务模块提供分页查询、关键词搜索、价格筛选、统计聚合4个RESTful接口；③可视化面板模块展示图书总数、均价、最高/最低价等指标卡片，支持实时筛选和价格分布图表。 3、业务流程：启动爬虫→解析JSON接口提取数据→下载封面图片→存入SQLite数据库（幂等去重）→通过FastAPI对外提供查询接口→Streamlit面板读取数据库生成可视化报表。共采集1017条图书数据，价格区间¥0.36~¥2480。

1、立项背景和目标：单机爬虫在面对大规模数据采集时存在效率瓶颈和IP被封风险。本项目目标是构建一个支持多机协作的分布式爬虫系统，集成代理IP池实现自动IP轮换，解决反爬限制下的批量数据采集问题。 2、核心功能模块：①代理池模块从多个免费代理网站爬取IP，通过20线程并发验证可用性，基于分数机制自动淘汰劣质代理（初始100分，成功+1，失败-10，归零删除）；②分布式爬虫基于Scrapy-Redis实现多进程共享URL队列，支持断点续爬和自动去重，共采集999条图书数据；③代理中间件每个请求自动从代理池API获取代理IP，使用后反馈结果调整分数；④监控面板实时展示代理池状态、爬取数据统计和评分分布图表。 3、业务流程：代理池爬取IP→多线程验证→Redis存储打分→爬虫从Redis队列取URL→代理中间件自动加IP→请求目标网站→数据存入MongoDB→Streamlit面板实时监控。代理池API提供6个HTTP接口供爬虫调用，去重1049个URL，队列剩余0个。