业务和功能介绍
独立负责B站数据持续化采集模块的工业级开发与部署，为下游大模型提供高稳定性、高质量的多模态语料库。
基于 Python 与 Scrapy 构建高可用爬虫架构：设计动态重点监控机制，支持灵活配置目标 UP 主，实现对其视频元数据、弹幕及评论区互动文本的自动化、高频次定向追踪与全量抓取。
设计并实现完整的数据 Pipeline：在 Scrapy 管道层完成原始脏数据的去重、脱敏与初步清洗，并将结构化数据高效持久化存储至 MySQL 数据库，保障了数据读取与模型调用的高效衔接。
完成项目的容器化交付：运用 Docker 容器化技术对整个采集模块进行独立打包与自动化部署，屏蔽了环境差异，大幅提升了系统的可移植性与长期运行的稳定性。
基于 Python 与 Scrapy 构建高可用爬虫架构：设计动态重点监控机制，支持灵活配置目标 UP 主，实现对其视频元数据、弹幕及评论区互动文本的自动化、高频次定向追踪与全量抓取。
设计并实现完整的数据 Pipeline：在 Scrapy 管道层完成原始脏数据的去重、脱敏与初步清洗，并将结构化数据高效持久化存储至 MySQL 数据库，保障了数据读取与模型调用的高效衔接。
完成项目的容器化交付：运用 Docker 容器化技术对整个采集模块进行独立打包与自动化部署，屏蔽了环境差异，大幅提升了系统的可移植性与长期运行的稳定性。
项目实现
独立负责 Bilibili 持续化数据采集模块的从零到一开发，构建高可用、反风控的工业级数据抓取与分发系统。
攻克复杂反爬与风控体系：深入分析 B 站前端加密逻辑，成功逆向并复现 WBI 签名算法，有效绕过核心风控校验；结合高匿 IP 代理池与动态 Cookie 池调度策略，突破高频抓取限制，保障系统长期稳定运行。
基于 Scrapy 构建高性能采集引擎：设计并实现定制化重点监控机制，支持对指定 UP 主视频流、评论区及弹幕生态的自动化、高频次全量抓取。
基于 Django 实现后端架构与 API 交付：搭建后台服务，将 Scrapy 清洗后的结构化数据持久化存储，并封装为标准的 RESTful API 接口，实现与下游大模型分析模块的无缝对接。
技术沉淀与开源分享：提炼 WBI 签名算法逆向全过程及系统实现细节，撰写并发布于个人博客（https://snozzz.cc/article/bilibili-spider）。
攻克复杂反爬与风控体系：深入分析 B 站前端加密逻辑，成功逆向并复现 WBI 签名算法，有效绕过核心风控校验；结合高匿 IP 代理池与动态 Cookie 池调度策略，突破高频抓取限制，保障系统长期稳定运行。
基于 Scrapy 构建高性能采集引擎：设计并实现定制化重点监控机制，支持对指定 UP 主视频流、评论区及弹幕生态的自动化、高频次全量抓取。
基于 Django 实现后端架构与 API 交付：搭建后台服务，将 Scrapy 清洗后的结构化数据持久化存储，并封装为标准的 RESTful API 接口，实现与下游大模型分析模块的无缝对接。
技术沉淀与开源分享：提炼 WBI 签名算法逆向全过程及系统实现细节，撰写并发布于个人博客（https://snozzz.cc/article/bilibili-spider）。
示例图片视频
相似推荐
基于AI大模型的Minecraft游戏智能助手-MCGameAssistant
1、立项背景和目标
Minecraft作为全球热门沙盒游戏，玩家在游戏中经常遇到合成配方查询、资源定位、生存技巧咨询等问题，传统Wiki查询效率低、新手门槛高。本项目旨在利用AI大模型与RAG检索增强生成技术，构建一个专为Minecraft玩家服务的智能问答助手，帮助玩家快速获取游戏知识。
2、软件功能、核心功能模块的介绍
系统包含Web端、PC桌面端(Electron)、Android端、微信小程序多端入口，核心功能包括：(1)AI智能对话问答，基于百炼大模型实现自然语言交互；(2)RAG知识库检索，通过Milvus向量数据库存储Minecraft官方Wiki数据，支持精准知识问答；(3)Agent智能体工具调用，可结合网页搜索和知识库综合回答；(4)文件上传问答，支持玩家上传文档自定义查询；(5)用户系统，支持注册登录、对话历史管理；(6)自动化运维，支持定时任务、健康检查、日志轮转。
3、业务流程、功能路径描述
用户进入系统后，选择平台(Web/PC/Android/小程序)访问助手界面，可直接发起AI对话提问。系统通过Express后端接收请求，经意图分析后调用Agent中间件，结合RAG向量检索（Milvus）、网络搜索工具（如有）、历史对话上下文（Redis/MySQL），由大模型生成流式回答返回给用户。同时系统支持用户注册登录，保存对话历史，支持文件上传进行定制化问答。管理员可通过后台管理知识库数据、查看运行健康状态。
unity游戏 无限割草
1、立项背景和目标
本项目是一款3D俯视角幸存者类割草游戏，参考《Vampire Survivors》核心玩法，目标是打造一款轻量化、高爽感、适合微信小游戏渠道的休闲割草产品。立项初衷有两点：一是验证Unity 6 URP在移动端的性能表现与渲染效果；二是探索“幸存者Like”玩法在微信小游戏生态中的商业化可能性（广告变现+内购道具）。项目定位为单人开发的完整可玩Demo，为后续上线小游戏做技术预研。
2、软件功能、核心功能模块
游戏包含七大核心功能模块：
玩家控制系统：WASD移动、自动范围攻击（AOE）、暴击判定、吸血回血、闪避/防御/血量三层生存属性；
敌人系统：5种敌人类型（追敌/快速/坦克/远程/自爆），Boss单位（召唤小兵+高经验掉落），波次自动推进（60秒/波，第10/20/30波为Boss波）；
角色成长系统：12维可升级属性（攻/防/血/速/暴击/爆伤/吸血/闪避/幸运/范围/回血/经验增益），波间消耗属性点升级；
天赋系统：12个天赋（每级5级），PlayerPrefs持久化存储，跨场景保留；
经济与商店系统：金币掉落（70%基础掉率，幸运影响双倍概率），15种道具（分3层解锁，按波次开放），商店随机抽取5种商品；
UI系统：主菜单/天赋页/设置页/升级面板/商店面板/GameOver面板/HUD全部代码生成，不依赖场景预设；
召唤物系统：炮台（自动攻击15秒）、小兵（追击攻击20秒）、信标（范围回血10秒）。
3、业务流程、功能路径描述
玩家启动游戏 → 主菜单（开始/天赋/设置）→ 进入游戏场景 → 角色自动攻击，玩家控制移动走位 → 每60秒推进一波，敌人强度递增 → 击杀敌人获得经验与金币 → 经验满升级获得1属性点 → 波间进入升级面板加点 → 点击商店按钮购买道具（3层品质按波次解锁）→ 继续战斗 → 角色死亡弹出GameOver面板（结算波次/击杀/等级/分数）→ 重新开始或返回主菜单。F10键可跳关至第10波（调试用），ESC键游戏中返回主菜单。
飞行棋
立项背景：经典飞行棋受众广，依托 Cocos Creator 开发 H5 免下载，适配社交传播，填补轻量化休闲互动小游戏需求。
核心功能：支持 2-4 人对局、掷骰子走棋、撞子回起点、掷 6 起飞续投、棋子移动动画、胜负判定。
业务流程：进入游戏选人数→轮流掷骰操控棋子→触发棋盘规则交互→全部棋子抵达终点判定胜者，返回开局界面。
捕鱼达人
街机捕鱼线下场景受限，移动端休闲解压游戏需求旺盛，该玩法上手简单、受众覆盖面广。面向电脑端居家休闲、好友联机对战、日常碎片化消遣场景，填补轻量化捕鱼休闲产品缺口，满足大众轻松娱乐需求。
麻将消消
休闲碎片化娱乐需求持续高涨，消消乐玩法简单易上手，受众不分年龄。依托PC端打造桌面消除小游戏，适配居家摸鱼、办公间隙放松、闲暇打发时间等场景，轻量化客户端降低硬件门槛，填补简约休闲消除类游戏空缺。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服