业务和功能介绍
独立负责B站数据持续化采集模块的工业级开发与部署，为下游大模型提供高稳定性、高质量的多模态语料库。
基于 Python 与 Scrapy 构建高可用爬虫架构：设计动态重点监控机制，支持灵活配置目标 UP 主，实现对其视频元数据、弹幕及评论区互动文本的自动化、高频次定向追踪与全量抓取。
设计并实现完整的数据 Pipeline：在 Scrapy 管道层完成原始脏数据的去重、脱敏与初步清洗，并将结构化数据高效持久化存储至 MySQL 数据库，保障了数据读取与模型调用的高效衔接。
完成项目的容器化交付：运用 Docker 容器化技术对整个采集模块进行独立打包与自动化部署，屏蔽了环境差异，大幅提升了系统的可移植性与长期运行的稳定性。
基于 Python 与 Scrapy 构建高可用爬虫架构：设计动态重点监控机制，支持灵活配置目标 UP 主，实现对其视频元数据、弹幕及评论区互动文本的自动化、高频次定向追踪与全量抓取。
设计并实现完整的数据 Pipeline：在 Scrapy 管道层完成原始脏数据的去重、脱敏与初步清洗，并将结构化数据高效持久化存储至 MySQL 数据库，保障了数据读取与模型调用的高效衔接。
完成项目的容器化交付：运用 Docker 容器化技术对整个采集模块进行独立打包与自动化部署，屏蔽了环境差异，大幅提升了系统的可移植性与长期运行的稳定性。
项目实现
独立负责 Bilibili 持续化数据采集模块的从零到一开发，构建高可用、反风控的工业级数据抓取与分发系统。
攻克复杂反爬与风控体系：深入分析 B 站前端加密逻辑，成功逆向并复现 WBI 签名算法，有效绕过核心风控校验；结合高匿 IP 代理池与动态 Cookie 池调度策略，突破高频抓取限制，保障系统长期稳定运行。
基于 Scrapy 构建高性能采集引擎：设计并实现定制化重点监控机制，支持对指定 UP 主视频流、评论区及弹幕生态的自动化、高频次全量抓取。
基于 Django 实现后端架构与 API 交付：搭建后台服务，将 Scrapy 清洗后的结构化数据持久化存储，并封装为标准的 RESTful API 接口，实现与下游大模型分析模块的无缝对接。
技术沉淀与开源分享：提炼 WBI 签名算法逆向全过程及系统实现细节，撰写并发布于个人博客（https://snozzz.cc/article/bilibili-spider）。
攻克复杂反爬与风控体系：深入分析 B 站前端加密逻辑，成功逆向并复现 WBI 签名算法，有效绕过核心风控校验；结合高匿 IP 代理池与动态 Cookie 池调度策略，突破高频抓取限制，保障系统长期稳定运行。
基于 Scrapy 构建高性能采集引擎：设计并实现定制化重点监控机制，支持对指定 UP 主视频流、评论区及弹幕生态的自动化、高频次全量抓取。
基于 Django 实现后端架构与 API 交付：搭建后台服务，将 Scrapy 清洗后的结构化数据持久化存储，并封装为标准的 RESTful API 接口，实现与下游大模型分析模块的无缝对接。
技术沉淀与开源分享：提炼 WBI 签名算法逆向全过程及系统实现细节，撰写并发布于个人博客（https://snozzz.cc/article/bilibili-spider）。
示例图片视频
相似推荐
H5麻将(3D版)
本方案以 H5 技术结合 3D 渲染引擎打造麻将游戏前端，无需下载安装，浏览器内即开即玩，呈现立体生动的牌局画面与流畅交互体验，适配多类设备。后端采用 C 语言开发高性能服务端，凭借底层执行效率与精细内存管理，可稳定承载高并发访问，满足大量玩家同场竞技，保障牌局同步及时、操作响应迅速。整体架构高内聚低耦合，迁移方便，灵活部署于各类服务器与云平台，快速扩容、成本可控，兼顾画质、性能与运维便利。
掼蛋H5版
本方案以 H5 技术打造掼蛋游戏前端，免安装、即点即玩，浏览器内即可流畅开局，适配各类设备，用户体验出色。后端采用 C 语言开发高性能服务端，凭借底层执行效率与内存优化，能够稳定承载高并发访问，满足大量玩家同时在线的对局需求，保证牌局快速同步、响应及时。整体架构高度解耦，迁移方便，可灵活部署于各类服务器与云环境，快速扩容、低成本运维，兼顾稳定性、性能与部署灵活性，是成熟的棋牌平台解决方案。
H5斗地主
本方案采用 H5 技术构建斗地主游戏前端，无需安装客户端，通过浏览器即可随时随地开玩，兼容性强、体验流畅。后端基于 C 语言开发高性能服务端，凭借 C 语言的底层优势与极佳的执行效率，能够稳定支撑大规模并发访问，轻松应对海量玩家同时在线的压力，保证对局稳定、响应迅速。整体架构耦合度低、迁移方便，可灵活部署至多种服务器环境与云平台，实现低成本快速扩展，兼顾用户体验、性能与运维便利性。
基于神经网络的游戏动画系统
MotionWeaver 是一套面向 Unreal Engine 游戏开发的 AI 驱动角色动作生成系统，旨在解决传统游戏动画制作成本较高、动画资产复用困难、复杂动作衔接不自然，以及角色运动与动画表现难以协调等问题。
项目以神经网络动作生成技术为核心，结合游戏引擎的角色运动系统，实现从动画数据采集、模型训练到动作推理与引擎集成的完整技术流程。
主要功能包括：
动画数据采集与处理： 支持从 Unreal Engine 动画资产中提取骨骼姿态、位置、旋转及时间序列信息，完成骨骼映射、数据清洗、质量审核与训练数据集构建。
AI 动作模型训练： 提供基于深度学习的动作表示学习、姿态预测与生成模型训练功能，支持模型检查点管理、训练指标记录及实验评估。
条件动作生成： 利用角色根运动轨迹、历史动作状态及参考姿态等条件，生成连续骨骼动作，研究不同运动条件下的动画生成效果。
复杂动作约束： 针对跑酷、跨越障碍等复杂场景，支持参考姿态引导及关键帧约束，改善动作准确性与空间匹配效果。
UE 动画集成与验证： 提供模型推理与 Unreal Engine 动画系统的集成和实验验证能力，支持生成动作的预览、重建、测试及效果分析。
模型评测与对比： 通过骨骼位置误差、运动连续性、关键帧约束误差等指标，对不同模型及优化方案进行定量分析。
项目主要面向游戏角色动画生成、AI 动画技术研究和游戏开发工具链建设，为智能角色运动与游戏动画自动化提供技术基础。
H5休闲解压益智游戏（拖拽对齐，单文件纯前端）-拉线解压 KNOT OUT
《拉线解压》（KNOT OUT）是一款纯前端、零后端的 H5 休闲解压益智游戏。核心操作：拖动一根线的控制点，把线的中点精确送入目标环；吸附越准，评级越高（金/银/铜），并触发连击。 功能模块：① 操作与判定——拖拽线并实时吸附判定，按精度分金/银/铜三档（金档才续连击），配连击上行音反馈；② 关卡与难度包络——线数随关卡从 3 递增到 10、吸附窗口逐关收紧（78→48px），目标环视觉与判定窗口一致；③ 风格目标——按关卡轮换「全金档 / 全程无错位 / 由外向内（目标环标 1..N 序号）」，达成即得星；④ 每日挑战——以本地日期为种子的独立关卡，布局与主题由种子确定；⑤ 留痕世界——把逐关评级、星与每日印记，按存档确定性重算成一条「世界路径」；⑥ 音频——音效全部由 Web Audio 实时合成（C 大调音阶），BGM 三首可轮播。 主要功能路径：打开即玩 → 拖线对齐 → 评分/连击 → 过关结算 → 下一关 / 每日挑战 → 世界回顾。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服