用于批量下载Kemono帖子内容的高度可自定义性的命令行工具-KToolBox
2026-03-15 21:18:21
行业：内容平台、音视频
载体：爬虫/脚本、框架或代码包
技术：Python、Pytest、dotenv
业务和功能介绍
该项目是一个用于批量下载 Kemono 中帖子内容的实用命令行工具，在 GitHub 上开源，500+ stars。
## 功能
- 支持多文件并发下载
- API 调用和下载失败后 **自动重试**
- 支持下载单个帖子以及指定的画师的 **全部帖子**
- 可 **更新已下载** 的画师目录至最新状态
- 支持自定义下载的帖子/画师的 **文件和目录名格式**、**目录结构**
- 例如帖子目录可设置为 `[2025-01-02]_TheTitle` 的格式，图片文件设置为按顺序的 `1.jpg`、`2.jpg` 等
- 当你希望将某作者的所有帖子图片统一存放至一个目录下，以便预览，可以使用 `job.mix_posts` 配置项搭配自定义文件名格式，你将得到几百上千张图片的目录
- 如 `[2025-01-02]_TheTitle_1.jpg`、`[2025-01-02]_TheTitle_2.jpg`、`[2025-01-02]_TheTitle_3.jpg` 等
- 支持排除 **指定格式** 的文件或仅下载指定格式的文件
- 例如当你不想下载庞大重复的 PSD 和压缩包文件时，可以在配置中排除 `.psd` 和 `.zip` 文件
- 支持按**文件大小**过滤下载
- 例如，如果你想在磁盘空间不足时避免下载大型视频文件，可以在配置中设置最大文件大小限制
- 你也可以设置最小文件大小，以跳过下载缩略图或预览图片
- 支持按帖子**标题关键词**过滤下载
- 例如你只想下载标题中包含“表情、効果音差分”的帖子，可以使用 `sync-creator` 命令的 `--keywords` 选项
- 如果你想排除标题中包含指定关键词的帖子，可以使用 `--keywords-exclude` 选项
- 支持按帖子发布日期**时间范围**过滤下载
- 能够解析帖子页面 HTML 多信息文本中包含的图片并下载
- 这类帖子特征为：浏览器页面刚进入时图片可能没有加载出来，且没有预览图
- 能够收集帖子页面中列出的**网盘链接**并保存至文本文件
- 可搜索画师和帖子，并导出结果
- 如果你希望自己处理画师和帖子数据，可以使用该功能导出 JSON 数据
- 支持全平台，并提供 iOS 快捷指令
- 纯 Python 分支可在 iOS 的 a-Shell 或浏览器的 Pyodide 上运行
## 功能
- 支持多文件并发下载
- API 调用和下载失败后 **自动重试**
- 支持下载单个帖子以及指定的画师的 **全部帖子**
- 可 **更新已下载** 的画师目录至最新状态
- 支持自定义下载的帖子/画师的 **文件和目录名格式**、**目录结构**
- 例如帖子目录可设置为 `[2025-01-02]_TheTitle` 的格式，图片文件设置为按顺序的 `1.jpg`、`2.jpg` 等
- 当你希望将某作者的所有帖子图片统一存放至一个目录下，以便预览，可以使用 `job.mix_posts` 配置项搭配自定义文件名格式，你将得到几百上千张图片的目录
- 如 `[2025-01-02]_TheTitle_1.jpg`、`[2025-01-02]_TheTitle_2.jpg`、`[2025-01-02]_TheTitle_3.jpg` 等
- 支持排除 **指定格式** 的文件或仅下载指定格式的文件
- 例如当你不想下载庞大重复的 PSD 和压缩包文件时，可以在配置中排除 `.psd` 和 `.zip` 文件
- 支持按**文件大小**过滤下载
- 例如，如果你想在磁盘空间不足时避免下载大型视频文件，可以在配置中设置最大文件大小限制
- 你也可以设置最小文件大小，以跳过下载缩略图或预览图片
- 支持按帖子**标题关键词**过滤下载
- 例如你只想下载标题中包含“表情、効果音差分”的帖子，可以使用 `sync-creator` 命令的 `--keywords` 选项
- 如果你想排除标题中包含指定关键词的帖子，可以使用 `--keywords-exclude` 选项
- 支持按帖子发布日期**时间范围**过滤下载
- 能够解析帖子页面 HTML 多信息文本中包含的图片并下载
- 这类帖子特征为：浏览器页面刚进入时图片可能没有加载出来，且没有预览图
- 能够收集帖子页面中列出的**网盘链接**并保存至文本文件
- 可搜索画师和帖子，并导出结果
- 如果你希望自己处理画师和帖子数据，可以使用该功能导出 JSON 数据
- 支持全平台，并提供 iOS 快捷指令
- 纯 Python 分支可在 iOS 的 a-Shell 或浏览器的 Pyodide 上运行
项目实现
- API 管理
- 通过 datamodel-codegen 读取Kemono的OpenAPI Schema文件，生成API所需的所有Pydantic模型。
- 用Pydantic来管理API的数据类型和格式，而不是JSON，这样开发过程代码提示、后期可维护性强。
- 抽象API调用，使API Base URL等允许用户额外自定义，而业务逻辑中无需实现完整的API调用过程。
- 配置管理
- 通过 Pydantic Settings 管理用户配置，用户配置从环境变量和.env文件中读取，而不是json，因此用户可选择只配置部分需要替换默认值的配置项
- 使用 urwid 为 Pydantic 基类模型设计配置TUI编辑器，使其对所有配置类别通用，而无需单独设计每个配置类别的TUI界面
- 功能实现
- 项目宗旨是为批量下载Kemono资源提供便利性和高度可自定义性，由于Kemono内帖子资源文件类型多样且数量庞大，因此需要满足用户对例如目录结构、文件命名格式、根据扩展名排除以及按时间范围和数量范围下载等
- 项目打包分发
- 项目通过 poetry 管理依赖和构建，并为不同功能设置可选依赖（如TUI界面）
- 通过 GitHub CI/CD 自动化完成项目的打包和分发流程，包括wheel构建、pyinstaller打包以及随后的GitHub Release、PyPI 包发布，而无需人工操作，全过程透明，使分发的软件安全性得到保证。
- 测试
- 通过 pytest 编写测试
- 通过 codecoverage 统计代码覆盖率并汇报至平台
- 每次 Pull Request 都会触发代码覆盖率检测，检查新代码是否缺少测试程序
- 使用 CI/CD 自动化触发测试
- 文档
- 使用 mkdocs 以及 mkdocstrings 完成文档自动化构建，而无需重复编写如用户配置的文档。
- 使用 CI/CD 自动发布文档
- 通过 datamodel-codegen 读取Kemono的OpenAPI Schema文件，生成API所需的所有Pydantic模型。
- 用Pydantic来管理API的数据类型和格式，而不是JSON，这样开发过程代码提示、后期可维护性强。
- 抽象API调用，使API Base URL等允许用户额外自定义，而业务逻辑中无需实现完整的API调用过程。
- 配置管理
- 通过 Pydantic Settings 管理用户配置，用户配置从环境变量和.env文件中读取，而不是json，因此用户可选择只配置部分需要替换默认值的配置项
- 使用 urwid 为 Pydantic 基类模型设计配置TUI编辑器，使其对所有配置类别通用，而无需单独设计每个配置类别的TUI界面
- 功能实现
- 项目宗旨是为批量下载Kemono资源提供便利性和高度可自定义性，由于Kemono内帖子资源文件类型多样且数量庞大，因此需要满足用户对例如目录结构、文件命名格式、根据扩展名排除以及按时间范围和数量范围下载等
- 项目打包分发
- 项目通过 poetry 管理依赖和构建，并为不同功能设置可选依赖（如TUI界面）
- 通过 GitHub CI/CD 自动化完成项目的打包和分发流程，包括wheel构建、pyinstaller打包以及随后的GitHub Release、PyPI 包发布，而无需人工操作，全过程透明，使分发的软件安全性得到保证。
- 测试
- 通过 pytest 编写测试
- 通过 codecoverage 统计代码覆盖率并汇报至平台
- 每次 Pull Request 都会触发代码覆盖率检测，检查新代码是否缺少测试程序
- 使用 CI/CD 自动化触发测试
- 文档
- 使用 mkdocs 以及 mkdocstrings 完成文档自动化构建，而无需重复编写如用户配置的文档。
- 使用 CI/CD 自动发布文档
示例图片视频
相似推荐
机器人外呼
一、立项背景与目标
背景：传统人工外呼效率低（有效通话占比不足40%）、成本高、情绪影响大；合规监管趋严（需全程录音、拒绝后禁呼）；AI与大数据技术成熟，驱动行业向智能化转型。
目标：实现批量自动拨号，接通率提升40%以上，人力成本降低50%~70%；全程录音可追溯，自动标记客户意向，支持黑名单与全量质检，形成数据闭环优化营销策略。
二、核心功能模块
客户管理：批量导入、去重清洗、黑名单过滤、360°画像打标。
智能呼叫：预测式/预览式/预约型拨号，并发控制与智能重拨。
语音交互：ASR+NLP+TTS引擎，多轮对话、意图识别、情绪分析。
任务调度：按地域/等级分配，实时监控坐席状态，话术模板管理。
录音质检：全程自动录音、存档，全量合规复查与风险告警。
数据报表：实时监控接通率、转化率等200+指标，自动生成工单并反馈优化。
三、业务流程与路径
数据准备：导入客户信息 → 号码清洗 → 构建画像 → 创建外呼任务（配置话术、时间、策略）。
智能拨号：调度引擎分配号码 → 自动过滤无效号码 → 按策略发起呼叫（支持重拨）。
交互识别：ASR转写 → NLP理解意图 → 多轮对话 → 标记意向等级（高/中/低），高意向可转人工。
录音质检：全程录音存档 → 质检引擎合规审查 → 拒绝号码加入黑名单。
数据归集：通话记录与分析报表自动生成 → 高意向创建CRM工单 → 结果反哺筛选规则和话术，形成闭环迭代。
校园综合服务小程序
立项背景和目标
当前高校学生校园信息分散，资讯、二手、失物、活动、外卖等需求分散在多个社交群，信息流转低效、无统一查询渠道。本项目目标搭建轻量化微信小程序，无需下载 APP，统一聚合校园全场景服务，降低师生信息获取成本，搭建校内安全交易、信息发布渠道。
软件核心功能模块
1. 用户登录模块：对接微信官方登录接口，自动获取用户 OpenID 完成注册、身份识别；
2. 校园资讯模块：分类展示校园新闻、通知、学习资料，支持搜索、点赞、收藏、详情预览；
3. 闲置二手模块：学生发布闲置商品、浏览商品列表、查看商品详情；
4. 失物招领模块：发布遗失 / 捡拾物品信息，检索公告；
5. 校园活动模块：展示校内文体、志愿活动，点击查看活动详情；
6. 快捷外卖服务：校内商家点餐、购物车、订单管理、收货地址管理；
7. 个人中心：用户信息、我的发布、我的收藏、订单记录、系统设置。
业务流程
用户打开小程序后自动触发微信授权登录，登录后进入首页，首页提供各功能入口；点击对应图标跳转资讯 / 二手 / 活动 / 外卖页面，列表页支持下拉刷新、上拉加载更多，点击条目跳转详情页，可完成点赞、收藏、发布、下单等操作；全部数据由后端接口统一提供存储与校验。
短剧出海项目
1、海外短剧市场处于高速增长期，TikTok/Reels 等内容消费习惯催生了用户对"短平快"剧集的需求。平台面向东南亚、北美、拉美等海外市场，通过 Facebook 广告投放获客，以 H5 网页形
式提供服务——无需下载 App，打开链接即看。
2、业务目标
内容变现 通过会员订阅 + 金币单集购买两种模式实现付费
广告归因 完整追踪从广告点击到付费的全链路转化数据
多支付商 支持 Stripe（信用卡）和 PayPal 两种主流支付方式
多站点 一套代码支持多个品牌站独立部署（通过 settings.yaml 配置）
iOS 友好 通过服务端 CAPI 规避 iOS 14.5+ ATT 事件拦截
3、业务流程
华为云控制台-智果AgentArts智能体平台
华为云AI智能体应用管理平台，为企业提供智能体的创建、配置、监控及技能管理的一站式解决方案。本项目全程采用AI驱动开发模式，基于GLM-5.1+miniMax2.7完成从架构设计到代码实现的全流程，手写代码占比不足5%，交付效率较
传统模式提升3以上。
模型部署优化
为应对 DeepSeek-V4-Pro 模型在长上下文、高并发推理场景下的性能瓶颈，我们启动了 H20 集群推理服务优化项目。原单机部署方案在解码阶段依赖 DSpark 投机解码（num_speculative_tokens=3）进行加速，但在实际业务流量（高峰约 100 req/min）下，KV Cache 显存占用成为主要限制，导致请求承载能力仅约 10% 的流量比例，大量请求因资源不足被拒绝或排队，严重影响服务可用性和用户体验。
本次项目旨在通过架构升级，将部署规模从单机扩展至双 H20 集群，并引入 LMCache KVCache Pool 池化技术，实现 KV Cache 跨实例复用，显著降低长上下文场景下重复 Prefill 计算开销，最终目标是将业务承载能力提升至 25% 以上，保障高峰流量下的服务稳定性与低延迟响应。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服