用于批量下载Kemono帖子内容的高度可自定义性的命令行工具-KToolBox
2026-03-15 21:18:21
行业：内容平台、音视频
载体：爬虫/脚本、框架或代码包
技术：Python、Pytest、dotenv
业务和功能介绍
该项目是一个用于批量下载 Kemono 中帖子内容的实用命令行工具，在 GitHub 上开源，500+ stars。
## 功能
- 支持多文件并发下载
- API 调用和下载失败后 **自动重试**
- 支持下载单个帖子以及指定的画师的 **全部帖子**
- 可 **更新已下载** 的画师目录至最新状态
- 支持自定义下载的帖子/画师的 **文件和目录名格式**、**目录结构**
- 例如帖子目录可设置为 `[2025-01-02]_TheTitle` 的格式，图片文件设置为按顺序的 `1.jpg`、`2.jpg` 等
- 当你希望将某作者的所有帖子图片统一存放至一个目录下，以便预览，可以使用 `job.mix_posts` 配置项搭配自定义文件名格式，你将得到几百上千张图片的目录
- 如 `[2025-01-02]_TheTitle_1.jpg`、`[2025-01-02]_TheTitle_2.jpg`、`[2025-01-02]_TheTitle_3.jpg` 等
- 支持排除 **指定格式** 的文件或仅下载指定格式的文件
- 例如当你不想下载庞大重复的 PSD 和压缩包文件时，可以在配置中排除 `.psd` 和 `.zip` 文件
- 支持按**文件大小**过滤下载
- 例如，如果你想在磁盘空间不足时避免下载大型视频文件，可以在配置中设置最大文件大小限制
- 你也可以设置最小文件大小，以跳过下载缩略图或预览图片
- 支持按帖子**标题关键词**过滤下载
- 例如你只想下载标题中包含“表情、効果音差分”的帖子，可以使用 `sync-creator` 命令的 `--keywords` 选项
- 如果你想排除标题中包含指定关键词的帖子，可以使用 `--keywords-exclude` 选项
- 支持按帖子发布日期**时间范围**过滤下载
- 能够解析帖子页面 HTML 多信息文本中包含的图片并下载
- 这类帖子特征为：浏览器页面刚进入时图片可能没有加载出来，且没有预览图
- 能够收集帖子页面中列出的**网盘链接**并保存至文本文件
- 可搜索画师和帖子，并导出结果
- 如果你希望自己处理画师和帖子数据，可以使用该功能导出 JSON 数据
- 支持全平台，并提供 iOS 快捷指令
- 纯 Python 分支可在 iOS 的 a-Shell 或浏览器的 Pyodide 上运行
## 功能
- 支持多文件并发下载
- API 调用和下载失败后 **自动重试**
- 支持下载单个帖子以及指定的画师的 **全部帖子**
- 可 **更新已下载** 的画师目录至最新状态
- 支持自定义下载的帖子/画师的 **文件和目录名格式**、**目录结构**
- 例如帖子目录可设置为 `[2025-01-02]_TheTitle` 的格式，图片文件设置为按顺序的 `1.jpg`、`2.jpg` 等
- 当你希望将某作者的所有帖子图片统一存放至一个目录下，以便预览，可以使用 `job.mix_posts` 配置项搭配自定义文件名格式，你将得到几百上千张图片的目录
- 如 `[2025-01-02]_TheTitle_1.jpg`、`[2025-01-02]_TheTitle_2.jpg`、`[2025-01-02]_TheTitle_3.jpg` 等
- 支持排除 **指定格式** 的文件或仅下载指定格式的文件
- 例如当你不想下载庞大重复的 PSD 和压缩包文件时，可以在配置中排除 `.psd` 和 `.zip` 文件
- 支持按**文件大小**过滤下载
- 例如，如果你想在磁盘空间不足时避免下载大型视频文件，可以在配置中设置最大文件大小限制
- 你也可以设置最小文件大小，以跳过下载缩略图或预览图片
- 支持按帖子**标题关键词**过滤下载
- 例如你只想下载标题中包含“表情、効果音差分”的帖子，可以使用 `sync-creator` 命令的 `--keywords` 选项
- 如果你想排除标题中包含指定关键词的帖子，可以使用 `--keywords-exclude` 选项
- 支持按帖子发布日期**时间范围**过滤下载
- 能够解析帖子页面 HTML 多信息文本中包含的图片并下载
- 这类帖子特征为：浏览器页面刚进入时图片可能没有加载出来，且没有预览图
- 能够收集帖子页面中列出的**网盘链接**并保存至文本文件
- 可搜索画师和帖子，并导出结果
- 如果你希望自己处理画师和帖子数据，可以使用该功能导出 JSON 数据
- 支持全平台，并提供 iOS 快捷指令
- 纯 Python 分支可在 iOS 的 a-Shell 或浏览器的 Pyodide 上运行
项目实现
- API 管理
- 通过 datamodel-codegen 读取Kemono的OpenAPI Schema文件，生成API所需的所有Pydantic模型。
- 用Pydantic来管理API的数据类型和格式，而不是JSON，这样开发过程代码提示、后期可维护性强。
- 抽象API调用，使API Base URL等允许用户额外自定义，而业务逻辑中无需实现完整的API调用过程。
- 配置管理
- 通过 Pydantic Settings 管理用户配置，用户配置从环境变量和.env文件中读取，而不是json，因此用户可选择只配置部分需要替换默认值的配置项
- 使用 urwid 为 Pydantic 基类模型设计配置TUI编辑器，使其对所有配置类别通用，而无需单独设计每个配置类别的TUI界面
- 功能实现
- 项目宗旨是为批量下载Kemono资源提供便利性和高度可自定义性，由于Kemono内帖子资源文件类型多样且数量庞大，因此需要满足用户对例如目录结构、文件命名格式、根据扩展名排除以及按时间范围和数量范围下载等
- 项目打包分发
- 项目通过 poetry 管理依赖和构建，并为不同功能设置可选依赖（如TUI界面）
- 通过 GitHub CI/CD 自动化完成项目的打包和分发流程，包括wheel构建、pyinstaller打包以及随后的GitHub Release、PyPI 包发布，而无需人工操作，全过程透明，使分发的软件安全性得到保证。
- 测试
- 通过 pytest 编写测试
- 通过 codecoverage 统计代码覆盖率并汇报至平台
- 每次 Pull Request 都会触发代码覆盖率检测，检查新代码是否缺少测试程序
- 使用 CI/CD 自动化触发测试
- 文档
- 使用 mkdocs 以及 mkdocstrings 完成文档自动化构建，而无需重复编写如用户配置的文档。
- 使用 CI/CD 自动发布文档
- 通过 datamodel-codegen 读取Kemono的OpenAPI Schema文件，生成API所需的所有Pydantic模型。
- 用Pydantic来管理API的数据类型和格式，而不是JSON，这样开发过程代码提示、后期可维护性强。
- 抽象API调用，使API Base URL等允许用户额外自定义，而业务逻辑中无需实现完整的API调用过程。
- 配置管理
- 通过 Pydantic Settings 管理用户配置，用户配置从环境变量和.env文件中读取，而不是json，因此用户可选择只配置部分需要替换默认值的配置项
- 使用 urwid 为 Pydantic 基类模型设计配置TUI编辑器，使其对所有配置类别通用，而无需单独设计每个配置类别的TUI界面
- 功能实现
- 项目宗旨是为批量下载Kemono资源提供便利性和高度可自定义性，由于Kemono内帖子资源文件类型多样且数量庞大，因此需要满足用户对例如目录结构、文件命名格式、根据扩展名排除以及按时间范围和数量范围下载等
- 项目打包分发
- 项目通过 poetry 管理依赖和构建，并为不同功能设置可选依赖（如TUI界面）
- 通过 GitHub CI/CD 自动化完成项目的打包和分发流程，包括wheel构建、pyinstaller打包以及随后的GitHub Release、PyPI 包发布，而无需人工操作，全过程透明，使分发的软件安全性得到保证。
- 测试
- 通过 pytest 编写测试
- 通过 codecoverage 统计代码覆盖率并汇报至平台
- 每次 Pull Request 都会触发代码覆盖率检测，检查新代码是否缺少测试程序
- 使用 CI/CD 自动化触发测试
- 文档
- 使用 mkdocs 以及 mkdocstrings 完成文档自动化构建，而无需重复编写如用户配置的文档。
- 使用 CI/CD 自动发布文档
示例图片视频
相似推荐
域名连通性自动化拨测工具
立项背景和目标：
在日常网站运维和SEO优化工作中，需要定期检测大量域名的连通性和可访问性。传统手动逐个检测方式效率低下，且容易遗漏。本项目旨在开发一款自动化工具，通过模拟浏览器操作自动登录专业拨测平台，批量检测域名列表的连通状态，将原本需要数小时的人工操作缩短至几分钟，提升运维效率达90%以上。
核心功能模块：
配置文件管理模块：通过YAML配置文件灵活设置目标网站、登录凭证、检测参数等，无需修改代码即可适配不同拨测平台
浏览器自动化模块：基于Selenium实现自动登录、表单填写、结果抓取等完整操作流程
域名批量检测模块：支持从文本文件导入域名列表（可包含注释行），自动循环检测并记录状态
结果输出模块：检测结果自动导出为Excel格式，包含域名、状态、检测时间等字段，便于后续分析
业务流程：
用户准备domain.txt域名列表 → 配置config.yaml网站信息 → 运行工具自动打开Chrome浏览器 → 自动登录拨测网站 → 逐条读取域名并填入检测框 → 点击检测按钮等待结果 → 抓取并记录返回状态 → 全部检测完成后生成Excel报告 → 统计成功/失败数量并展示汇总
电竞接单平台
随着电子竞技行业的蓬勃发展，游戏陪玩和代练服务需求呈现爆发式增长。据统计，中国电竞用户规模已超过5亿，其中大量玩家存在提升段位、寻找游戏伙伴、获得专业指导等需求。然而，当前市场上的陪玩平台普遍存在信息不透明、服务质量参差不齐、交易安全缺乏保障等问题。基于以上行业痛点，本项目立项开发「点竞」电竞陪玩平台，旨在打造一个安全、高效、透明的游戏陪玩与代练交易服务平台。平台连接游戏玩家与专业服务者，通过完善的订单交易体系、实时聊天沟通机制、评价反馈系统和资金托管方案，为用户提供一站式的游戏增值服务体验。项目核心目标包括：构建管理员、普通用户、服务者三种角色的完整权限体系；实现从服务发布、浏览搜索、下单支付到评价反馈的全业务闭环；提供基于WebSocket的实时在线聊天功能；搭建功能齐全的管理后台，支持平台运营和数据监控。
平台共包含六大核心功能模块。用户认证与管理模块支持注册登录（JWT认证）、个人信息管理、游戏账号绑定、余额充值（余额/支付宝/微信）和提现申请。服务发布与搜索模块支持服务者发布陪玩和代练服务，设置游戏类型（LOL、王者荣耀、和平精英、原神等）、价格、标签等信息，用户可通过多维度筛选精准查找服务。订单交易模块实现完整的订单生命周期管理，涵盖创建、支付、状态流转（待支付→已支付→服务中→已完成→已评价）等环节。实时聊天模块基于WebSocket（STOMP协议+SockJS）实现一对一在线沟通。评价与排行榜模块支持评分评价和评分榜、销量榜、人气榜三个维度排名。管理后台模块包含数据仪表盘（ECharts图表）、用户管理、服务审核、订单监控、财务管理、提现审核、评价管理、公告管理、标签管理和系统设置共10个管理子模块。
核心业务流程为：用户注册登录后，通过首页推荐或搜索浏览服务列表，进入详情页查看信息后下单支付，服务者接单并通过实时聊天沟通需求，服务完成后用户确认并评价，形成服务质量良性循环。服务者端路径为：完善资料→发布服务→接单管理→完成服务→管理余额提现。管理端通过仪表盘监控运营数据，通过各模块维护平台秩序。
高频量化交易系统 C++ 架构升级与性能优化项目
客户为国内头部券商，原有核心量化交易系统基于 C++98 代码开发，运行多年后出现性能瓶颈、并发承载不足、偶发未知 BUG 等问题，无法适配新业务迭代需求。本人受邀系统的优化升级，核心要求为严格保障交易业务连续性、系统高可靠、低延迟、高并发。
智慧渔业管理系统
一、立项背景和目标 随着海洋养殖业的快速发展，传统养殖方式面临水质监测不及时、病害预警缺失、投喂管理粗放、溯源体系不完善等问题。本项目旨在开发一套基于 Spring Boot + Vue.js 的海洋牧场智慧养殖管理系统，实现养殖全流程的数字化、智能化管理。系统核心目标包括：实时监测水质环境参数并自动预警、精细化投喂管理、病害全流程跟踪、产品全链条溯源以及基于 AI 大模型的智能分析辅助决策，最终提升养殖效率、降低病害风险、保障水产品质量安全。
二、软件功能与核心模块 系统采用前后端分离架构，共包含 11 张数据库表、92 个 RESTful API 端点、20 个前端页面。核心功能模块包括：（1）环境监测模块——水质数据采集与趋势分析（ECharts 可视化）、气象数据管理；（2）生产管理模块——网箱管理、投喂记录管理（自动扣减库存）、病害记录全流程管理（发现→治疗→已解决）、员工管理、饲料库存管理；（3）智能预警模块——基于 AlertEngine 预警引擎，支持溶解氧/pH/水温/饲料库存四类指标的阈值检查、自动去重、三级预警级别判定（一般/严重/紧急），阈值可配置并支持历史数据重新检查；（4）溯源管理模块——覆盖从苗种采购、养殖投喂、病害防治到捕捞加工、销售的全链条溯源，支持二维码生成和消费者端查询；（5）AI 智慧助手——集成智谱 GLM-4-Flash 大模型，提供 9 种专项数据分析和 5 类智能建议，采用异步任务机制避免超时；（6）可视化大屏——实时展示关键指标，60 秒自动刷新；（7）系统管理——用户认证、角色权限控制、数据模拟生成、数据备份与导出。
三、业务流程与功能路径 用户登录后进入仪表盘首页，可查看核心指标。环境监测路径：录入水质数据→系统自动预警→管理人员处理。生产管理路径：投喂记录新增→自动扣减库存→触发库存预警；病害记录支持发现→处理→已解决全流程。溯源路径：管理员创建并审核溯源记录，消费者可通过溯源码查询产品全链条信息。AI 分析路径：点击快捷分析→异步提交任务→轮询获取结果。数据大屏路径：全屏展示实时数据，支持自动刷新和预警滚动提醒。
信息平台
本项目是基于 VOL.Pro 二次开发的企业内部数字化工作台，主要服务于销售、采购、仓储、财务、审批和移动办公场景。系统包含 Web 管理端、H5/移动端和 .NET 后端接口，围绕 U8、WMS、OA、企业微信等系统做业务集成。核心功能包括：客户物料对应关系维护、Excel 交期计算导出、U8 审批待办与字段权限控制、企业微信免密登录和消息提醒、WMS 无 DN 收货、仓库投保金额报表、应收对账月度固化和应收汇总等。典型流程是业务人员在 Web 端维护基础配置和业务数据，后端根据 SQL Server/U8 数据、Excel 文件和权限规则完成计算、固化或审批处理，移动端通过企业微信进入 H5 审批页面，实现待办查看、字段编辑、审核、驳回、弃审和转签。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服