社区资讯相关-DailyNews
本项目立项解决信息源碎片化、内容多语言噪声多、抓取到推送缺少自动化闭环三大痛点,目标构建一套新闻抓取与聚合工具,用配置驱动引擎兼容 RSS、REST、GraphQL、GitHub Markdown 等 8 类以上异构数据源,抓取后自动调用 OpenAI/Claude/Gemini 完成翻译与智能打标签,通过飞书钉钉 Webhook 实现实时或定时推送;系统前后端分离(FastAPI + SQLAlchemy + SQLite + APScheduler + Playwright 后端,React + TypeScript + Ant Design 前端),核心模块包括抓取规则管理(配置按 list/detail 分层)、多策略提取引擎(策略注册表内置 7 种策略支持自动检测)、任务调度(Cron 定时 + 后台线程手动触发)、AI 翻译打标(单次 LLM 调用同时翻译和打标签、长文本分块并发)、内容推送(Jinja2 模板渲染)、公开预览与 HMAC-SHA256 鉴权中间件;业务主流程为配置规则→触发抓取→按 fetch_mode 和 content_type 分流解析→列表存 pending→二级抓详情用 Trafilatura 提取→生成 Markdown→抓取顺序执行翻译并发执行→入库→按渠道开关推送 Webhook→读者在公开预览页筛选阅读,后台路由受 Token 中间件保护,预览页公开访问。
内容平台