n8n + AI 内容抓取与自动分发-AI内容抓取与自动分发工作流
2026-05-14 02:42:41
行业：内容平台、广告营销
载体：网站、爬虫/脚本
技术：PostgreSQL、Redis、TensorFlow Lite
业务和功能介绍
本项目基于n8n工作流引擎，构建了一套从热点监控到内容再加工再到多渠道分发的全自动流水线。立项背景是新媒体运营团队每天需手动刷知乎、微博、36氪等平台找热点，手工改写后分发到微信群/飞书/公众号，效率极低。
核心功能：
1. 定时热点抓取：每30分钟自动抓取知乎热榜、微博热搜、36氪快讯等多平台内容。
2. AI内容再加工：GPT对原始内容进行摘要提取、去重过滤、风格改写（支持多种文风模板）。
3. AI配图生成：ComfyUI Stable Diffusion 根据文章主题自动生成配图。
4. 质量过滤：AI评分机制，低于0.7分的内容自动丢弃，避免低质信息轰炸。
5. 多渠道推送：对接企业微信群机器人、飞书、钉钉等多渠道一键分发。
6. 异常告警：单节点失败自动重试3次，连续失败推送告警至运维群。
核心功能：
1. 定时热点抓取：每30分钟自动抓取知乎热榜、微博热搜、36氪快讯等多平台内容。
2. AI内容再加工：GPT对原始内容进行摘要提取、去重过滤、风格改写（支持多种文风模板）。
3. AI配图生成：ComfyUI Stable Diffusion 根据文章主题自动生成配图。
4. 质量过滤：AI评分机制，低于0.7分的内容自动丢弃，避免低质信息轰炸。
5. 多渠道推送：对接企业微信群机器人、飞书、钉钉等多渠道一键分发。
6. 异常告警：单节点失败自动重试3次，连续失败推送告警至运维群。
项目实现
整体以n8n为工作流编排核心，各AI能力通过HTTP API节点接入。
- 定时触发器（Cron）驱动整个流程，每30分钟执行一轮。
- 内容抓取层：自建bb-browser工具对接103个内容平台，提取正文后经HTML清洗模块去除广告和无关内容。
- AI处理层：GPT API负责摘要、改写、评分三步骤，ComfyUI API负责配图生成，两者异步并行提升吞吐。
- 存储层：PostgreSQL 存储抓取历史和发布记录，Redis 缓存去重指纹。
- 我负责整个工作流的设计、n8n节点编排、AI Prompt调优和Python自定义节点的开发。最大难点是多平台内容格式差异大，通过设计统一的内容中间格式（Title + Summary + Tags + Score）解决。系统上线后每日自动处理48轮、推送优质内容40+条、成功率99.2%。
- 定时触发器（Cron）驱动整个流程，每30分钟执行一轮。
- 内容抓取层：自建bb-browser工具对接103个内容平台，提取正文后经HTML清洗模块去除广告和无关内容。
- AI处理层：GPT API负责摘要、改写、评分三步骤，ComfyUI API负责配图生成，两者异步并行提升吞吐。
- 存储层：PostgreSQL 存储抓取历史和发布记录，Redis 缓存去重指纹。
- 我负责整个工作流的设计、n8n节点编排、AI Prompt调优和Python自定义节点的开发。最大难点是多平台内容格式差异大，通过设计统一的内容中间格式（Title + Summary + Tags + Score）解决。系统上线后每日自动处理48轮、推送优质内容40+条、成功率99.2%。
示例图片视频
相似推荐
中医肠胃病智能体-智痞通
本项目构建了一套融合提示词工程、指令微调、大语言模型（Large Language
Model, LLM）与检索增强生成（Retrieval-Augmented Generation, RAG）技术
的中医痞满智能辅助诊疗智能体，实现了多种前沿技术在中医领域的协同应用。
该智能体基于指令调优采用多层次 LLM 推理框架，整合本地化知识库检索机
制，实现了多模态数据（包括文本、语音及图像）到中医辨证论治决策的全流程
智能化处理。
《码上学》App-coze
图3
（二）学习板块：系统课程+趣味实践
这是我们精心打造的Python学习核心区域，采用"双轨并行"的学习模式：
课程学习模块（如图4）
● 资源整合：精选B站等优质平台的Python基础、数据挖掘等系列课程
● 分类清晰：按模块、方向进行分类，支持按需深入学习
● 适配人群：从零基础入门到进阶提升，覆盖不同学习阶段
图4
趣味学习模块
这是我们特别设计的创新功能，将枯燥的编程练习变成有趣的挑战：
1. 拆解代码挑战：提供一段完整代码，要求分析其功能、逻辑和算法，培养代码阅读能力
2. 魔改挑战：给定代码和新的需求，需要修改代码实现特定功能，加深对Python语法和逻辑的理解
3. 代码溯源：从运行结果反推代码实现，锻炼逆向思维和问题分析能力
这种游戏化的学习方式让我们在测试中发现，用户的学习积极性显著提升，平均学习时长增加了40%以上。
如图5
图5
AI编程助教
这是一个24小时在线的智能助教，它的核心能力包括：
● 多模态输入：支持文字描述、代码截图、错误信息截图等多种提问方式
● 智能诊断：快速识别语法错误、逻辑问题、运行时错误，并分析产生原因
● 分级讲解：根据用户水平自动调整讲解深度，初学者讲得更详细，有基础的同学提供进阶知识
● 标准化流程：每次回答按照"问题分析→解决步骤→代码示例→知识拓展"的顺序，帮助系统性理解
（三）发现模块：构建学习社区生态
学习不应该是孤独的，我们打造了一个活跃的编程学习社区：
交流圈
● 热门话题：以弹幕形式滚动展示当前热门讨论话题，点击即可进入
● 文章列表：支持"最热/最新/精华"排序，可按类型筛选
● 互动功能：评论、点赞、分享，形成良好的学习氛围
社区互动入口
● 代码分享墙：计划中的功能，用于展示优秀代码作品，支持双向学习
● 学习小组：规划中的功能，支持组队学习、进度同步、相互监督
交流互助板块
● 问题答疑：遇到编程问题可以发帖求助，社区成员或AI助手提供解答
● 经验分享：学习心得、踩坑经验、项目总结都可以在这里分享
● 知识沉淀：优质问答会被标记为精华，形成知识库
博客功能（如图6）
● 学习日志：记录每天的学习内容、心得体会、成长轨迹
● 技术分享：发布学习指导、教程文章
● 数据可视：查看自己的文章点赞量、浏览量、粉丝数
三、AI智能体应用（核心创新，如图7）
这是我们项目的最大亮点！我们基于Coze AI平台，设计并实现了五个具有实际应用价值的AI智能：
图7
场景一：AI智能招聘助理（校招小助手）
设计初衷：临近毕业时，我们发现很多同学因为缺少面试经验而紧张失常。如果能有一个AI面试官陪你练习，是不是能更从容地应对真实面试？
华为杯研究生数学建模大赛-抗胰腺癌候选药物的优化建模
据 2020 年国际癌症研究机构（IARC）调查的最新数据显示，乳腺癌在全球女性癌症中的发病率为 24.2%，位居女性癌症的首位。在药物研发领域，利用预测模型对能够拮抗 ERα 活性的化合物进行筛选的方法受到广泛的关注，本文通过建立回归与分类预测模型，对化合物的生物活性和 ADMET 性质做多目标优化求解
数据库管理平台-绿洲数据库管理平台
1.项目背景
公司内部管理的数据库类型种类繁多，数量庞大，权限管控难等问题，所以需要一款数据库管理平台，来统筹接觉这些问题
2.功能介绍
1）提供多种数据库类型的查询窗口，替换本地数据库工具
2）针对不同用户进行权限管理，以及数据库字段权限管理，支持字段加解密显示
3）支持多库多表等中间件配置
4）支持数据库日常维护工具，如数据迁移，数据归档等
AI搜索和创作平台-felo.ai
Felo.ai 是一款面向研究与内容生产场景的多语言 AI 搜索与创作平台，目标是在同一产品内打通「检索—理解—生成—交付」，降低用户在不同工具之间反复复制、整理信息的成本。平台以 AI 搜索为入口，支持自然语言提问、多源信息检索与结果结构化呈现，并可将检索结果进一步转化为演示文稿、研究报告、思维导图、网页内容等多种可交付成果。
核心功能模块包括：AI 搜索（Felo Search）、一站式创作（Felo Create）、AI Office 工具集（如 AI Slides、AI Research、AI Page、AI Image 等），以及 Felo Agent 智能体能力，用于自动化调研、摘要、翻译等复杂任务。典型业务流程为：用户输入问题或主题 → 系统检索并归纳关键信息 → 用户选择创作类型（如幻灯片、报告、页面）→ 平台基于上下文生成初稿 → 用户编辑、导出或分享。产品为 Web 端访问，强调多语言支持、可视化信息展示与从搜索到创作的连续工作流。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服