n8n + AI 内容抓取与自动分发-AI内容抓取与自动分发工作流
2026-05-14 02:42:41
行业：内容平台、广告营销
载体：网站、爬虫/脚本
技术：PostgreSQL、Redis、TensorFlow Lite
业务和功能介绍
本项目基于n8n工作流引擎，构建了一套从热点监控到内容再加工再到多渠道分发的全自动流水线。立项背景是新媒体运营团队每天需手动刷知乎、微博、36氪等平台找热点，手工改写后分发到微信群/飞书/公众号，效率极低。
核心功能：
1. 定时热点抓取：每30分钟自动抓取知乎热榜、微博热搜、36氪快讯等多平台内容。
2. AI内容再加工：GPT对原始内容进行摘要提取、去重过滤、风格改写（支持多种文风模板）。
3. AI配图生成：ComfyUI Stable Diffusion 根据文章主题自动生成配图。
4. 质量过滤：AI评分机制，低于0.7分的内容自动丢弃，避免低质信息轰炸。
5. 多渠道推送：对接企业微信群机器人、飞书、钉钉等多渠道一键分发。
6. 异常告警：单节点失败自动重试3次，连续失败推送告警至运维群。
核心功能：
1. 定时热点抓取：每30分钟自动抓取知乎热榜、微博热搜、36氪快讯等多平台内容。
2. AI内容再加工：GPT对原始内容进行摘要提取、去重过滤、风格改写（支持多种文风模板）。
3. AI配图生成：ComfyUI Stable Diffusion 根据文章主题自动生成配图。
4. 质量过滤：AI评分机制，低于0.7分的内容自动丢弃，避免低质信息轰炸。
5. 多渠道推送：对接企业微信群机器人、飞书、钉钉等多渠道一键分发。
6. 异常告警：单节点失败自动重试3次，连续失败推送告警至运维群。
项目实现
整体以n8n为工作流编排核心，各AI能力通过HTTP API节点接入。
- 定时触发器（Cron）驱动整个流程，每30分钟执行一轮。
- 内容抓取层：自建bb-browser工具对接103个内容平台，提取正文后经HTML清洗模块去除广告和无关内容。
- AI处理层：GPT API负责摘要、改写、评分三步骤，ComfyUI API负责配图生成，两者异步并行提升吞吐。
- 存储层：PostgreSQL 存储抓取历史和发布记录，Redis 缓存去重指纹。
- 我负责整个工作流的设计、n8n节点编排、AI Prompt调优和Python自定义节点的开发。最大难点是多平台内容格式差异大，通过设计统一的内容中间格式（Title + Summary + Tags + Score）解决。系统上线后每日自动处理48轮、推送优质内容40+条、成功率99.2%。
- 定时触发器（Cron）驱动整个流程，每30分钟执行一轮。
- 内容抓取层：自建bb-browser工具对接103个内容平台，提取正文后经HTML清洗模块去除广告和无关内容。
- AI处理层：GPT API负责摘要、改写、评分三步骤，ComfyUI API负责配图生成，两者异步并行提升吞吐。
- 存储层：PostgreSQL 存储抓取历史和发布记录，Redis 缓存去重指纹。
- 我负责整个工作流的设计、n8n节点编排、AI Prompt调优和Python自定义节点的开发。最大难点是多平台内容格式差异大，通过设计统一的内容中间格式（Title + Summary + Tags + Score）解决。系统上线后每日自动处理48轮、推送优质内容40+条、成功率99.2%。
示例图片视频
相似推荐
基于GD32H759I的轻量级卷积循环网络边缘语音降噪系统-EdgeDenoise边缘语音降噪终端
面向会议记录、工业对讲、人机交互及嵌入式智能终端在风扇、空调、键盘敲击和室内混响等噪声环境下的语音采集需求，设计并实现一套基于GD32H759IMT6微控制器的边缘语音降噪系统。系统通过ES7210音频采集模块、SAI和DMA连续获取48 kHz多通道音频，在本地完成通道选择、音量统计、短时傅里叶变换、频带特征提取、神经网络推理、频谱掩蔽和语音重建，无需依赖云端服务器。
系统支持RAW原始音频、RNNoise对照降噪和自研CRN降噪三种工作模式，可通过触摸屏完成模式切换、输入通道选择、增益调整、开始或停止录音以及屏幕截图。LCD实时显示原始与降噪波形、音量、模型状态、录音时间、缓存状态和输出文件名；TF卡可保存原始WAV录音、CRN降噪音频及LCD截图，形成“音频采集—边缘推理—效果显示—文件保存”的完整闭环。
图片数据智能提取
本程序用于信息录入场景，可将截图内容整理为规范表格。先借助 OCR 识别提取截图内图文原始信息，再调用大模型 API，按预设规则完成数据筛选与结构化解析，属于专用数据格式提取脚本。支持自定义提取规则灵活适配不同业务需求，可按需调整输出模板，高效完成图片信息标准化导出，大幅减少人工录入整理工作量。
excel智能体
立项背景与目标 ：日常办公中，表格合并、文档处理、数据看板生成等重复性工作耗时且门槛高。雪球旨在利用大语言模型的自然语言理解能力，让用户通过一句话即可完成复杂办公任务，实现"对话即操作"的智能办公体验。
软件功能与核心模块 ：平台围绕四大模块构建——表格处理引擎（JOIN联查、批量填充、分组聚合、拆分合并）、文档处理引擎（Word改写/模板填充、PDF提取/拆分/合并、PPT生成）、BI看板生成器（11种ECharts图表，支持HTML/PNG/PDF/PPT导出）和PPT自适应渲染引擎（四级降级策略）。所有工具通过DeepSeek Agent统一调度。
业务流程与功能路径 ：用户自然语言输入 → Agent解析意图并编排步骤 → 自动调用工具链执行 → SSE流式返回执行进度与结果 → 任务快照持久化存档。全程支持审计日志脱敏和中断恢复，确保数据安全与操作可追溯。
基于多智能体与知识图谱的复杂知识分析平台
1. 立项背景和目标
面向复杂知识问答、多步任务拆解和证据驱动分析场景，搭建统一的 AI Agent 平台。旨在解决传统问答系统在复杂任务中可分解性不足、证据链不可追溯、文档与图谱数据割裂、模型选型缺乏统一评测等痛点，降低知识密集型分析任务的人工操作成本。
2. 核心功能模块
多智能体协作： 采用 planner -> dispatcher -> summary 主链路，支持任务拆解、依赖编排和拓扑执行。
知识检索与定位： 集成文档多格式解析、片段级检索、页级定位及 Neo4j 知识图谱 Cypher 检索。
评测与选型底座： 支持对不同模型、提示词策略和子代理组合进行横向对比与流程稳定性观察。
前端工作台： 支持多会话聊天、模型参数配置、执行轨迹面板、知识图谱可视化及结果下载。
3. 业务流程与功能路径
用户上传多格式文档或输入复杂分析任务 -> 系统提取分析并构建图谱 -> 多智能体协作编排并调度任务（子代理执行文档精读和图谱检索） -> 聚合生成可追溯、可信的结构化报告或演示文稿 -> 通过 SSE 流式反馈、渲染任务轨迹并展示给前端。
豪视界-AI 图像处理平台
AI 图像处理平台（"流行智能"后更名"豪视界"） —— 一个面向电商卖家的 SaaS 化 AI图像处理工具站。核心业务逻辑:卖家上传商品图,平台调用多个 AI引擎完成换背景、生成模特图、扩图/高清/去水印等处理,按张扣积分,处理结果存云端图库。
支撑业务的系统能力
- 账户体系:邮箱/手机注册登录、JWT 鉴权、图形验证码、访客可浏览(登录才可下单)
- 积分计费系统:注册赠送 100 积分、按任务类型差异化定价(可后台配置)、消费流水记录、积分套餐
- 异步任务系统:任务状态机(等待→处理中→完成/失败)、批量提交、全局任务列表、结果轮询
- 图库:处理结果云端存储(阿里云 OSS)、缩略图、任务详情回看
- 管理后台:用户管理(禁用/启用/改积分)、任务监控与重试、系统配置、积分规则/套餐配置、操作日志、仪表盘统计
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服