企业级 AIGC 聚合与调度中台是一套面向陶瓷、箱包、工艺品等行业的一站式 AI 生产力平台,聚合 GPT-4o、Midjourney、Stable Diffusion 与 ComfyUI 等模型和绘图能力,支持流式对话、复杂工作流生图、视频与 3D 生成任务,并提供订阅制、按量计费和会员权益等商业化能力。平台累计服务付费 B 端企业客户 100 余家,年营收贡献约 600 万元。
项目后端采用 Python、Django、DRF、Channels、Celery、Redis、MySQL 与 Nginx 构建,针对大模型对话和长耗时生成任务设计 HTTP 与 WebSocket 混合协议架构。通过 WebSocket、Redis Pub/Sub 和 Celery 实现实时任务进度反馈,并自研基于状态机的 SSE 缓冲层,解决流式响应中数据分片及 Markdown 图片链接在 TCP 拆包、粘包场景下的解析问题,将首 Token 延迟从 1.2 秒优化至 380 毫秒。
在高可用与资源调度方面,平台实现多供应商故障转移和多级 API 调度机制,第三方模型服务出现波动时可自动切换备用线路,保障整体服务可用性达到 99.9%,月调用量超过 10 万次。针对 ComfyUI 图像生成节点,采用 Celery 优先级队列、心跳探活和任务前置显存回收机制,将 GPU 节点利用率从 30% 提升至 75%,OOM 崩溃率下降 90%,年节省算力成本约 20 万元。
同时,平台设计了基于 JWT 的多租户鉴权与 SaaS 会员体系,结合 Redis 滑动窗口实现团队级动态限流,有效保障企业共享资源池的隔离与安全。项目还完成微信支付 V3、支付宝回调验签、OSS 媒体资源管理及运营数据大屏建设,形成从 AI 内容生成、资源调度、支付计费到运营分析的完整业务闭环。
整体架构:基于 Django、DRF、Channels、Celery、Redis、MySQL、Nginx 构建后端服务,采用 HTTP 与 WebSocket 混合协议,支持流式对话、图片生成、视频生成和 3D 模型等长耗时任务。
模型聚合与工作流:统一接入 GPT-4o、Midjourney、Stable Diffusion、ComfyUI 等模型能力,封装任务提交、状态查询、结果回调和失败重试流程,支持复杂 AI 绘图工作流与商业化计费。
流式响应优化:通过 WebSocket、Redis Pub/Sub、Celery 实现任务实时进度推送;自研基于状态机的 SSE 缓冲层,处理大模型输出分片及 TCP 拆包、粘包导致的 Markdown 图片链接解析异常,将首 Token 延迟从 1.2 秒降低至 380 毫秒。
高可用调度:设计多供应商故障转移、多级 API 调度、健康检查和钉钉告警机制,在第三方 API 波动时自动切换备用线路,平台整体可用性达到 99.9%。
GPU 算力管理:使用 Celery 优先级队列、节点心跳探活与任务前显存自动回收调度 ComfyUI 节点,将 GPU 利用率从 30% 提升至 75%,OOM 崩溃率下降 90%。
多租户与商业化能力:实现基于 JWT 的鉴权、SaaS 会员权益、团队共享积分和 Redis 滑动窗口动态限流,保障多租户资源隔离;完成微信支付 V3、支付宝回调验签、OSS 媒体资源管理及运营数据大屏,形成生成、计费、存储和运营分析闭环。