立项背景和目标
本项目旨在构建一个集智能对话、自动化信息处理、终端远程控制于一体的业务中台。解决企业日常运维、信息采集、多系统协同中的重复性劳动问题,通过AI技术实现部分环节的无人值守。
2、核心功能模块
AI对话与推理模块:基于大语言模型的智能问答与决策支持,可辅助业务分析。
浏览器自动化模块:模拟用户操作网页,自动完成数据抓取、表单提交等任务。
情报API服务:对外提供结构化数据接口,支持第三方系统集成。
终端远程管理模块:通过WebSocket实现远程服务器命令执行与日志查看。
主控调度中心:统一管理各模块的任务队列、健康检查和异常告警。
3、业务流程
用户通过前端界面(或API调用)提交任务请求 → 主控中心解析任务类型 → 分发给对应的AI/自动化模块执行 → 结果存入Redis缓存并同步MySQL持久化 → 最终返回给用户。整个过程支持异步和同步两种模式。
整体架构
采用微服务思想,每个核心功能独立部署为Python进程(如master、browser_ai、intel_api等),通过内部HTTP和Redis消息队列进行通信。前端由Nginx做反向代理,后端使用Flask构建RESTful API,MySQL存储业务数据,Redis缓存高频查询结果。
2、我的职责与成果
独立完成整个系统的架构设计、数据库表设计(15+张表)、所有模块的代码编写(总代码量1.2万余行)及服务器部署(Ubuntu + Nginx + MySQL + Redis)。系统已稳定运行数月,日均处理任务请求数百次,响应时间平均低于800ms。
3、攻克的技术难点
高并发下数据库连接池管理:通过调整MySQL连接池参数和引入Redis缓存,将接口响应时间从2s降低至500ms。
多进程间状态同步:使用Redis的发布/订阅模式解决模块间状态不一致问题。
浏览器自动化稳定性:通过重试机制和智能等待策略,使爬取成功率从80%提升至95%。