企业用本地AI全栈搭建-Enterprise on prem AI stack
2025-10-01 11:34:37
行业：企业内部管理、人工智能
载体：网站、框架或代码包
技术：JavaScript、Python、Docker Compose、Linux
业务和功能介绍
1. 为了确保企业数据合规和防泄漏以及符合法律规范，需本地搭建企业用AI并且落地企业相关可使用功能
2. 功能包括前端统一入口，后端大语言推理基座并且运行大语言模型
3. 企业级用AI应用 包括知识库智能问答，翻译，数据智能分析，企业应用对接等
4. 安全和合规 - 敏感词过滤法律合规 并且 须考虑API安全等网络安全问题
2. 功能包括前端统一入口，后端大语言推理基座并且运行大语言模型
3. 企业级用AI应用 包括知识库智能问答，翻译，数据智能分析，企业应用对接等
4. 安全和合规 - 敏感词过滤法律合规 并且 须考虑API安全等网络安全问题
项目实现
利用开源AI项目，提供AI本地化技术，包括已实现但不限于
1. Ollama 部署LLM(gpt-oss, Gemma, deepseek, qwen)推理 和参数调优
2. 前端Open Webui 和 Open Webui mcpo本地化部署(含企业AD集成)和调优
3. RAG知识库:
(1) RAGFlow套件部署调优。已实现知识库 80%+ 精度本地知识问答
(2) Haystack + 向量数据库Qdrant自开发（实现知识库文档向量化切割和问答）以弥补RAGFlow自带功能不足的问题和需求。
4. MCP Server自建，gradio开发，部署相关AI Agent
5. 利用PandasAI建立ChatBI，实现Excel和相关数据库数据AI分析
6. 大模型提示词安全守护：为Open Webui和Ollama建立中间提示词过滤服务 prompt filter service 包含过滤或阻止敏感词的提示词输入和大模型输出 (含json输出或流输出两种功能) 并且实现统计token和优化大模型输出。
7. 利用FastAPI自建本地OpenAI compatible API server 转换ollama API已适配本地AI可扩展通用AI agent，并且对Ollama API无法设置key问题的安全性增强。
8. AI流程自动化n8n 的部署和低代码工作流实现
9. 大模型fine-tuning LoRA以适配企业内部词汇
10. 自建统一入口
此项目难点在于所有项目开源部分都非企业级可用，将它们整合后实现企业级安全标准，以及各组件对接并没有好的官方文档，最终在集合所有信息以及自己开发测试后实现所有功能
本人单独实现以上所有功能开发测试部署和运维。
1. Ollama 部署LLM(gpt-oss, Gemma, deepseek, qwen)推理 和参数调优
2. 前端Open Webui 和 Open Webui mcpo本地化部署(含企业AD集成)和调优
3. RAG知识库:
(1) RAGFlow套件部署调优。已实现知识库 80%+ 精度本地知识问答
(2) Haystack + 向量数据库Qdrant自开发（实现知识库文档向量化切割和问答）以弥补RAGFlow自带功能不足的问题和需求。
4. MCP Server自建，gradio开发，部署相关AI Agent
5. 利用PandasAI建立ChatBI，实现Excel和相关数据库数据AI分析
6. 大模型提示词安全守护：为Open Webui和Ollama建立中间提示词过滤服务 prompt filter service 包含过滤或阻止敏感词的提示词输入和大模型输出 (含json输出或流输出两种功能) 并且实现统计token和优化大模型输出。
7. 利用FastAPI自建本地OpenAI compatible API server 转换ollama API已适配本地AI可扩展通用AI agent，并且对Ollama API无法设置key问题的安全性增强。
8. AI流程自动化n8n 的部署和低代码工作流实现
9. 大模型fine-tuning LoRA以适配企业内部词汇
10. 自建统一入口
此项目难点在于所有项目开源部分都非企业级可用，将它们整合后实现企业级安全标准，以及各组件对接并没有好的官方文档，最终在集合所有信息以及自己开发测试后实现所有功能
本人单独实现以上所有功能开发测试部署和运维。
示例图片视频
相似推荐
爱众资产管理平台-爱众资产
爱众资产管理服务平台，提供专业个人不良贷款收购处置业务服务，实现个贷不良资产竞购、管理、分析服务，实现清收处置跟踪、减免结清等清收服务，实现法诉管理、委外管理等服务。主分不同角色进行管理，特有的流程化工作
企业数据自动化处理系统-DataFlow
针对企业日常数据处理工作繁琐、易出错的痛点，开发了一套自动化数据处理系统。核心功能包括：Excel批量处理、数据清洗去重、多源数据合并、自动生成报表、定时任务调度。支持从多个数据源（Excel、CSV、数据库、API）自动采集数据，按预设规则清洗转换，生成标准化报表并自动发送邮件。业务流程：配置数据源 → 设置处理规则 → 定时触发任务 → 自动处理数据 → 生成报表 → 邮件通知。系统已应用于财务对账、销售数据汇总等场景，帮助企业节省80%人工处理时间。
智能电销平台
立项背景
公司原有电销业务主要依赖 Excel 名单、人工拨号和线下录音复盘，存在不少问题。
名单管理比较混乱。线索来自官网、广告投放、合作方等多个渠道，格式不统一，经常出现重复拨打、漏跟进的情况。
外呼效率偏低。坐席需要手动拨号，有效通话占比往往不到三成，拨号前准备时间平均超过两分钟。
过程难以管控。各坐席话术不统一，质检主要靠抽检，覆盖率通常不到百分之五，合规风险较高。
转化难以归因。从线索到接通、再到意向和成交，整条链路数据断裂，很难评估投放 ROI。
人员流失也偏高。新人培训周期通常要两到三周，缺少实时辅助和统一知识库，上手慢、压力大。
同时，个人信息保护法和营销外呼相关监管越来越严，业务系统必须做到可审计、可溯源、可管控
项目目标
业务上，希望通过预测式外呼和智能排队，把有效通话率提升百分之三十以上；通过统一话术和知识库，把新人培训周期压缩到五个工作日；通过全量录音入库和智能质检，把质检覆盖率从百分之五提升到百分之百；通过精细化跟进和意向评分，把线索转化率提升百分之十五左右。
技术上，要建设统一的线索、外呼、跟进、成交闭环 CRM；对接运营商或云通信平台，支撑稳定高并发外呼，峰值约两千路并发；建立可配置的话术引擎和质检规则引擎；支持多租户、多业务线和权限隔离。
整体功能
平台主要包含线索中心、外呼中心、客户管理、质检合规、报表运营，以及坐席工作台、主管看板、话术配置、任务调度和系统管理等支撑能力。
银行反洗钱项目系统
反洗钱工作平台的设计，符合我国反洗钱监管要求，遵从未来发展趋势。主要模块包括大额可疑数据报送、可疑交易自主监测、客户身份识别与调查、名单管理与监控、客户风险评级、非现场监管报表、反恐怖融资、自贸区监测管理、5C 评估等核心模块，为甄别当前反洗钱、反经济犯罪、反恐怖融资等重点关注领域，提供了有效的支持。
基于SpringBoot框架的美股舆情分析-美股监控与舆情分析系统
立项背景与目标：企业级教学项目，业务领域是美股市场监控结合AI驱动的舆情分析。覆盖Spring Boot、MyBatis-Plus、Vue 3、AI Agent（MCP协议）、LLM集成等全栈技术。
核心功能模块（4个模块）：
模块A — stock-mcp（MCP Server）：为AI Agent提供工具的MCP服务器，含DateTool（获取时间）、EmailTool（发送邮件），使用Spring AI SSE端点
模块B — stock-web（股票监控）：
• RSS采集：每15秒从 stocktitan.net 拉取美股新闻RSS
• 去重、翻译（百度API）、标签提取（Jsoup，34种信号标签如AI/收购/FDA/财报，映射中文+emoji）
• 异常统计（24小时/3天/7天各股票异常频率）
• 查询API（关键词/标签/时间范围筛选+分页）
• Spark分析（Top异常股票和Top标签聚合）
模块C — stock-yuqing（舆情分析）：
• 异步分析流水线：提交查询→异步任务→轮询完成
• AI任务规划（DeepSeek）：提取事件类型/地点/时间，生成3-5个搜索关键词
• 互联网搜索（Tavily）：多查询搜索，URL去重，相关性排序
• AI情感分析（DeepSeek）：8维度分析（事件概览、时间线、热点话题、风险等级、情感倾向、公众关切、关键发现、建议）
• 策略生成（DeepSeek）：5维度危机应对策略
• 报告生成：程序化生成Markdown/JSON格式（不用LLM以节省Token）
• 邮件投递：SMTP发送到用户指定邮箱
模块D — my-vue-dev（Vue 3前端）：登录/注册、股票监控仪表盘（含Spark分析图表）、图表对比视图、响应式布局
业务流程：
• 股票监控：定时任务(15秒) → RSS拉取 → 去重 → 翻译 → 标签提取 → 存储 → 聚合统计 → 钉钉告警 → 前端REST查询展示
• 舆情分析：用户提交查询 → 创建任务(PENDING) → 后台异步8步流水线 → 状态更新(COMPLETED/FAILED) → 前端轮询 → 查看报告/邮件发送
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服