企业用本地AI全栈搭建-Enterprise on prem AI stack
2025-10-01 11:34:37
行业：企业内部管理、人工智能
载体：网站、框架或代码包
技术：JavaScript、Python、Docker Compose、Linux
业务和功能介绍
1. 为了确保企业数据合规和防泄漏以及符合法律规范，需本地搭建企业用AI并且落地企业相关可使用功能
2. 功能包括前端统一入口，后端大语言推理基座并且运行大语言模型
3. 企业级用AI应用 包括知识库智能问答，翻译，数据智能分析，企业应用对接等
4. 安全和合规 - 敏感词过滤法律合规 并且 须考虑API安全等网络安全问题
2. 功能包括前端统一入口，后端大语言推理基座并且运行大语言模型
3. 企业级用AI应用 包括知识库智能问答，翻译，数据智能分析，企业应用对接等
4. 安全和合规 - 敏感词过滤法律合规 并且 须考虑API安全等网络安全问题
项目实现
利用开源AI项目，提供AI本地化技术，包括已实现但不限于
1. Ollama 部署LLM(gpt-oss, Gemma, deepseek, qwen)推理 和参数调优
2. 前端Open Webui 和 Open Webui mcpo本地化部署(含企业AD集成)和调优
3. RAG知识库:
(1) RAGFlow套件部署调优。已实现知识库 80%+ 精度本地知识问答
(2) Haystack + 向量数据库Qdrant自开发（实现知识库文档向量化切割和问答）以弥补RAGFlow自带功能不足的问题和需求。
4. MCP Server自建，gradio开发，部署相关AI Agent
5. 利用PandasAI建立ChatBI，实现Excel和相关数据库数据AI分析
6. 大模型提示词安全守护：为Open Webui和Ollama建立中间提示词过滤服务 prompt filter service 包含过滤或阻止敏感词的提示词输入和大模型输出 (含json输出或流输出两种功能) 并且实现统计token和优化大模型输出。
7. 利用FastAPI自建本地OpenAI compatible API server 转换ollama API已适配本地AI可扩展通用AI agent，并且对Ollama API无法设置key问题的安全性增强。
8. AI流程自动化n8n 的部署和低代码工作流实现
9. 大模型fine-tuning LoRA以适配企业内部词汇
10. 自建统一入口
此项目难点在于所有项目开源部分都非企业级可用，将它们整合后实现企业级安全标准，以及各组件对接并没有好的官方文档，最终在集合所有信息以及自己开发测试后实现所有功能
本人单独实现以上所有功能开发测试部署和运维。
1. Ollama 部署LLM(gpt-oss, Gemma, deepseek, qwen)推理 和参数调优
2. 前端Open Webui 和 Open Webui mcpo本地化部署(含企业AD集成)和调优
3. RAG知识库:
(1) RAGFlow套件部署调优。已实现知识库 80%+ 精度本地知识问答
(2) Haystack + 向量数据库Qdrant自开发（实现知识库文档向量化切割和问答）以弥补RAGFlow自带功能不足的问题和需求。
4. MCP Server自建，gradio开发，部署相关AI Agent
5. 利用PandasAI建立ChatBI，实现Excel和相关数据库数据AI分析
6. 大模型提示词安全守护：为Open Webui和Ollama建立中间提示词过滤服务 prompt filter service 包含过滤或阻止敏感词的提示词输入和大模型输出 (含json输出或流输出两种功能) 并且实现统计token和优化大模型输出。
7. 利用FastAPI自建本地OpenAI compatible API server 转换ollama API已适配本地AI可扩展通用AI agent，并且对Ollama API无法设置key问题的安全性增强。
8. AI流程自动化n8n 的部署和低代码工作流实现
9. 大模型fine-tuning LoRA以适配企业内部词汇
10. 自建统一入口
此项目难点在于所有项目开源部分都非企业级可用，将它们整合后实现企业级安全标准，以及各组件对接并没有好的官方文档，最终在集合所有信息以及自己开发测试后实现所有功能
本人单独实现以上所有功能开发测试部署和运维。
示例图片视频
相似推荐
管理服务类-积分兑奖系统
1.项目背景。银行业在开门红期间为了完成存款任务，开展存款送积分，积分兑奖的活动，活动开展期间，为更好管控活动质量，确保兑奖行为真实有效，开发了这款管理程序。
2.主要功能。登录，兑奖信息登记，修改，删除以及查询统计。
3.操作流程。首先登录系统，新增登记信息，通过向客户手机号码发送短信验证码登记方式，确保实名登记。
期货行情分析系统
本期货行情分析系统，支持中金所等多交易所接入，可快速订阅目标合约。系统实时推送最新价、买卖盘、成交量等核心数据，以表格 + K 线可视化形式直观呈现行情波动，帮助用户高效监控、分析市场动态，为交易决策提供数据支持。
SaaS化金融交易聚合支付平台-月流水1.2亿
构建SaaS化金融交易聚合平台，服务灵活用工场景，核心包含支付系统、账务系统、订单系统、风控系统。支持银行卡/支付宝/微信三大支付渠道，月交易流水峰值1.2亿元，日订单量15万+，服务10家渠道商、1000+企业客户。系统实现支付TPS从30提升至80，核心接口RT从850ms优化至600ms，系统可用性达99.95%，资金准确率零差错。
外汇自动化程序量化交易
外汇自动化程序量化交易，用MQL5语言实现。
核心技术
MQL5语言开发，使用布林带指标检测波动率收缩，通过挂单交易实现突破策略。采用移动止损动态保护利润，使用订单选择器管理持仓和挂单。
技术难点
多订单协调：同时管理Buy Stop和Sell Stop两个挂单，一方成交后需立即删除另一方
状态同步：持仓管理、挂单删除、移动止损之间的状态机切换复杂
止损移动精度：需判断盈利是否达到启动点，且每次移动必须超过最小步长，避免频繁修改订单
股票智能分析看板
1. 多源数据路由引擎（系统的“根基”）
该引擎采用**分级降级（Fallback）**机制，确保了金融数据的可用性和准确性。
Tier 1 & 2 (高频)：利用腾讯和新浪的 Web API 获取毫秒级实时价格。
Tier 3 & 4 (深度)：通过 AkShare 和 BaoStock 获取复杂的宏观、财务、K 线历史数据。
标准化处理：解决了 A/港/美股代码格式不一的痛点，将“自然语言输入”转化为“机器可读数据”。
2. AI 全景深度研判（系统的“大脑”）
这是平台最亮点的部分，它将传统的量化数据“喂”给 LLM 进行逻辑转换。
超级 Context 注入：AI 不再是盲目聊天，而是基于实时注入的财务报表、新闻和技术面指标进行“有理有据”的推理。
结构化输出控制：
深度：包含商业模式与财务体检。
速度：提供“一句话散户结论”，适配快节奏决策。
稳定性：后端具备 JSON 提取容错，防止 LLM 输出乱码导致前端崩溃。
3. 智能晚报与推送（系统的“触角”）
解决了用户“主动盯盘”的焦虑，转为“被动接收精华”。
交叉推演：不只是报股价，而是分析“大盘环境”对“个人持仓”的潜在影响，生成明天的操作剧本。
Server 酱集成：利用微信作为通知载体，符合国内用户的使用习惯。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服