1. 为了确保企业数据合规和防泄漏以及符合法律规范,需本地搭建企业用AI并且落地企业相关可使用功能
2. 功能包括前端统一入口,后端大语言推理基座并且运行大语言模型
3. 企业级用AI应用 包括知识库智能问答,翻译,数据智能分析,企业应用对接等
4. 安全和合规 - 敏感词过滤法律合规 并且 须考虑API安全等网络安全问题
利用开源AI项目,提供AI本地化技术,包括已实现但不限于
1. Ollama 部署LLM(gpt-oss, Gemma, deepseek, qwen)推理 和参数调优
2. 前端Open Webui 和 Open Webui mcpo本地化部署(含企业AD集成)和调优
3. RAG知识库:
(1) RAGFlow套件部署调优。已实现知识库 80%+ 精度本地知识问答
(2) Haystack + 向量数据库Qdrant自开发(实现知识库文档向量化切割和问答)以弥补RAGFlow自带功能不足的问题和需求。
4. MCP Server自建,gradio开发,部署相关AI Agent
5. 利用PandasAI建立ChatBI,实现Excel和相关数据库数据AI分析
6. 大模型提示词安全守护:为Open Webui和Ollama建立中间提示词过滤服务 prompt filter service 包含过滤或阻止敏感词的提示词输入和大模型输出 (含json输出或流输出两种功能) 并且实现统计token和优化大模型输出。
7. 利用FastAPI自建本地OpenAI compatible API server 转换ollama API已适配本地AI可扩展通用AI agent,并且对Ollama API无法设置key问题的安全性增强。
8. AI流程自动化n8n 的部署和低代码工作流实现
9. 大模型fine-tuning LoRA以适配企业内部词汇
10. 自建统一入口
此项目难点在于所有项目开源部分都非企业级可用,将它们整合后实现企业级安全标准,以及各组件对接并没有好的官方文档,最终在集合所有信息以及自己开发测试后实现所有功能
本人单独实现以上所有功能开发测试部署和运维。