企业用本地AI全栈搭建-Enterprise on prem AI stack
2025-10-01 11:34:37
行业：企业内部管理、人工智能
载体：网站、框架或代码包
技术：JavaScript、Python、Docker Compose、Linux
业务和功能介绍
1. 为了确保企业数据合规和防泄漏以及符合法律规范，需本地搭建企业用AI并且落地企业相关可使用功能
2. 功能包括前端统一入口，后端大语言推理基座并且运行大语言模型
3. 企业级用AI应用 包括知识库智能问答，翻译，数据智能分析，企业应用对接等
4. 安全和合规 - 敏感词过滤法律合规 并且 须考虑API安全等网络安全问题
2. 功能包括前端统一入口，后端大语言推理基座并且运行大语言模型
3. 企业级用AI应用 包括知识库智能问答，翻译，数据智能分析，企业应用对接等
4. 安全和合规 - 敏感词过滤法律合规 并且 须考虑API安全等网络安全问题
项目实现
利用开源AI项目，提供AI本地化技术，包括已实现但不限于
1. Ollama 部署LLM(gpt-oss, Gemma, deepseek, qwen)推理 和参数调优
2. 前端Open Webui 和 Open Webui mcpo本地化部署(含企业AD集成)和调优
3. RAG知识库:
(1) RAGFlow套件部署调优。已实现知识库 80%+ 精度本地知识问答
(2) Haystack + 向量数据库Qdrant自开发（实现知识库文档向量化切割和问答）以弥补RAGFlow自带功能不足的问题和需求。
4. MCP Server自建，gradio开发，部署相关AI Agent
5. 利用PandasAI建立ChatBI，实现Excel和相关数据库数据AI分析
6. 大模型提示词安全守护：为Open Webui和Ollama建立中间提示词过滤服务 prompt filter service 包含过滤或阻止敏感词的提示词输入和大模型输出 (含json输出或流输出两种功能) 并且实现统计token和优化大模型输出。
7. 利用FastAPI自建本地OpenAI compatible API server 转换ollama API已适配本地AI可扩展通用AI agent，并且对Ollama API无法设置key问题的安全性增强。
8. AI流程自动化n8n 的部署和低代码工作流实现
9. 大模型fine-tuning LoRA以适配企业内部词汇
10. 自建统一入口
此项目难点在于所有项目开源部分都非企业级可用，将它们整合后实现企业级安全标准，以及各组件对接并没有好的官方文档，最终在集合所有信息以及自己开发测试后实现所有功能
本人单独实现以上所有功能开发测试部署和运维。
1. Ollama 部署LLM(gpt-oss, Gemma, deepseek, qwen)推理 和参数调优
2. 前端Open Webui 和 Open Webui mcpo本地化部署(含企业AD集成)和调优
3. RAG知识库:
(1) RAGFlow套件部署调优。已实现知识库 80%+ 精度本地知识问答
(2) Haystack + 向量数据库Qdrant自开发（实现知识库文档向量化切割和问答）以弥补RAGFlow自带功能不足的问题和需求。
4. MCP Server自建，gradio开发，部署相关AI Agent
5. 利用PandasAI建立ChatBI，实现Excel和相关数据库数据AI分析
6. 大模型提示词安全守护：为Open Webui和Ollama建立中间提示词过滤服务 prompt filter service 包含过滤或阻止敏感词的提示词输入和大模型输出 (含json输出或流输出两种功能) 并且实现统计token和优化大模型输出。
7. 利用FastAPI自建本地OpenAI compatible API server 转换ollama API已适配本地AI可扩展通用AI agent，并且对Ollama API无法设置key问题的安全性增强。
8. AI流程自动化n8n 的部署和低代码工作流实现
9. 大模型fine-tuning LoRA以适配企业内部词汇
10. 自建统一入口
此项目难点在于所有项目开源部分都非企业级可用，将它们整合后实现企业级安全标准，以及各组件对接并没有好的官方文档，最终在集合所有信息以及自己开发测试后实现所有功能
本人单独实现以上所有功能开发测试部署和运维。
示例图片视频
相似推荐
交易行监控-Python
1对交易行中新币，合约上线进行监控。
2与手机绑定，一旦上线可以进行提示/响铃等，现在为对iPhone专属barkapp进行通信提示。
3对已关键词筛选过的帖子序号进行数据库存储，防止重复读取。
4可开启代理模式，以及根据调用周期进行监控。
自动化架构搭建-支付服务底层全链路自动化搭建
金融行业线上bug要无限接近于零，钱袋子出问题就是大问题，基于背景搭建全链路自动化
以下功能更是重中之重
充值、提现、支付、代付、注册、绑卡等等，这些功能需要有自动化来减少人工测试回归的压力，以及代替冒烟测试
某定投辅助程序
1. 背景：通过机器学习训练自己的投资习惯进行定投的Agent，解放用户的精力和为客户实现盈利。
2. 功能：通过机器学习算法和长期积累的数据训练小模型，通过自动化脚本操作金融平台，为用户自动进行投资，可按用户要求定制止盈和止损策略。
3. 交付成果：此辅助程序为用户提供了极大的便利，解放用户双手，自动化进行执行并且平均每日产生至少15%的收益。
全税申报系统
近年来国家监管体系逐步从“以票控税”向“以数治税”转变，随着总局智慧税务系统的建设和现代化税收征管系统的不断升级，对企业税务管理提出了新的更高的要求；监管机构已经领先企业，实现了对经济活动监管的数字化升级，实现了全流程数字化，并通过标签化、要素化，以及与底层数据打通， 提升了管理水平以及数据价值，并逐步向企业开放；随着金税四期全面上线，税务机关逐步以税务风险为导向设置专业化机构，由“事前审批”向“事中事后管理”转变，预示着税收征管工作呈现持续趋严态势。
随着国家数字化转型的推进，监管联动和金税四期的到来，企业面临着多方面的压力，在国税局建立税务直连通道之后，企业将不可回避的面临全面电子化、数字化的转型压力；当前太平财险仅增值税、保单印花税实现系统处理，其余税种（企业所得税、车船税、房产税、土地使用税、印花税、代扣代缴个人所得税/增值税/企业所得税等）大多缺乏系统支持；税务数据分析、税务档案管理等全部依靠财务人工处理，数据标准、处理时效均有所制约，难以发挥税务风险识别、税收筹划等综合管控能力，税务数字化程度远低于业财数字化水平；由数据采集、智能申报及风控三个层面提升税务数字化程度，助力税务管理合规；构建税务系统也有助于实现不同业务系统间及行业内的信息共享、互联互通，符合税务信息化发展的方向。
目标：
1.在业财税一体化的基础上，实现全税种的自动计算及核算、涉税业务系统管理和申报管理，减少手工和线下管理，自动生成相关凭证和纳税申报表。
2.建立税务数据信息数据库，自动编制税务统计报表和税务相关管理报表，便捷查询各种涉税业务信息和管理情况。
整合税务档案、各项税务政策法规，推动税务人员主动研究分析税务政策，防控税务风险。
金融社交app-超交易
超交易，一个创新的金融社交交易平台，汇聚国内外顶尖理财专家，即时跟踪实名投资高手的真实交易，及时推送有效的交易数据综合分析，支持移动端及网页版本，追踪投资达人的即时交易，与社区好友一起分享。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服