内部大模型应用管理平台

随着公司AI战略的深入，各类业务对基于领域知识的智能问答需求激增。同时对于不同的应用场景需要支持不同的系统能力，比如解析学城文档表格、大模型对长文本内容总结summary、提供通用AI检索API接口等后续部分应用可能会对文档文本、图片、表格等多模态AI检索能力有部分诉求，因此期望建设支持公司特殊业务场景专有知识管理平台，包括数据解析、知识管理、知识检索能力，大幅提升同类项目的搭建效率。另外随着多模态应用（如故障图片识别）的兴起，缺乏高效的数据标注工具，人工标注成本高昂，因此建设一个面向公司垂类的AI 基础设施平台，成为支撑业务快速创新与降本增效的关键。

AI检索平台体系建设
方案设计与调研：学习并调研RAG系统相关原理及设计方案；调研公司内部Friday、图灵、企平等相关RAG知识库管理系统平台现状；调研学习业界开源框架（ragflow、dify、coze等）等相关方案；完成AI检索系统能力建设方案设计。
系统基础能力建设：调研并部署维护Milvus向量数据库，MLP平台部署BGE/Qwen3 Embedding、Reranker模型，学习调研ragflow文档切分模块，并调研公司python服务部署方案，通过部署python服务提供统一的底层文档切分系统能力。
知识库管理后台开发与建设：完成管理后台方案设计和开发，建设专有词库以及权限管理等系统能力，针对学城文档支持批量上传、文档定期自动更新、自动化权限申请等功能；对外提供统一接入SDK，包括统一的RAG检索查询，包括向量检索、全文检索和混合检索等并支持WeightedRanker和RRFRanker两种重新排序策略，支持BGE、Qwen3-8B的Reranker模型排序能力；同时支持Embedding、Reranker等模型能力单独接入使用。
RAG评测体系建设：调研RAGAS框架评测助手类RAG系统，目前已经跑通RAGAS框架评测示例，后续准备建设体系化评测系统工具。
智能图片标注系统建设
方案设计&模型调研：参与数据引擎及数据标注工具平台方案沟通和设计，完成数据标注工具平台整体技术实现方案设计，调研SAM（Segment Anything Model）、DAM（Describe Anything Model）等相关模型并在标注工具平台中集成。
智能标注管理后台开发与建设：MLP平台部署SAM、DAM等相关模型；完成整体智能标注管理后台相关功能开发，包括标注数据自动化导入、大模型自动生成初始标注结果、数据标注和审核流程、数据集管理和同步等系统能力。结合多模态大模型以及DAM/SAM等视觉模型建设智能图片标注体系，实现图片数据的自动化/半自动化标注，大幅降低人工成本。
大模型推理加速调研
多模态大模型推理加速调研：调研vLLM和sglang等大模型推理加速框架，对微调后多模态大模型（Qwen3-VL）进行推理加速，token输出由80t/s提升至140t/s。
小助手落地应用
小助手开发与应用：将资产回放平台高频常用回放功能抽象成（车辆、城市维度）数据查询接口封装成Function tools工具，提供给资产助手智能查询分析数据是否异常，以提高问题排查效率；基于RAG知识库类问题通过父子切片、混合检索召回、Reranker模型重排序、以及建立专有词库等策略实现Recall＠5提升12％，回答准确率提升8%。小助手目前SOP文档召回率89%，回答准确率80%。