OCean AI-RAG企业知识库系统
项目描述:Ocean AI是基于RAG(检索增强生成)架构开发的企业级知识库系统,支持大文件分片上传、文档向量化处理和语义检索实现了从文档管理到智能问答的完整流程,打破了海洋环境数据、地理与地质等多源数据的管理孤岛,赋能科研智能应用。
核心职责:
1、基于Redis BitMap管理文件分片状态,结合MinIO实现大文件分片上传与断点续传,将1GB文件上传耗时由15s优化至3s。
2、构建基于RabbitMQ的文档处理异步流水线,解耦文件上传、解析和向量化过程,实现系统削峰,文档处理效率提升3倍。
3、集成 Elasticsearch +IK分词器构建多格式文档索引,融合通义干问Embedding模型实现2048维向量转换,结合 KNN向量召回与BM25重排序,实现关键词匹配与语义相似度的混合检索。
4、设计检索增强生成(RAG)流程,通过用户提问与检索结果生成增强Prompt,并结合上下文语义理解提升问答准确度。
5、基于WebSocket建立长连接,集成DeepSeek大模型Stream API实现流式响应,为用户提供"打字机式"逐字生成的对话体验。
6、基于Redis实现会话管理,支持7天对话历史存储,并在Embedding API调用失败时自动降级至文本搜索保障可用。
企业内部管理