本项目构建了一套融合提示词工程、指令微调、大语言模型(Large Language
Model, LLM)与检索增强生成(Retrieval-Augmented Generation, RAG)技术
的中医痞满智能辅助诊疗智能体,实现了多种前沿技术在中医领域的协同应用。
该智能体基于指令调优采用多层次 LLM 推理框架,整合本地化知识库检索机
制,实现了多模态数据(包括文本、语音及图像)到中医辨证论治决策的全流程
智能化处理。
3.2.1 多模态输入处理
该模块作为智能体的统一入口,承担着接收用户以不同方式输入的原始信息
的职责,具体涵盖以下几种类型:文本输入(即用户直接输入的文字描述)、语
音输入(指用户的语音陈述,借助调用科大讯飞语音转写 API 开展语音识别
(ASR),将语音转化为文本)以及图像输入(也就是用户上传的舌象图片,作
为后续舌诊分析的原始数据)。
3.2.2 预处理与信息融合
本模块作为数据标准化处理的核心组件,主要承担多源异构数据的集成与预
处理功能。在气象数据采集环节,智能体通过集成和风天气 API 服务,采用地
理编码接口获取用户所在城市的位置标识符,继而调用 7 日天气预报接口实现
区域气象数据的自动化采集与输出。在中医舌象分析方面,基于 DeepSeek 大语
言模型的计算机视觉能力,结合领域特定的提示工程技术(prompt engineering),
对舌诊图像进行多维度特征提取,包括舌质、舌苔及舌体形态的量化分析,并依
据中医诊断学理论生成健康状况的智能化解读。最终通过多模态信息融合技术,
将经过预处理的文本数据、气象参数及舌象特征等异构信息整合为结构化的上下
文表征,为后续的检索增强(RAG)和大型语言模型(LLM)推理任务提供标
准化的数据输入。
3.2.3 知识库检索模块
该模块是智能体知识的核心来源,确保诊疗建议的权威性和准确性。其采用
了以本地化部署为核心的检索增强生成(RAG)方案。根据上一步整合的结构
化输入,在本地部署的中医专业知识库(包括经典医籍、名家医案、方剂大全等)
中,利用 RAG 技术,精准地查找并提取最相关的知识片段。这个方法不仅保
障了核心医疗知识的准确可控,即解决了大模型的“幻觉”现象,也满足了医疗数
据的安全要求。
3.2.4 LLM 推理开方、审方
(一)LLM 初步的诊疗开方:作为智能体的“大脑”,LLM 推理引擎在 LLM
初步的诊疗开方环节中,接收用户结构化信息与 RAG 检索到的知识,通过
Prompt 工程构建包含完整病患信息和相关医学知识的上下文并发送至大语言模
型服务,大模型在此基础上模拟中医“辨证论治”的完整思维链进行深度推理,最
终形成初步的诊疗报告。
(二)个性化体质调整与风险审核:为确保诊疗方案的个体化与安全性,本
模块在基于大语言模型的初步诊断基础上进行优化:首先采用个性化参数因子,
整合知识库中的体质辨识算法与剂量调控模型,对推荐方剂进行精准化调整;其
次通过内置的智能审方系统,基于循证医学原则对治疗方案、药物配伍及禁忌症
进行多维度风险评估,并生成警示提示。
3.2.5. 输出生成与数据存储
此模块作为智能体的最终出口,负责将诊疗结果有效呈现并管理,具体包括
报告生成与数据存储两部分:报告生成是将最终的诊疗建议以结构化(如证型、
治法、方剂、剂量)和通俗易懂的自然语言形式呈现给用户;数