自微调智能体(细粒度反馈 → 训练数据 → 权重更新)
一、立项背景与目标
本项目研究将用户对模型输出的细粒度评价转化为训练数据、并用于模型更新的可行性。
常规使用中,用户对模型回答的不满仅停留在对话层面,无法作用于后续模型行为。本项目尝试建立一条从「标注问题片段」到「产出训练数据集」再到「模型更新」的完整链路,并验证更新后的模型在同一批输入上是否产生符合预期的行为变化。
二、功能模块
1. 对话模块
提供与模型的交互界面,支持流式输出,单次请求可自主选择基础模型或优化后模型。
2. 片段标注模块
支持框选模型回复中的任意连续文字片段,记录该片段在原文中的起止字符偏移。标注内容包括:评价极性(正向或负向)、问题维度(事实性、时效性、推理、完整性、表达风格)、自然语言原因、目标改写内容。
3. 数据蒸馏模块
将标注记录转换为结构化训练样本。仅填写原因的记录作为问题清单保留;填写目标改写的记录生成可训练的 SFT 或 DPO 数据对。蒸馏过程提供大模型与规则引擎两种实现,大模型不可用时自动降级。
4. 数据集管理模块
样本以 JSON 与 JSONL 格式落盘,支持导出与查看。
三、业务流程
输入问题 → 模型回复 → 框选问题片段 → 标注维度与原因 → 提交 → 蒸馏为结构化样本 → 写入数据集文件 → 用于微调 → 加载优化后模型进行对照测试。
人工智能