一、立项背景与目标
本项目研究将用户对模型输出的细粒度评价转化为训练数据、并用于模型更新的可行性。
常规使用中,用户对模型回答的不满仅停留在对话层面,无法作用于后续模型行为。本项目尝试建立一条从「标注问题片段」到「产出训练数据集」再到「模型更新」的完整链路,并验证更新后的模型在同一批输入上是否产生符合预期的行为变化。
二、功能模块
1. 对话模块
提供与模型的交互界面,支持流式输出,单次请求可自主选择基础模型或优化后模型。
2. 片段标注模块
支持框选模型回复中的任意连续文字片段,记录该片段在原文中的起止字符偏移。标注内容包括:评价极性(正向或负向)、问题维度(事实性、时效性、推理、完整性、表达风格)、自然语言原因、目标改写内容。
3. 数据蒸馏模块
将标注记录转换为结构化训练样本。仅填写原因的记录作为问题清单保留;填写目标改写的记录生成可训练的 SFT 或 DPO 数据对。蒸馏过程提供大模型与规则引擎两种实现,大模型不可用时自动降级。
4. 数据集管理模块
样本以 JSON 与 JSONL 格式落盘,支持导出与查看。
三、业务流程
输入问题 → 模型回复 → 框选问题片段 → 标注维度与原因 → 提交 → 蒸馏为结构化样本 → 写入数据集文件 → 用于微调 → 加载优化后模型进行对照测试。
一、整体架构
前端为 HTML、CSS、JavaScript 单页应用,包含对话视图与标注弹窗。后端为 Python 标准库实现的 HTTP 服务,不依赖第三方框架,承担静态资源托管、样本读写与大模型接口代理三项职责。
模型接入层支持 Ollama 本地服务与 OpenAI 兼容接口两类,API Key 仅保存在服务端配置文件,不随页面下发。训练侧基于 PEFT 与 TRL 实现 LoRA 微调。
二、负责模块与量化结果
1. 标注交互。框选片段时记录起止字符偏移,提交前校验偏移范围与片段长度,保证替换操作可准确定位于原文。实测选中 63 字片段,偏移校验通过。
2. 服务端。以标准库实现静态托管、样本接口、模型代理三项功能,部署时仅需 Python 环境,无需安装依赖。
3. 蒸馏管线。将标注记录转换为 SFT 与 DPO 两种格式的数据集,支持批量导出。
4. 离线降级。断网环境下自动切换至本地模拟与规则引擎,全流程功能可用。
三、难点与解决方案
1. 小模型结构化输出不稳定。中间模型需按固定格式返回样本,小参数模型经常输出格式错误或空对象。采用「大模型 + 规则引擎」双实现,前者优先,失败时降级至规则引擎,保证链路不中断。
2. 替换定位错误。直接按文本内容匹配替换时,同一片段在文中多次出现会导致替换错位。改为记录字符偏移并做双向校验。
3. 密钥保护。前端不接触 API Key,所有模型调用经服务端代理转发。