程序聚合 软件案例 自微调智能体(细粒度反馈 → 训练数据 → 权重更新)

自微调智能体(细粒度反馈 → 训练数据 → 权重更新)

2026-11-08 12:07:19
行业:人工智能
载体:Windows应用
技术:JavaScript、Python

业务和功能介绍

一、立项背景与目标
本项目研究将用户对模型输出的细粒度评价转化为训练数据、并用于模型更新的可行性。
常规使用中,用户对模型回答的不满仅停留在对话层面,无法作用于后续模型行为。本项目尝试建立一条从「标注问题片段」到「产出训练数据集」再到「模型更新」的完整链路,并验证更新后的模型在同一批输入上是否产生符合预期的行为变化。

二、功能模块
1. 对话模块
提供与模型的交互界面,支持流式输出,单次请求可自主选择基础模型或优化后模型。
2. 片段标注模块
支持框选模型回复中的任意连续文字片段,记录该片段在原文中的起止字符偏移。标注内容包括:评价极性(正向或负向)、问题维度(事实性、时效性、推理、完整性、表达风格)、自然语言原因、目标改写内容。
3. 数据蒸馏模块
将标注记录转换为结构化训练样本。仅填写原因的记录作为问题清单保留;填写目标改写的记录生成可训练的 SFT 或 DPO 数据对。蒸馏过程提供大模型与规则引擎两种实现,大模型不可用时自动降级。
4. 数据集管理模块
样本以 JSON 与 JSONL 格式落盘,支持导出与查看。

三、业务流程
输入问题 → 模型回复 → 框选问题片段 → 标注维度与原因 → 提交 → 蒸馏为结构化样本 → 写入数据集文件 → 用于微调 → 加载优化后模型进行对照测试。

项目实现

一、整体架构
前端为 HTML、CSS、JavaScript 单页应用,包含对话视图与标注弹窗。后端为 Python 标准库实现的 HTTP 服务,不依赖第三方框架,承担静态资源托管、样本读写与大模型接口代理三项职责。
模型接入层支持 Ollama 本地服务与 OpenAI 兼容接口两类,API Key 仅保存在服务端配置文件,不随页面下发。训练侧基于 PEFT 与 TRL 实现 LoRA 微调。

二、负责模块与量化结果
1. 标注交互。框选片段时记录起止字符偏移,提交前校验偏移范围与片段长度,保证替换操作可准确定位于原文。实测选中 63 字片段,偏移校验通过。
2. 服务端。以标准库实现静态托管、样本接口、模型代理三项功能,部署时仅需 Python 环境,无需安装依赖。
3. 蒸馏管线。将标注记录转换为 SFT 与 DPO 两种格式的数据集,支持批量导出。
4. 离线降级。断网环境下自动切换至本地模拟与规则引擎,全流程功能可用。

三、难点与解决方案
1. 小模型结构化输出不稳定。中间模型需按固定格式返回样本,小参数模型经常输出格式错误或空对象。采用「大模型 + 规则引擎」双实现,前者优先,失败时降级至规则引擎,保证链路不中断。
2. 替换定位错误。直接按文本内容匹配替换时,同一片段在文中多次出现会导致替换错位。改为记录字符偏移并做双向校验。
3. 密钥保护。前端不接触 API Key,所有模型调用经服务端代理转发。

示例图片视频


hello lifelong
24小时内活跃
方向: 爬虫/脚本-爬虫/脚本、Rpa-Rpa、
交付率:100.00%
相似推荐
工程代号 dsh-memory 保留作技术包名,备选:忆栈/脑痕、Mnemo/Trace。-Engram
业务定位:当前 AI 助手的记忆要么靠模型参数(换模型即丢失、不可审计),要么靠 RAG 向量库(会"脑补"未发生的内容、无法单点撤销)。本项目把记忆做成一层外挂的系统提示词中间件:每条记忆都是原文 + 稀疏符号标签,可逐条解释、逐条撤销、离线存储,且任何环节失败都只降级为"不注入",绝不阻断对话。 主要能力: 能力 说明 符号编码 归一化 + Aho–Corasick 多模式匹配,产出带权重与极性的稀疏标签;不做语义理解、不调用任何模型做判断 长期存储 独立 SQLite(WAL + 外键),每条记忆带 sha256 校验;JSONL 文件兜底;schema 版本化自动迁移 最小注入 前部强约束(systemPrompt.section,order 860)+ 后部参考记忆(带来源的动态上下文);top-3 / 400 token / 披露闸门 披露与租户隔离 scope 按用户 / 群隔离(如 qq:user:<uin>),audience ≤ origin 才允许注入,防止私聊内容在群里被复述 写入闸门与去重 基于身份窗口与证据充分性判定,负标签优先——宁可不注入,也不注入错误内容 安全与合规 AES-256-GCM 加密归档、密钥环管理、sha256 完整性校验、mem_purge 五步物理清除 + crypto-shredding、脱敏 工具集 mem_stats / mem_search / mem_verify / mem_export / mem_purge 五个 mem_ 前缀工具,重名自动降级 可运营 备份脚本、Web 控制台、注入回执(audit kind=inject),全程可审计 典型场景:QQ 机器人的多租户长期记忆(已在 VM 真机跑通"QQ → 打标 → 门控 → SQLite"端到端);也可作为任何 DSH Agent 的可解释记忆层。
SaaS大模型API聚合与分发平台
我独立设计、开发并上线了 Bubble大模型API聚合与分发平台,为希望开展大模型 API 业务的企业和团队提供建站与运营系统。平台统一接入多家模型供应商,将对话、图像和视频生成能力通过兼容 API 对外提供。企业可以使用自己的品牌和域名开设独立站,自主决定向客户提供哪些模型、如何定价,并管理从客户接入、调用计量到收款对账的完整流程。项目覆盖模型网关、多租户业务后台和用户端,从系统设计、前后端开发到部署上线均由我独立完成。
掌静脉os系统
1.掌静脉os 2.基于掌静脉识别模型,设计掌静脉识别设备的整体技术方案,从0-1实现掌静脉设备的整体功能界面,业务逻辑包括信息增删改查、掌静脉识别(支持应对各种场景,包括门禁,支付等)。系统包含管理端和用户端,界面根据设计稿包含多种界面动画和界面效果。 3.动画效果复原和性能优化是开发过程的两个大难点,要在保持25fps的基础上,界面不能卡顿,动画效果的刷新也不能影响识别。
LLM智能体项目编译器-FATASS
FATASS 是一个把软件项目当作「编译器输入」来管理的 Python 命令行工具:项目被建模为一张节点图,每个节点由 Claude Code CLI 作为自主智能体合成与维护,而不是由人手写文件。我独立完成了节点与变换模型、事务式的命令接口(每次变更可整体提交或回滚),以及一个用 TypeScript 写的 VS Code 扩展,用于可视化浏览项目拓扑。项目目标是让 LLM 编码智能体承担「主编译器」角色,把需求变更收敛为一次可审查、可回退的图变换。适合希望用智能体自动化维护多模块代码库、又要求过程可审计的团队参考。项目仍在持续开发中。
基于大语言模型的跨平台智能陪伴机器人
【立项背景与目标】 市面上的陪伴型 AI 助手普遍存在三个问题:只能活在单一平台、没有长期记忆(今天说过的事明天就忘)、回复像客服。本项目目标是做一个"记得住人、跨平台是同一个她"的陪伴型机器人,让对话在 QQ、抖音两端连续,并具备语音、表情包等拟人表达能力。 【核心功能模块】 1. 多平台接入:QQ 为主阵地(接入 NapCat/OneBot 协议),抖音为副阵地,两端共用同一人格与同一套记忆,用户在一端说过的话另一端能回忆起来。 2. 三层长期记忆:事实卡(固定偏好/禁忌,每次对话强制注入)、向量记忆库(跨会话语义召回)、会话历史。"记住我说的话"有两条落地通道:桥接层正则直接落盘 + 模型侧工具写入。 3. 语音交互:收到的语音消息本地离线转写,回复可按情绪合成语音(三套 TTS 引擎按优先级自动兜底)。 4. 情绪化表达:337 张表情包按情绪分类发送,支持主动发起消息、定时提醒、QQ 空间动态。 5. 人格与安全:傲娇系人格提示词 + 出站文本清洗,既避免"AI 腔",也防止内部机制和实现细节泄露给用户。 【业务流程】 用户消息 → NapCat 上报 → 桥接服务组装上下文(事实卡 + 当前情绪状态 + 记忆召回结果)→ 调用大模型 → 解析回复中的动作标记(表情包/语音/说说/提醒)→ 按字数自动拆分为多条气泡发送。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服