业务和功能介绍
在人工智能领域飞速发展的背景下，抖音集团正积极投入建设具备世界领先水平的内部多模态大模型。该模型旨在深度理解和生成结合文本、图像、视频、音频等多种模态的数据，以此赋能集团旗下多样化的产品与业务场景（如内容推荐、智能创作、用户交互、内容审核等）。
为了确保这些强大的多模态大模型不仅具备卓越的性能，更能精准对齐人类偏好（Human Alignment）、提升其安全性、有用性、一致性与个性化表现，我们引入了 **Direct Preference Optimization (DPO)作为关键的后训练（Post-training）** 策略。DPO 通过利用人类偏好反馈数据直接优化模型，相比传统的 RLHF（基于强化学习的人类反馈）流程更高效、稳定。
本项目的核心目标正是 ——构建一个高效、稳定、可扩展的端到端数据链路，为 DPO 训练提供高质量、高通量的结构化数据。这一数据链路的搭建，是确保我们的多模态大模型能够持续迭代、不断优化、最终在复杂现实场景中表现卓越的基石。它不仅将加速模型迭代周期，更是我们在下一代 AI 技术竞争中保持领先的关键一步。
本项目的核心在于设计与实现一个自动化、智能化的DPO 训练数据生产平台。其核心功能可概括为三个紧密相连的阶段：
大规模、周期性数据采集与整合： 平台将具备强大的数据集成能力，能够定期、自动化地从集团内部多样化的原始数据源（如用户交互日志、内容创作数据、搜索查询、运营反馈、模型推理日志等）以及特定外部数据集获取海量多模态数据。确保数据的新鲜度、全面性和多样性，为后续的精细化标注提供充足的 “原材料”。
高度定制化与智能化的复杂标注工作流： 平台将支持一个多阶段、多模态融合、且深度定制化的标注链路。此环节并非简单的标签分类，而是专注于DPO 训练所需的偏好型数据构建。它将引导专业标注员或通过 AI 辅助标注，根据预设的严苛评估标准（如安全性、事实准确性、逻辑连贯性、指令遵循度、创意性、语气风格等），对模型在特定 Prompt 下的多个响应进行优劣排序、对比选择，乃至识别并生成对抗性样本。此流程将针对多模态内容的特点，支持文本 - 图像、文本 - 视频等多维度关联信息的标注与评估。
标准化、可追溯的 DPO 训练数据输出（Pair 对数据）： 最终，数据链路将把经过复杂标注处理后的信息，精确地格式化为 DPO 训练框架可直接消费的 “Pair 对数据”。这意味着，对于给定的一个 Prompt 或上下文，我们将输出至少包含一个 **“偏好响应（Preferred Response）”和一个“拒绝响应（Rejected Response）”** 的结构化数据对。这些数据将包含必要的元信息（如评估维度分数、置信度、标注员 ID、时间戳等），确保数据质量高、可追溯，并可直接无缝地灌入集团的 DPO 训练系统，为模型的持续优化提供高质
为了确保这些强大的多模态大模型不仅具备卓越的性能，更能精准对齐人类偏好（Human Alignment）、提升其安全性、有用性、一致性与个性化表现，我们引入了 **Direct Preference Optimization (DPO)作为关键的后训练（Post-training）** 策略。DPO 通过利用人类偏好反馈数据直接优化模型，相比传统的 RLHF（基于强化学习的人类反馈）流程更高效、稳定。
本项目的核心目标正是 ——构建一个高效、稳定、可扩展的端到端数据链路，为 DPO 训练提供高质量、高通量的结构化数据。这一数据链路的搭建，是确保我们的多模态大模型能够持续迭代、不断优化、最终在复杂现实场景中表现卓越的基石。它不仅将加速模型迭代周期，更是我们在下一代 AI 技术竞争中保持领先的关键一步。
本项目的核心在于设计与实现一个自动化、智能化的DPO 训练数据生产平台。其核心功能可概括为三个紧密相连的阶段：
大规模、周期性数据采集与整合： 平台将具备强大的数据集成能力，能够定期、自动化地从集团内部多样化的原始数据源（如用户交互日志、内容创作数据、搜索查询、运营反馈、模型推理日志等）以及特定外部数据集获取海量多模态数据。确保数据的新鲜度、全面性和多样性，为后续的精细化标注提供充足的 “原材料”。
高度定制化与智能化的复杂标注工作流： 平台将支持一个多阶段、多模态融合、且深度定制化的标注链路。此环节并非简单的标签分类，而是专注于DPO 训练所需的偏好型数据构建。它将引导专业标注员或通过 AI 辅助标注，根据预设的严苛评估标准（如安全性、事实准确性、逻辑连贯性、指令遵循度、创意性、语气风格等），对模型在特定 Prompt 下的多个响应进行优劣排序、对比选择，乃至识别并生成对抗性样本。此流程将针对多模态内容的特点，支持文本 - 图像、文本 - 视频等多维度关联信息的标注与评估。
标准化、可追溯的 DPO 训练数据输出（Pair 对数据）： 最终，数据链路将把经过复杂标注处理后的信息，精确地格式化为 DPO 训练框架可直接消费的 “Pair 对数据”。这意味着，对于给定的一个 Prompt 或上下文，我们将输出至少包含一个 **“偏好响应（Preferred Response）”和一个“拒绝响应（Rejected Response）”** 的结构化数据对。这些数据将包含必要的元信息（如评估维度分数、置信度、标注员 ID、时间戳等），确保数据质量高、可追溯，并可直接无缝地灌入集团的 DPO 训练系统，为模型的持续优化提供高质
项目实现
1.整体架构：训练数据要使用成对的视频和单一的prompt，根据DPO训练的要求，需要构造差异化链路，链路分多个支路，通过不同方式构造出6-10个差异性视频，最后经由人工标注选择出一个最好和一个最差的视频
2.我负责的部分：链路内部全量算子的开发与链路的整体串联
2.我负责的部分：链路内部全量算子的开发与链路的整体串联
示例图片视频
相似推荐
信息化项目改造
为构建自主可控、高效统一的智慧灌区管理体系，本人主导并实施了灌区全域网络重构与数据中心升级项目。本项目以国产化改造、系统整合与集中管控为核心，建立了从通信基础设施到应用平台的全栈式升级方案，实现了灌区管理从分散运维向一体化智能运营的转型。
一、 主要工作内容与成果
1.全域自组网通信系统建设
采用自建无线基站方式，为分布广泛的干渠、支渠构建了独立、可靠的专用局域网，实现了对偏远区域通信盲区的全覆盖。
该网络稳定承载了视频监控系统的数据回传，为工程安全、水位监测与非法取水监管提供了实时可视化手段。
2.智慧水务便民服务平台开发
主导开发并上线了微信小程序，实现了水费缴纳、用水查询等功能的线上化与移动化，显著提升了用户服务体验与收费效率。
3.数据中心机房全面升级与国产化改造
基础设施升级：对核心机房进行改造，部署最新的动力环境监控系统（动环监控），对温湿度、电力、消防进行实时监测与告警；更换大容量UPS不间断电源，保障核心设备在极端情况下持续稳定运行。
国产化适配与迁移：将全部关键业务系统（包括监控、数据采集、收费管理等）进行国产操作系统与数据库的适配、迁移与重新部署，实现了从硬件到软件层面的自主可控与安全可靠。
系统整合与统一门户：打通原先分散的多个信息化系统，构建统一身份认证与单点登录（SSO）平台，实现“一次登录，全网通行”，极大提升了管理效率与用户体验。
数据可视化与决策中心：整合各系统数据，设计并开发了综合指挥调度大屏，直观展示全网运行状态、水资源分布、收费情况及安全预警，为领导决策提供全景数据支撑。
太阳辐射测量及传感器校准一体化系统
本项目为太阳辐射测量及传感器校准一体化系统，面向太阳辐射计量、传感器检定/校准、自动化采集与任务管理等场景，目标是将原本分散的设备控制、数据采集、校准流程、结果管理与可视化分析整合到同一个软件平台中，构建一套标准化、自动化、可追溯、可扩展的业务闭环。
项目的核心价值在于：它不是单纯的数据采集软件，而是把校准方法管理、设备联动控制、任务预约执行、实时数据展示、结果留存追踪全部统一起来，显著降低了人工操作复杂度，提升了太阳辐射测量业务的规范性与执行效率。
光伏组件光电性能仿真软件
本项目面向光伏组件精细化建模、失配机理分析与电性能评估需求，目标是打造一套“从电池片级参数输入，到组件级拓扑建模，再到 I-V/P-V 特性自动仿真与可视化分析”的一体化软件工具。软件将每一片电池视为独立仿真单元，能够真实反映局部失配、参数离散、辐照差异等复杂工况下的输出行为。核心功能包括：电池片参数批量读取与编辑、组件拓扑可视化展示、单片电池参数交互修改、组件模型自动生成、参数自动写入、电子负载自动搭建、开路电压自动扫描、I-V/P-V 曲线联动绘制等。业务流程清晰完整，用户只需导入参数、检查拓扑、点击运行，即可完成从结构定义到性能分析的全流程闭环，显著提升组件级建模效率、分析深度和结果展示能力，具备很强的工程应用价值与展示效果。
邦普动电回收物联网平台（车电易收小程序）
本项目分为两个管理后台，两个小程序开发。后台管理分为邦普管理端和网点管理端，小程序分为客户小程序使用和网点服务人员小程序使用。
邦普管理端平台：主要维护客户、网点、和服务人员等相关信息维护，主要用作邦普人员进行维护运营的主要平台。
网点管理端平台：主要是给网点用户使用的平台，用于维护网点自己相关的信息和用户人员的维护。
客户小程序：给用户使用的下单小程序，进行回收电池或者车辆。
网点服务人员小程序：主要给网点的服务人员使用，用于给客户沟通联系，确认电池或者车辆回收的信息保障。
MES制造执行系统-工厂生产管理后台
本项目为面向离散制造企业的 MES 制造执行系统，旨在解决工厂生产过程中数据不透明、排产混乱、追溯困难等痛点，实现生产全流程数字化管控。系统核心功能包括：生产工单管理、车间排产调度、设备状态监控、生产数据实时采集、物料追溯管理、质量检验管控、生产报表分析等。后端基于 Java+SpringBoot+MyBatis 搭建，提供稳定的 RESTful API 接口，前端采用 Vue 实现可视化操作界面，支持多终端访问，帮助企业提升生产效率、降低成本、实现精益生产。系统已完成核心模块开发与测试，可稳定运行，具备良好的扩展性，可适配不同行业的生产管理需求。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服