德语工程日志 → 英文 RAG 就绪知识库处理管线-DE-EN RAG Pipeline
立项背景:制造业/工程企业积累了大量德语技术论坛日志(含零件号、扭矩、测量规格)及工程图纸附件,存在语言障碍且难以直接喂给 RAG 检索系统;人工翻译成本高,且极易在翻译中丢失或改写关键参数。目标:构建一条自动化管线,将原始德语日志清洗、翻译为英文,封装成 RAG 就绪的结构化 Markdown 知识库,核心技术参数 100% 保真。
核心功能模块:
1) 噪音清洗——自动剔除论坛签名、导航条、邮件页脚,同时保留供应商联系方式与技术引用;
2) 保真翻译——抽取零件号/扭矩/测量等实体并掩码,仅翻译普通文本,再逐字节回注原值,附计数校验闸门;
3) 附件富集——图像两级过滤 + 视觉大模型(VLM)结构化提取工程元数据;
4) Markdown 封装——YAML 头 + 面包屑元数据注入;
5) 日志合并——按宏域合并为主日志,供向量库分块入库。
业务流程:原始德语日志 → 清洗 → 实体掩码 → 翻译 → 回注 → 校验闸门 → 英文 Markdown(含元数据)→ 按域合并 → RAG 入库。
人工智能
工业互联网