基于小尺寸模型的单据结构化识别工作流

项目主要是为了应对电子档案和业务系统对接后，依然存在大约5%的纯质纸线下数据，包括并且不限于审批表、计算表、纸质银行回单、对账单等材料。当企业体量足够大时，5%的数量依然会造成大量的人工成本，所以就需要有一个工具对这“数字化最后一公里”兜底。
项目功能主要有：
- 材料分类并对不同类别进行功能路由
- 标准附件（银行回单对账单等）进行输出约束，以及自修复，对于AI常见的漏了个0，多了个0，导致账号错误、金额错误，并且简单重试无法解决的基于工程harness进行修复；
- ai自审核，用一个独创的方式低成本的有效降低“谄媚”现象，提高第一次交付效果。
- 系统级对接，对除了线下纸质材料只能依靠人工扫描以后创建一个UI让用户上传，后期的财务凭证匹配、电子档案对接都直接自动化集成，不再进行手工干预。

我全栈负责整个项目的业务需求梳理到最终实现和交付使用。
主要依赖于python进行harness开发，使用的模型为量化Qwen3.5 35B A3b。
主要的难点和技术创新点有两处：
1、标准附件的自修复机制：除了要求模型按照标准json格式返回，并且利用pydantic做形式验证这类基础操作以外，对于常见的大整数处理错误（比如5亿读成5千万），复杂账号或流水号读取错误（漏字等），进行实质性验证并且修复，修复逻辑只能按照每一个具体错误进行分析和修正。比如金额强制要求中文大写和数字比对，比如账号综合利用difflib和子字符串对照计算信任度，高于阈值自动修复为对照数据等；
2、解析结果需要业务实质复核时用另一个上下文隔离的agent node进行质量评分。由于llm本身有RLHF对齐的谄媚机制，我用一个独创的外部embedding正交混淆算法，对原始query进行混淆，得到一个更严格和客观的评分。该技术路线正在申请CCF B类论文，不同于其他常见的越狱方法。