Alex

本项目旨在为企业和团队提供高准确率、可溯源、可扩展的知识库问答解决方案。核心功能包括： 1.智能语义分块：支持 semantic 分块策略，自动识别表格、代码块，提升检索和生成的准确率。 2.Query Rewrite 查询改写：自动优化用户查询，提升召回率和答案相关性，适应复杂业务场景。 3.Rerank 重排序：检索结果经过二次重排序，优先展示最相关文档，显著提升最终答案质量。 4.混合检索（Hybrid Retrieval）：结合向量和关键词召回，兼顾语义和关键词覆盖，适合多类型文档。 5.增量索引与高效更新：支持文档增删，无需重建索引，批量并发 embedding，节省时间和算力。 6.全链路溯源与来源展示：每个答案都带文件名、页码，前端可展示来源，信息透明可追溯。 7.多层限流与安全防护：API 限流、XSS/SQL 注入防护、IP 黑名单，保障系统稳定与数据安全。 8.灵活配置：LLM、embedding、chunking、检索、重排序等参数均可通过 .env 快速调整。 9.RAGAS 评测与生产环境完全一致：评测流程与实际检索/生成参数同步，结果真实可靠。 10.企业级日志与权限管理：标准日志、文件轮转、JSON格式，支持多用户权限与审计。

在企业知识管理和智能问答系统建设中，原始文档常常存在格式混乱、OCR噪声、结构断裂等问题，导致入库前难以保证数据质量。 针对这一痛点，doc_cleaner提供自动化的文档清洗、复杂度评估和人工审核分流能力，适用于金融、医疗、制造等行业的批量文档标准化和风险筛查场景，显著提升数据入库前的可用性和安全性。 doc_cleaner 以 LangGraph固定10节点的流程为核心，支持多格式文档（PDF、扫描件、DOCX、图片等）自动识别与抽取。 系统通过智能路由（MinerU/Unstructured）、复杂度评分、清洗策略决策、半自动清洗、自动审核与人工复核闭环，实现高质量纯文本输出。 产物包括清洗结果、风险报告、复核队列、失败追踪等，支持批量处理、断点续跑和插件化策略扩展，满足企业级文档治理需求