1、立项背景和目标:运营/业务同事取数依赖数据团队写 SQL,响应慢、沟通成本高;而直接放开数据库又存在误操作与数据泄露风险。本项目目标是构建一套“运营自助问数”的 Text2SQL 系统:用自然语言提问自动生成 SQL 并可视化呈现,同时用“两阶段 SQL 授权 + 只读白名单 + 查询超时与行数保护 + 结果脱敏”保证安全可控,让非技术人员也能自助取数。
2、软件功能与核心模块:①聊天式问数:输入自然语言问题,自动生成 SQL 与中文解释,并输出 KPI 指标卡/柱状图/折线图/饼图/明细表格;②两阶段 SQL 授权:先 preview 生成不执行,弹窗展示生成方式、涉及表、只读标识与 SQL 原文,可人工修改后再 execute;③交付物清单:按问题累积图表/表格/SQL,可展开、可下载 CSV;④数据资产:列级数据字典、表关联(外键)、所属数据库元信息;⑤模型配置:内置 22 家主流模型商,运行时切换、先测连接再保存、Key 打码;⑥生产弹性:限流、鉴权、审计、脱敏、健康检查、指标与故障注入。
3、业务流程与功能路径:用户提问→NL2SQL 生成 SQL+解释(不改数据)→授权弹窗人工核对/修改→只读白名单校验→超时(2000ms)与行数上限(200)保护→执行→结果脱敏→自动选图渲染图表/表格并写入交付物清单。未配置大模型时自动走内置规则引擎,服务不中断。
1、整体架构与技术栈:纯 JDK、零第三方依赖的分层实现:ModelConfig(运行时模型配置中心,22 家厂商预设、Key 打码与优先级)→ LlmClient(OpenAI 兼容 chat/completions + 连接自检)→ Nl2Sql(大模型输出解析、剥代码围栏/取 SELECT/校验 + 规则引擎兜底 + 数据字典提示词 + 图表意图聚合)→ Nl2SqlService(两阶段 preview/execute、元数据、审计、脱敏、指标)→ SqlExecutor(自研极简 SQL 解释器 + 读白名单防注入 + 超时 2000ms/行数 200 上限)→ MockDb(orders/users/benefits 内存库 + 列级字典/表关联/库元数据)→ Text2SqlApplication(JDK 内置 HTTP 服务)。前端内联 SVG 手写图表引擎,Docker 部署,端口 8124。
2、我负责的模块与结果:独立完成产品交互与全栈实现。核心设计“两阶段 SQL 授权”把大模型输出当作不可信输入:preview 只生成不执行,弹窗人工复核/改 SQL 后才 execute。能力覆盖 22 家模型商运行时切换、自动图表(KPI/柱状/折线/饼图,维度列智能避让 order_id/user_id 等标识列)、交付物按问题累积可下载 CSV、只读白名单、脱敏、审计、限流、鉴权、健康与指标、故障注入;零第三方依赖、javac 编译即跑、Docker 健康检查。
3、难点、坑与解决方案:①大模型输出不可直接执行 → 两阶段授权 + 只读白名单 + 行数与超时兜底;②模型商切换时“A 家 Key 打到 B 家” → 按厂商匹配 Key,不匹配即判未配置;③自然语言要图表却生成 SELECT * 明细 → 按关键词生成 1 维度 + 1 数值聚合 SQL,维度列智能选取避开标识列;④POST body 的 \uXXXX/引号转义易解析错 → 自研 JSON 编解码;⑤未配大模型时服务可用性 → 规则引擎兜底,LLM 失败自动降级不中断。