多源异构数据驱动岗位能力图谱构建与动态演化分析平台

1、立项背景和目标：
针对招聘市场数据分散、技能体系混乱以及新兴岗位识别滞后的行业痛点，立项构建多源异构数据驱动的岗位能力图谱构建与动态演化分析平台。旨在解决招聘信息非结构化、数据质量参差不齐的问题，实现从多源数据采集、清洗、质检到图谱自动构建与动态追踪的全链路闭环，为招聘市场提供高精度的岗位能力画像与演化分析。

2、软件功能、核心功能模块：
平台核心包含四大模块：① 多源异构数据采集与五阶段清洗模块（SimHash去重、技能标准化、多源交叉验证、去通胀检测等）；② 三层递进式AI幻觉防控质检模块（多模型并行评审、分歧仲裁、人工兜底）；③ 能力图谱抽象存储与多维查询模块（支持PG/Neo4j双图后端动态切换、BFS遍历、多维视图查询）；④ 多级语义检索与新兴岗位聚类发现模块（向量检索、RAG交叉验证、KMeans/DBSCAN双聚类）。

3、业务流程、功能路径描述：
系统业务流程为：多源数据采集输入 → 五阶段数据清洗流水线（去重、标准化、置信度过滤） → 大模型多模型交叉质检与仲裁 → 结构化提取入库 → 能力图谱抽象存储（关系型数据库+图数据库） → 语义向量检索与动态演化分析 → 前端G6渲染数据供给与可视化展示。

1、整体架构和设计思路，不同模块使用的技术栈：
整体采用分层架构。后端基于 Python + FastAPI 搭建，使用 SQLAlchemy 操作 PostgreSQL 与 PGVector，采用 Repository Pattern（GraphStoreABC） 实现 PG（递归CTE）与 Neo4j（Cypher）双图数据库可切换。数据清洗采用 Protocol + 策略模式 编排多阶段 ETL 管道；LLM 层封装统一模型调用工厂（兼容 DeepSeek/讯飞 Spark/智谱 GLM）；检索层使用 ChromaDB + BGE 模型 + BM25；部署采用 Docker 多阶段构建容器化。

2、“我”的负责模块和结果（尽可能量化）：
作为后端开发者，独立负责后端全链路开发：
① 搭建五阶段 ETL 清洗管道，单批处理 5000 条数据平均耗时 <3s，SimHash 去重准确率 95%+；
② 设计三层递进式 AI 幻觉防控体系，将虚假数据入库率控制在 5% 以下，累计拦截 200+ 条幻觉数据；
③ 实现能力图谱多维查询与 G6 渲染数据供给，支持千级节点+万级边的 Ego 网络实时查询（单次 <200ms）；
④ 搭建完整后端安全体系，包含 JWT 双 Token 认证、Redis 限流、全局异常处理等。

3、“我”遇到的难点、坑，和解决方案：
① 多模型输出格式不稳定：三家 LLM 自由文本输出导致评审结果解析失败。通过 JSON Schema 严格约束 + 异常捕获标记为 llm_error 触发仲裁层兜底，保证流水线不因单模型异常而中断。
② 图数据库切换成本高：初期 SQL 查询散落在各路由中耦合严重。重构为 GraphStore 抽象接口 + 工厂依赖注入，业务代码零感知底层切换，PostgreSQL 递归CTE 和 Neo4j Cypher 各自实现同一接口。
③ Redis 限流单点故障：Redis 宕机时限流完全失效。设计三级降级策略（Redis Lua 原子计数 → 内存 TTLCache → 直接拒绝 429），任何层级故障都不会导致限流功能完全丢失。