多源异构数据驱动岗位能力图谱构建与动态演化分析平台
1、立项背景和目标:
针对招聘市场数据分散、技能体系混乱以及新兴岗位识别滞后的行业痛点,立项构建多源异构数据驱动的岗位能力图谱构建与动态演化分析平台。旨在解决招聘信息非结构化、数据质量参差不齐的问题,实现从多源数据采集、清洗、质检到图谱自动构建与动态追踪的全链路闭环,为招聘市场提供高精度的岗位能力画像与演化分析。
2、软件功能、核心功能模块:
平台核心包含四大模块:① 多源异构数据采集与五阶段清洗模块(SimHash去重、技能标准化、多源交叉验证、去通胀检测等);② 三层递进式AI幻觉防控质检模块(多模型并行评审、分歧仲裁、人工兜底);③ 能力图谱抽象存储与多维查询模块(支持PG/Neo4j双图后端动态切换、BFS遍历、多维视图查询);④ 多级语义检索与新兴岗位聚类发现模块(向量检索、RAG交叉验证、KMeans/DBSCAN双聚类)。
3、业务流程、功能路径描述:
系统业务流程为:多源数据采集输入 → 五阶段数据清洗流水线(去重、标准化、置信度过滤) → 大模型多模型交叉质检与仲裁 → 结构化提取入库 → 能力图谱抽象存储(关系型数据库+图数据库) → 语义向量检索与动态演化分析 → 前端G6渲染数据供给与可视化展示。
企业内部管理