建设库-建筑大数据平台

一、立项背景和目标
建筑/基建行业信息高度分散，四库一平台、招投标公告、土地交易、水利监管/信用、企业信用等来源口径不一，检索成本高、真实性难校验；竞对研究与合作风控缺少统一证据链；项目前置研判和商机捕获滞后。
目标：打造一站式权威数据平台，提供组合查询、主体画像、项目全生命周期追踪、区域宏观研判与风控预警，支撑市场拓展与投标决策，沉淀可追溯的合规数据资产。
二、软件功能与核心模块
组合查询与分面检索：围绕企业、业主、集团、城投、人员、项目、业绩、标讯等对象，支持多条件叠加、区间过滤与聚合统计，快速定位目标与商机。
主体画像与风控：资质等级、历史业绩、信用/司法风险、债务资产、在建人员、荣誉奖项、供应商关系与合作历史，输出风险标签与可解释明细，辅助准入与授信。
业绩与招投标：四库业绩、中标/全网业绩、开标记录、代理项目、竞对报价分析、项目分包机会，纵向核验能力，横向洞察价格带与竞对策略。
项目与商机：重点项目清单、政府专项债、拟建项目、大项目商机、业主拿地信息、全国土地市场，形成“拿地→规划→招投标→在建”的线索闭环与订阅推送。
区域经济与政策：全国/地区经济大全、产业结构、政策规划、公路/水利等专题，构建地区画像指数，评估区域信用与投资活跃度，支撑布局与报价。
订阅、导出与分享：条件保存、订阅推送、批量导出、分享链接，提升团队协作与复用效率。
三、业务流程与功能路径
市场拓展：选定地区/行业 → 组合查询标讯/拟建 → 锁定业主/城投 → 查看历往项目与预算 → 保存条件并订阅 → 商机跟进与转化。
投标决策：输入资质/金额/工期等 → 检索开标记录与竞对报价 → 评估分包机会与伙伴匹配 → 生成清单导出 → 复核后执行投标。
合作风控：查业主/城投 → 查看债务/司法/信用与负面舆情 → 风险标签与阈值预警 → 形成准入结论与留痕。
竞对分析：查企业/人员在建/荣誉信用 → 找到满足资质的竞对与可用人员 → 构建竞对画像 → 反向指导策略与定价。

一、整体架构与设计思路（含技术栈）
分层：数据采集→数据治理→索引检索→业务服务→前端展示→权限计费→监控告警。解耦可水平扩展，核心路径全链路可观测。
前端：Vue3 + Vite + JavaScript + Pinia + Vue Router + Element Plus + ECharts，列表虚拟滚动、分面过滤、条件保存与订阅。
后端：Java Spring Boot（分层/限流/灰度）+ MyBatis-Plus（读写分离）+ Quartz（抓取与预计算）+ Redis（结果/会话缓存）+ Elasticsearch（可选：分面聚合与全文检索）。
数据库：MySQL 8（范式化+二级索引+物化聚合表/视图、冷热数据分层、备份与迁移）。
模块：组合查询与聚合、企业/业主/城投画像、四库/中标/全网业绩库、项目全生命周期（拟 建-招标-中标-在建-竣工）、区域经济与政策知识库、风控与评分、导出与订阅。
二、“我”负责的模块与结果
组合查询与索引优化：引入条件签名缓存、预聚合与分页游标，P95 响应控制在 <1s，QPS 提升约2.5倍；复杂报表查询超时率降低至 <0.5%。
项目与标讯统一模型：打通“业绩/标讯/项目”多源键，按阶段建时间线与增量更新；商机订阅命中率提升约40%，数据回填耗时缩短约60%。
画像与风控规则库：沉淀资质/信用/司法/人员在建等特征，输出可解释风险标签；命中准确率提升约30%，人工复核量下降约50%。
导出与异步任务：大数据导出改流式与分片合并，平均等待时长下降约70%，失败率<0.3%。
三、“我”遇到的难点、坑、与解决方案
多源数据不一致与消歧困难：建立主数据（企业/业主/城投/人员）+相似度匹配（名称/统一社信码/地理/联系方式），灰度上线+回放校验，冲突自动标注与人工兜底。
复杂检索延迟高：热点条件结果缓存（Redis）+预计算榜单，长尾查询走 ES 分面/倒排，MySQL 建联合/覆盖索引并改写 SQL；慢查询告警+执行计划审计。
公告结构频繁变动：模板回归测试+多引擎抽取（规则/正则/轻量NLP），失败样本自动入库复训；新增字段优雅降级并补偿重采。
大批量导出与并发：异步队列+进度轮询，分片压缩与断点续传，网关限流与租户配额隔离，避免“雪崩”与资源争用。
合规与安全：敏感字段脱敏/水印，审计日志全链路；权限按功能/数据域/导出维度细粒度控制，异常访问实时告警。