业务和功能介绍
1. 立项背景与目标
1.1 立项背景
合规驱动： 随着《数据安全法》、《个人信息保护法》以及各行业（电信、教育、医疗）数据安全管理规范的落地，客户必须完成“数据分类分级”工作，否则面临合规风险。
数据爆炸与人工瓶颈： 运营商、高校及医院积累了海量结构化（数据库）与非结构化（文档、影像）数据。传统人工梳理方式成本高、周期长、覆盖率低，且难以应对动态变化的数据。
安全治理需求： 客户无法识别哪些是核心资产，导致“一刀切”式管理，要么过度防护影响效率，要么防护不足导致泄露。需要通过自动化手段识别数据敏感度，实现精细化安全管理。
1.2 项目目标
自动化发现： 实现对多源异构数据资产（数据库、文件服务器、对象存储）的自动化扫描与发现。
智能化分类： 结合行业知识库与大模型（LLM）能力，实现数据自动打标与分类分级，准确率目标>90%。
安全联动： 基于分类结果，为不同级别数据提供差异化的安全策略（如脱敏、加密、访问控制），形成闭环管理。
降本增效： 将原本需要数周的人工梳理工作缩短至天级，降低合规成本。
2. 软件功能与核心功能模块介绍
本系统采用微服务架构，核心分为五大功能模块：
2.1 资产探测与连接管理模块
功能描述： 负责对接客户现有的 IT 基础设施。
核心能力：
支持主流数据库（MySQL, Oracle, PostgreSQL, SQL Server 等）连接。
支持文件系统（ftp、sftp）扫描。
增量扫描机制，监控新增或变更的数据资产。
连接凭证加密存储，确保扫描过程本身的安全性。
2.2 数据预处理与提取引擎（OCR）
功能描述： 将原始数据转换为大模型可理解的文本或向量。
核心能力：
结构化数据提取： 自动读取数据库表结构、字段注释及样本数据。
非结构化解析： 支持 Word, PDF, Excel, TXT 等格式解析。
OCR 识别： 内置高精度 OCR 引擎，识别图片、扫描件中的文字信息（如医疗影像报告、身份证照片）。
数据脱敏（预处理）： 在送入大模型前，对明显的敏感信息（如手机号）进行临时掩码，防止隐私泄露给模型。
2.3 智能分类分级引擎（核心 AI 模块）
功能描述： 系统的“大脑”，负责判断数据类别和敏感级别。
核心能力：
行业知识库管理： 内置运营商、教育、医疗行业的分类分级模板（如：患者隐私属于 L3 级，公开课程属于 L1 级），支持客户自定义。
大模型推理： 调用私有化部署或安全 API 的大模型，结合知识库对数据片段进行语义分析。
规则 +AI 双引擎： 支持正则匹配（如身份证格式）与 AI 语义理解相结合，提高准确率。
置信度评分。
1.1 立项背景
合规驱动： 随着《数据安全法》、《个人信息保护法》以及各行业（电信、教育、医疗）数据安全管理规范的落地，客户必须完成“数据分类分级”工作，否则面临合规风险。
数据爆炸与人工瓶颈： 运营商、高校及医院积累了海量结构化（数据库）与非结构化（文档、影像）数据。传统人工梳理方式成本高、周期长、覆盖率低，且难以应对动态变化的数据。
安全治理需求： 客户无法识别哪些是核心资产，导致“一刀切”式管理，要么过度防护影响效率，要么防护不足导致泄露。需要通过自动化手段识别数据敏感度，实现精细化安全管理。
1.2 项目目标
自动化发现： 实现对多源异构数据资产（数据库、文件服务器、对象存储）的自动化扫描与发现。
智能化分类： 结合行业知识库与大模型（LLM）能力，实现数据自动打标与分类分级，准确率目标>90%。
安全联动： 基于分类结果，为不同级别数据提供差异化的安全策略（如脱敏、加密、访问控制），形成闭环管理。
降本增效： 将原本需要数周的人工梳理工作缩短至天级，降低合规成本。
2. 软件功能与核心功能模块介绍
本系统采用微服务架构，核心分为五大功能模块：
2.1 资产探测与连接管理模块
功能描述： 负责对接客户现有的 IT 基础设施。
核心能力：
支持主流数据库（MySQL, Oracle, PostgreSQL, SQL Server 等）连接。
支持文件系统（ftp、sftp）扫描。
增量扫描机制，监控新增或变更的数据资产。
连接凭证加密存储，确保扫描过程本身的安全性。
2.2 数据预处理与提取引擎（OCR）
功能描述： 将原始数据转换为大模型可理解的文本或向量。
核心能力：
结构化数据提取： 自动读取数据库表结构、字段注释及样本数据。
非结构化解析： 支持 Word, PDF, Excel, TXT 等格式解析。
OCR 识别： 内置高精度 OCR 引擎，识别图片、扫描件中的文字信息（如医疗影像报告、身份证照片）。
数据脱敏（预处理）： 在送入大模型前，对明显的敏感信息（如手机号）进行临时掩码，防止隐私泄露给模型。
2.3 智能分类分级引擎（核心 AI 模块）
功能描述： 系统的“大脑”，负责判断数据类别和敏感级别。
核心能力：
行业知识库管理： 内置运营商、教育、医疗行业的分类分级模板（如：患者隐私属于 L3 级，公开课程属于 L1 级），支持客户自定义。
大模型推理： 调用私有化部署或安全 API 的大模型，结合知识库对数据片段进行语义分析。
规则 +AI 双引擎： 支持正则匹配（如身份证格式）与 AI 语义理解相结合，提高准确率。
置信度评分。
项目实现
1.整体架构和 设计思路，不同模块使用的技术栈
在设计之初，我们确立了四大核心原则，以确保系统在企业级环境中的落地能力：
数据不出域 (Data Sovereignty)： 所有敏感数据的扫描、提取、分析均在客户内网完成。若需使用公有大模型，必须经过严格的脱敏网关；首选支持私有化大模型部署。
只读非侵入 (Read-Only & Non-Intrusive)： 扫描探针（Agent）对源数据库/文件系统仅拥有只读权限，且具备流量控制（Rate Limiting），确保不影响客户业务系统的正常运行。
人机协同 (Human-in-the-Loop)： 承认 AI 的局限性，设计“机器预分类 + 人工复核”机制，确保分类结果的准确性和可解释性。
合规可审计 (Compliance & Audit)： 所有操作留痕，分类依据可追溯，满足《数据安全法》及行业审计要求。
技术栈：java、vue、python、模型（通义千问本地部署）
2.我负责的模块和结果
作为研发负责人，工作职责分类研发管理和功能开发两部分，
研发管理：对接产品经理、项目经理，管理研发、跟进进度、设计选型
功能开发：数据自动化采集、非结构化数据解析、分类任务调度
1.我遇到的难点、坑和解决方案
难点1：数据库适配复杂度高，数据库的多样性，国内企业因为信创的要求，客户大多用的是国产数据库比如人大金仓、gbase等，
解决方案：设计通用化数据库连接模块；
难点2：客户文件系统中文件数量庞大，下载和解析文件消耗是时间久
解决方案：设计文件系统连接池模块做到连接动态复用、文件解析高并发，提升解析效率
难点3：客户服务器普遍配置低，系统运行需要保证稳定性和减少资源消耗
解决方案：设计上定主基调，简化流程、减少中间件和第三方组件使用，优化数据表设计、数据库查询
在设计之初，我们确立了四大核心原则，以确保系统在企业级环境中的落地能力：
数据不出域 (Data Sovereignty)： 所有敏感数据的扫描、提取、分析均在客户内网完成。若需使用公有大模型，必须经过严格的脱敏网关；首选支持私有化大模型部署。
只读非侵入 (Read-Only & Non-Intrusive)： 扫描探针（Agent）对源数据库/文件系统仅拥有只读权限，且具备流量控制（Rate Limiting），确保不影响客户业务系统的正常运行。
人机协同 (Human-in-the-Loop)： 承认 AI 的局限性，设计“机器预分类 + 人工复核”机制，确保分类结果的准确性和可解释性。
合规可审计 (Compliance & Audit)： 所有操作留痕，分类依据可追溯，满足《数据安全法》及行业审计要求。
技术栈：java、vue、python、模型（通义千问本地部署）
2.我负责的模块和结果
作为研发负责人，工作职责分类研发管理和功能开发两部分，
研发管理：对接产品经理、项目经理，管理研发、跟进进度、设计选型
功能开发：数据自动化采集、非结构化数据解析、分类任务调度
1.我遇到的难点、坑和解决方案
难点1：数据库适配复杂度高，数据库的多样性，国内企业因为信创的要求，客户大多用的是国产数据库比如人大金仓、gbase等，
解决方案：设计通用化数据库连接模块；
难点2：客户文件系统中文件数量庞大，下载和解析文件消耗是时间久
解决方案：设计文件系统连接池模块做到连接动态复用、文件解析高并发，提升解析效率
难点3：客户服务器普遍配置低，系统运行需要保证稳定性和减少资源消耗
解决方案：设计上定主基调，简化流程、减少中间件和第三方组件使用，优化数据表设计、数据库查询
示例图片视频
相似推荐
爬取boss平台数据简历分析-ai职选
一、立项背景和目标 — 讲了求职者面临的海投回复率低、信息分散、缺乏量化评估三个痛点，以及 AI 职选如何解决这些问题。
二、软件功能与核心功能模块 — 分五个模块说明：
- 数据采集模块（公司详情页/职位详情页/列表页三种采集方式）
- 数据管理模块（暗色主题后台、批量更新、CSV 导出）
- AI 对话模块（多模型、流式输出、语音输入、文件上传）
- AI 数据分析模块（行业分析、薪资分析、报告生成）
- 简历优化与概率评估模块（四步流程、三维度评分）
三、业务流程与功能路径 — 分四个流程描述：
- 采集业务流程（从打开网页到数据存储的完整路径）
- AI 分析业务流程（勾选→分析→出报告）
- AI 对话业务流程（配置模型→提问→流式回复）
- 简历优化业务流程（输入简历→选目标→AI优化→概率评分）
魔方报表系统 (Mocube Report System)
魔方报表管理系统是一套面向教育机构的全栈数据管理平台。系统涵盖报表设计（可视化字段拖拽配置）、数据收集（在线填报与附件上传）、多级审批流程（支持印章选择与审批意见）、统计分析（图表展示与 Excel 导出）、考试测评（自动计分与成绩管理）以及系统管理（用户、角色、组织、权限的精细化配置）六大核心模块。适用于学校、教育局等机构的数据上报、绩效考核、问卷调研等场景，实现从表单设计到数据审核的全流程线上化管理。
NW低代码平台
● 项目描述：
一款面向企业内部和客户的企业级低代码平台，旨在通过可视化拖拽和配置的方式，快速构建OA、CRM、ERP等各类中后台管理系统。平台核心包含表单设计器、流程引擎、仪表盘、权限管理等模块，极大降低了开发门槛，提升了业务需求的交付速度。
印刷报价系统
当前中小印刷企业及商户普遍依赖人工核算报价，存在报价效率低、误差大、标准不统一等问题，且新人上手难、客户流失率高，业务与客户数据缺乏数字化管理，难以支撑企业精细化经营。为解决行业报价痛点，特立项开发印刷报价系统。
项目旨在搭建标准化智能报价体系，支持参数配置、智能报价、单据及客户管理、数据统计与权限管控，可实现快速精准报价、数据统一留存。有效提升业务办理效率，规范经营流程，为企业成本管控和业务优化提供数字化支撑。
可配置化多类型Agent智能体管理后台
核心业务场景（业务价值）
1. 零代码快速定制多类型智能体场景
针对企业不同岗位、不同业务线的差异化AI需求，摆脱传统依赖算法开发、代码迭代的落地模式。业务人员可通过可视化配置方式，快速搭建专属智能体，覆盖知识库问答Agent、办公自动化Agent、数据处理Agent、合规审核Agent、客服接待Agent、流程调度Agent等多种类型。
2. 企业多智能体统一管控与资源复用场景
解决企业多AI智能体分散部署、独立运行、资源无法互通、能力无法复用的问题。平台汇聚所有业务智能体，实现统一注册、统一管理、统一调度、统一运维。已配置的模型能力、工具插件、知识资源、流程模板可一键复用、快速复刻，支持同类型业务场景批量复制部署，大幅提升企业AI应用的迭代效率与复用率。
3. 智能体业务流程自动化协同场景
支持单智能体独立作业与多智能体联动协同，可配置串联、并联、分支判断等业务逻辑，搭建完整的AI自动化工作流。可实现“知识检索-数据分析-内容生成-合规校验-报表输出-消息推送”的全链路自动化，替代传统人工串联多系统、多工具的重复工作，适配企业复杂、长链路的常态化办公与业务流程。
平台核心功能模块
1. 可视化可配置智能体搭建模块
平台核心核心能力，支持零代码/低代码可视化搭建各类AI Agent。提供可视化配置面板，支持基础信息自定义、角色人设配置、Prompt模板编辑、模型参数可调、知识库绑定、工具插件选配、应答规则设置、上下文阈值配置等功能。支持自由组合能力模块，可快速生成适配不同业务的专属智能体，无需研发介入，业务自主即可完成配置、调试、上线全流程操作。
2. 多类型智能体统一管理模块
支持全品类智能体统一接入与分类管理，涵盖RAG知识库问答Agent、工具调用自动化Agent、数据解析处理Agent、合规审核Agent、对话交互Agent、多智能体协同工作流等多种类型。提供智能体列表、状态管理、版本管理、上下线管控、分类标签、资源归属配置能力，支持单个智能体精细化编辑与批量管理，实现企业所有AI智能体的集约化管控。
3. 智能体插件与工具生态模块
内置丰富的通用业务工具插件库，包含文档处理、数据统计、文本生成、格式转换、内容审核、报表生成、消息推送等常用工具，支持一键挂载至对应智能体。同时支持自定义插件接入、第三方工具对接、私有业务接口适配，可根据企业个性化业务需求持续拓展工具生态，让智能体能力可无限迭代、按需拓展。
4. 多智能体协同工作流配置模块
支持可视化拖拽搭建多智能体协同工作流，可自定义任务拆解逻辑、执行顺序、条件分支、循环调度、结果回调规则。实现多个不同能力的智能体联动协作，完成单一智能体无法覆盖的复杂复合型业务任务，适配企业复杂办公流程、业务审核流程、数据处理流、项目复盘流程等场景，真正实现AI全流程自主作业。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服