业务和功能介绍
业务和功能介绍
立项背景与目标
针对乳腺癌临床诊断中存在的主观性强、效率低下、多模态数据（超声/钼靶/文本）难以整合三大痛点，本项目旨在开发一套基于多模态融合模型的乳腺病变智慧诊断系统。核心目标是通过AI实现病灶的精准、自动识别与分类，为医生提供高效的“第二意见”，助力提升早期诊断率。
软件功能与核心模块
本系统是一个端到端的智能辅助诊断平台，其核心智能由我主导的数据与算法引擎驱动：
多模态数据预处理模块：自动标准化处理DICOM影像与临床文本，为模型提供“干净数据”。
AI智能分析引擎（核心）：
病灶分割模块：精准勾勒病灶边界。
多模态融合分类模块：深度融合影像与文本特征，实现良恶性判别与BI-RADS分级。
结构化报告生成模块：一键输出含关键特征与诊断建议的标准化报告。
业务流程与路径
数据输入：医生前端上传患者多模态数据。
智能分析：后台自动完成数据预处理、特征提取与多模态融合分析。
决策辅助：界面直观展示分割结果、可解释热力图、分类结论及结构化报告。
立项背景与目标
针对乳腺癌临床诊断中存在的主观性强、效率低下、多模态数据（超声/钼靶/文本）难以整合三大痛点，本项目旨在开发一套基于多模态融合模型的乳腺病变智慧诊断系统。核心目标是通过AI实现病灶的精准、自动识别与分类，为医生提供高效的“第二意见”，助力提升早期诊断率。
软件功能与核心模块
本系统是一个端到端的智能辅助诊断平台，其核心智能由我主导的数据与算法引擎驱动：
多模态数据预处理模块：自动标准化处理DICOM影像与临床文本，为模型提供“干净数据”。
AI智能分析引擎（核心）：
病灶分割模块：精准勾勒病灶边界。
多模态融合分类模块：深度融合影像与文本特征，实现良恶性判别与BI-RADS分级。
结构化报告生成模块：一键输出含关键特征与诊断建议的标准化报告。
业务流程与路径
数据输入：医生前端上传患者多模态数据。
智能分析：后台自动完成数据预处理、特征提取与多模态融合分析。
决策辅助：界面直观展示分割结果、可解释热力图、分类结论及结构化报告。
项目实现
项目实现
整体架构与技术栈
项目采用三层架构，我核心技术栈如下：
数据处理层：Python (PyTorch, OpenCV)，用于医学影像处理与数据增强。
核心算法层：
视觉模型：基于 PyTorch 框架，使用 ResNet 与 U-Net 进行影像特征提取与分割。
文本模型：采用预训练的 BERT 模型提取文本语义特征。
融合模型：自建网络，利用 交叉注意力机制 实现特征级融合。
应用层：使用 FastAPI 将模型封装为高性能接口。
我的负责模块与量化结果
我全面负责数据处理管道搭建与核心多模态融合算法的研发。
数据工程成果：我构建了自动化数据处理流水线，高效处理了5000+例多模态数据，通过清洗与增强策略，将数据集质量提升了30%，为模型训练奠定了坚实基础。
算法性能成果：
我实现的病灶分割模型，在测试集上的 Dice系数达到0.87，精度满足临床测量需求。
我设计的多模态融合分类模型，在核心的良恶性分类任务上，取得了 AUC 0.98、准确率95.2% 的优异性能，显著优于单一模态模型。
技术难点与解决方案
难点一：多模态数据对齐与缺失。临床数据常出现模态缺失或不对应。
解决方案：我设计了灵活的多源数据加载器，并采用决策级融合作为后备方案，当某一模态缺失时，系统能自动降级为其他可用模态的决策融合，保证了系统的鲁棒性。
难点二：融合策略效果不佳。简单的特征拼接性能提升有限。
解决方案：我深入研究了注意力机制，成功引入并实现了跨模态注意力融合模块，让模型能自主学习不同模态信息间的关联与权重，最终将融合模型的分类准确率提升了约5%。
整体架构与技术栈
项目采用三层架构，我核心技术栈如下：
数据处理层：Python (PyTorch, OpenCV)，用于医学影像处理与数据增强。
核心算法层：
视觉模型：基于 PyTorch 框架，使用 ResNet 与 U-Net 进行影像特征提取与分割。
文本模型：采用预训练的 BERT 模型提取文本语义特征。
融合模型：自建网络，利用 交叉注意力机制 实现特征级融合。
应用层：使用 FastAPI 将模型封装为高性能接口。
我的负责模块与量化结果
我全面负责数据处理管道搭建与核心多模态融合算法的研发。
数据工程成果：我构建了自动化数据处理流水线，高效处理了5000+例多模态数据，通过清洗与增强策略，将数据集质量提升了30%，为模型训练奠定了坚实基础。
算法性能成果：
我实现的病灶分割模型，在测试集上的 Dice系数达到0.87，精度满足临床测量需求。
我设计的多模态融合分类模型，在核心的良恶性分类任务上，取得了 AUC 0.98、准确率95.2% 的优异性能，显著优于单一模态模型。
技术难点与解决方案
难点一：多模态数据对齐与缺失。临床数据常出现模态缺失或不对应。
解决方案：我设计了灵活的多源数据加载器，并采用决策级融合作为后备方案，当某一模态缺失时，系统能自动降级为其他可用模态的决策融合，保证了系统的鲁棒性。
难点二：融合策略效果不佳。简单的特征拼接性能提升有限。
解决方案：我深入研究了注意力机制，成功引入并实现了跨模态注意力融合模块，让模型能自主学习不同模态信息间的关联与权重，最终将融合模型的分类准确率提升了约5%。
示例图片视频
相似推荐
感知群控服务
项目背景：为 100 + 商业项目、500 万 + 设备提供智能化管控(覆盖 3D/2D模型图/系统图、各种看板/报警、报表、实时刷新等)，需解决云边网络波动、单项目1.2 亿条 / 日 IOT 数据高吞吐接入、业务快速适配问题。
核心挑战：断网时控制指令丢失、每秒 2000 + iot数据接入,延迟、新设备接入周期长（原 15 天）。
智能心理健康管理系统-特色智能心理健康
基于 Spring Boot 3 + Vue 3 + MySQL 的多角色心理健康平台，聚合 AI 咨询、情绪日记、主题房间、医患沟通与后台运营能力。
### 已实现功能 ()
用户认证与授权（JWT + 角色权限）
情绪日记系统（CRUD + 天气匹配 + 统计）
症状记录与追踪
AI 智能问答（阿里 DashScope 集成）
AI 综合评估报告生成
时间胶囊（写信/解锁/回信/推荐）
心情树洞（匿名发布/定期清理）
房间装饰系统（解锁/放置/主题）
主题成长体系（多主题解锁）
心理资源推荐（协同过滤算法）
医患关系管理（认领/释放/审批）
患者公海机制
在线咨询会话管理
管理员审批工作流
WebSocket 实时通信
预约管理系统
系统通知与公告
多角色布局（患者/医生/管理员）
### 患者体验 (15个页面)
- **账号体系**：注册/登录/注销、个人资料维护、修改密码、医生名录浏览 (`UserController`)。
- **情绪与症状追踪**：`MoodDiaryController` / `SymptomRecordController` 支持写日记、管理症状、查看历史、统计最近 7/30 天趋势以及天气背景自动匹配。
- **互动社区**：`MoodCommentController` 允许在情绪日记下评论、表态并计入主题解锁数据；`TreeHoleController` 提供条件解锁、心情阈值控制的树洞记录，后台定期清理过期内容。
- **时间胶囊**：`TimeCapsuleController` 负责写信、定时解锁、AI 推荐信件类型、回信与阅读历史；`TimeCapsuleService` 自动检查可解锁条目并记录情绪触发信息。
- **房间与主题**：`RoomDecorationController` + `UserThemeConfigService` 搭建 13+ 装饰、8 套主题的收藏、拖拽、解锁与白/黑天光模式统计，配合 `soundService.ts`、`hapticService.ts` 提升沉浸感。
- **AI 服务**：`AIController` 面向问答、聊天记录、赞踩反馈以及 AI 生成综合评估报告（拉取最近日记作为上下文，支持 DashScope 和 mock）。
- **资源推荐**：`RecommendationController` 联合 `CollaborativeFiltering` 算法与 `mental_resource` / `resource_view_record` 数据，推送文章、音频、视频等内容并记录交互行为。
- **医患沟通**：`ChatController` + WebSocket 支持实时沟通，患者端 `Chat.vue
某电商企业内部管理系统
1、基于公司内部管理需求，设计并研发系统，持续迭代及运维
2、包含人事及考勤排班、电商项目管理、crm、合同、收入支出资金、客户佣金结算、采购及资产、报表、运营绩效提成、工单工时、AI设计、AI短视频，以及其他等约30个大模块。
1. 秋时WMS开发
1.主要负责与客户的ERP系统对接，包括销售、仓库、采购、生产等部门涉及到的全部仓库调拨操作，实现客户在WMS与ERP数据交换传输过程中始终保持双方数据的一致性。
2.编写对接方案和制定字段对照表，确定数据格式等内容
3.实现客户的定制化需求，在odoo基础上进行二次开发，重点实现仓库人员与ERP的生产人员在生产发料时，关于拆分的同步和对接的难点
基于Dart和Flutter 的安卓仓储移动端扫描程序-移动仓储管理系统
1.基于方便管理部品的入出库和库存管理,详细设计了一套从部品包装到入库,从打包到物流出库的一整套入出库流程
2.用带二维码的防伪标签作为唯一标识,设置单部品数量,计算库存叠加,入出库计算;用扫码的方式快速获取所需的数据信息进行入出库,数据同步到web端实现出库-入库的完整流程可视化,并且部分操作可以网页端操作.
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服