业务和功能介绍
背景：该项目是一个 Excel 数据导入、分析、联表查询与导出的 Web 平台，满足业务人员将不同来源 Excel 表格集中管理、筛选分析、关联匹配、合并导出的需求。
目标：构建轻量级自包含平台，让非技术人员在浏览器中完成 Excel 上传导入（自动去重）、数据浏览筛选、分组统计、两表关联查询（INNER/LEFT/RIGHT/FULL JOIN）、结果导出、多表合并导出。
功能模块：共五大模块。(1)认证安全：登录验证码（Java Graphics2D 绘制 3 位数字图片）、Session 认证、白名单过滤、5 次失败锁定。(2)Excel 导入：支持 .xlsx/.xls，MD5 去重，EasyExcel 流式解析，每 2000 行批量写入，全空行自动跳过，.xls 异常时降级 JExcel。(3)数据分析：500 条/页浏览、列筛选（含智能统计如最大最小值求和）、分组统计、列拖拽排序、列隐藏恢复、行删除。(4)联表查询：四步流程（选表→配字段→预估风险→执行 JOIN），风险检测覆盖笛卡尔积、膨胀系数、去重值重叠度，结果 10 万行硬截断保护，内存缓存 30 分钟自动过期。(5)导出：当前批次导出、筛选后明细导出、联表结果导出、多表合并导出，EasyExcel 带样式和冻结首行。前端共五个页面：login.html、index.html（主框架+侧边栏菜单+退出登录）、excel-import.html、excel-merge.html、excel-multi-join.html。
业务流程：导入流程为上传→MD5 查重→建批次→逐行解析→批量写入→完成统计。联表查询为选表→配关联字段→预估行数并校验风险→执行 JOIN（HashMap 键索引匹配）→缓存结果→分页展示筛选。数据分析采用 FilterStep 管道模型，每步操作记录为步骤对象，后端按顺序执行管道实现筛选分组的正确叠加。
目标：构建轻量级自包含平台，让非技术人员在浏览器中完成 Excel 上传导入（自动去重）、数据浏览筛选、分组统计、两表关联查询（INNER/LEFT/RIGHT/FULL JOIN）、结果导出、多表合并导出。
功能模块：共五大模块。(1)认证安全：登录验证码（Java Graphics2D 绘制 3 位数字图片）、Session 认证、白名单过滤、5 次失败锁定。(2)Excel 导入：支持 .xlsx/.xls，MD5 去重，EasyExcel 流式解析，每 2000 行批量写入，全空行自动跳过，.xls 异常时降级 JExcel。(3)数据分析：500 条/页浏览、列筛选（含智能统计如最大最小值求和）、分组统计、列拖拽排序、列隐藏恢复、行删除。(4)联表查询：四步流程（选表→配字段→预估风险→执行 JOIN），风险检测覆盖笛卡尔积、膨胀系数、去重值重叠度，结果 10 万行硬截断保护，内存缓存 30 分钟自动过期。(5)导出：当前批次导出、筛选后明细导出、联表结果导出、多表合并导出，EasyExcel 带样式和冻结首行。前端共五个页面：login.html、index.html（主框架+侧边栏菜单+退出登录）、excel-import.html、excel-merge.html、excel-multi-join.html。
业务流程：导入流程为上传→MD5 查重→建批次→逐行解析→批量写入→完成统计。联表查询为选表→配关联字段→预估行数并校验风险→执行 JOIN（HashMap 键索引匹配）→缓存结果→分页展示筛选。数据分析采用 FilterStep 管道模型，每步操作记录为步骤对象，后端按顺序执行管道实现筛选分组的正确叠加。
项目实现
架构：分层架构。MySQL 三表（批次/表头/数据行 30 列扁平存储）；MyBatis 数据层；Service 层采用门面模式，ExcelServiceImpl 统一入口协调六个子 Service（批次 CRUD、导入、筛选分组、联表查询、导出）；Controller 层 AuthController + BasicController；前端 DataTableComponent 通用表格组件通过桥接文件零侵入集成。
设计思路：门面模式使子 Service 职责单一；联表结果用 ConcurrentHashMap 缓存，守护线程每 5 分钟清理过期数据；安全上 LoginFilter 白名单 + Session 校验，登录后销毁旧 Session 防 Fixation，失败 5 次锁定账户，验证码消费即删防重放。
技术栈：后端 Spring Boot 2.6 + MyBatis + MySQL + Druid + EasyExcel + JExcelApi + Jackson；前端原生 JS + Bootstrap 5 + SortableJS + SheetJS。Java 1.8，端口 52099。
难点与解决：(1).xls 文件 POI 限制：捕获异常自动降级 JExcel 读取。(2)联表笛卡尔积：预估阶段三级风险预警 + 10 万行硬截断 + 定时清理缓存。(3)筛选分组状态链：FilterStep 管道模型，后端按序执行。(4)列智能类型识别：逐级判断身份证→电话→日期→数值，80% 阈值防误判。(5)表格组件复用：配置驱动 + 桥接模式覆盖旧函数。(6)自定义列映射：前端传 headersJson，后端构建 HashMap 映射写入。(7)Session 安全：白名单过滤 + 防 Fixation + 防暴力破解 + 禁持久化。
设计思路：门面模式使子 Service 职责单一；联表结果用 ConcurrentHashMap 缓存，守护线程每 5 分钟清理过期数据；安全上 LoginFilter 白名单 + Session 校验，登录后销毁旧 Session 防 Fixation，失败 5 次锁定账户，验证码消费即删防重放。
技术栈：后端 Spring Boot 2.6 + MyBatis + MySQL + Druid + EasyExcel + JExcelApi + Jackson；前端原生 JS + Bootstrap 5 + SortableJS + SheetJS。Java 1.8，端口 52099。
难点与解决：(1).xls 文件 POI 限制：捕获异常自动降级 JExcel 读取。(2)联表笛卡尔积：预估阶段三级风险预警 + 10 万行硬截断 + 定时清理缓存。(3)筛选分组状态链：FilterStep 管道模型，后端按序执行。(4)列智能类型识别：逐级判断身份证→电话→日期→数值，80% 阈值防误判。(5)表格组件复用：配置驱动 + 桥接模式覆盖旧函数。(6)自定义列映射：前端传 headersJson，后端构建 HashMap 映射写入。(7)Session 安全：白名单过滤 + 防 Fixation + 防暴力破解 + 禁持久化。
示例图片视频
相似推荐
风狗文化游戏模块测试（功能+性能+接口+兼容性）
风狗文化游戏模块是风狗文化二次元抽赏系统的一部分，包括8个游戏，分别为膨胀小动物、六边形元素消除、动物栅栏、方块飞上天、方块堆叠乐、冰雪跃动馆、蹦蹦抓鱼、投篮精英。覆盖小程序端，IOS端、安卓端。
农产品供应链项目-金桂农产品项目
负责优惠券模块和同步模块和优化系统架构，优化执行时间部署项目上线，然后测试bug，嗯，功能介绍就是农产品上下线对接然后发货物流便捷然后有那个供应商和客户对接，然后完成下单完成这个客户和供应商的一个对接
某2c电商平台-前后台
立项背景为按照公司业务发展需要，建设电商化交易平台。平台的主要功能有2c交易（包括用户中心，购物车。订单管理，物流管理，支付管理，结算管理，退换货管理，商户管理，店铺管理等功能），2b交易（采购管理，审批管理，支付结算，供应商管理，物流管理，运营分析等）
生鲜配送微信小程序-胡子哥配送
该项目面向本地生鲜配送业务，目标是为用户提供从选品到收货的一站式线上采购体验。小程序包含首页推荐、商品搜索、多级分类、登录后查看价格、购物车、下单支付、收货地址、订单管理及在线客服等功能；订单覆盖待接单、配货中、配送中、待支付和已完成等状态，方便用户清晰掌握采购与配送进度。
汽车大灯采购平台
本项目是一个面向汽车后市场的 汽配供应链综合服务平台 ，服务于修理厂、配件供应商三方，实现从报案定损到配件供应的全链路数字化。核心功能包括：
1. 修理厂管理 - 门店注册登录、微信小程序登录、多门店管理、品牌授权
2. 配件产品管理 - 配件搜索、OE号查询、VIN码OCR识别、品牌车型匹配、库存管理
3. 订单全流程 - 询价订单、销售订单、采购订单、配送订单，支持从询价到支付的全流程闭环
4. CRM送修管理 - 保险公司报案数据接入、送修策略匹配、批量维修订单处理
5. 财务账单 - 账单管理、微信支付集成、医保结算（EMSS）、对账管理
6. 即时通讯(IM) - 在线客服、消息管理、会话管理、离线消息
7. 积分系统 - 修理厂积分管理、积分赠送、积分记录
8. 物流管理 - 发货管理、物流回传、物流公司管理
9. 报表统计 - 销售统计、库存统计、区域汇总、业绩分析
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服