立项背景:客户拥有来自多个渠道的客户信息数据(CSV/Excel),格式混乱、存在大量重复和错误数据,无法直接用于分析和营销。
核心功能:
1. 导入多个 CSV/Excel 文件,自动识别列结构和数据类型
2. 去重逻辑:基于姓名+手机号模糊匹配,合并重复记录
3. 格式标准化:统一日期格式、电话号码格式、地址补全
4. 异常值检测:自动标记超出正常范围的数据项
5. 输出清洗后数据 + 清洗报告(哪些数据被修改/删除及原因)
处理 10000 行数据仅需约 30 秒。
整体架构:pandas 作为核心数据处理引擎,正则表达式处理文本格式清洗,模糊匹配算法处理重复记录识别。
我负责的内容:全流程开发和测试。实现了可配置的清洗规则(用户可选择启用/禁用特定规则),批量文件并发处理,以及详细的清洗日志输出。
核心难点:中文姓名和地址的模糊匹配。中文的同音字、简繁体差异导致精确匹配率极低。使用拼音转换 + Levenshtein 编辑距离算法实现了 95% 以上的去重准确率。