这是一个自主开发的表格数据清洗演示项目,面向需要重复整理 Excel、CSV 文件的办公场景。工具支持清除文本首尾空格、删除空白行、按照用户指定的列去除重复记录,并将处理结果保存为新文件,避免覆盖原始数据。用户通过命令行指定源文件、去重列和输出位置即可运行,适合客户名单、商品资料、订单记录等结构化表格的批量预处理。当前支持 CSV 和 XLSX 格式,后续可根据具体需求增加字段转换、表格合并和异常数据标记等规则。
项目使用 Python 开发,将程序划分为参数校验、数据读取、内容标准化、空行过滤、指定列去重和结果写出等模块。CSV 文件使用标准库 csv 处理,XLSX 文件使用 OpenPyXL 读写;程序默认生成独立结果文件,并主动阻止覆盖源文件。
我负责需求定义、程序设计、编码、测试样例和使用文档。实现过程中重点处理了 UTF-8 BOM 编码、空单元格、重复键、列号越界、空文件和缺少依赖等情况。核心清洗逻辑与文件读写逻辑相互分离,方便按照不同客户的规则扩展。项目配有自动化测试,已验证文本空格清理、空行删除、指定列去重和表头保留功能;演示数据由 5 行记录清洗为 3 行有效记录。