程序聚合 软件案例 专利数据库建库与检索优化(5007 万条 110GB)-cn_patent_db

专利数据库建库与检索优化(5007 万条 110GB)-cn_patent_db

2026-11-08 12:00:11
行业:大数据、企业服务(saas)
载体:云服务/云平台
技术:Python、SQL、MySQL

业务和功能介绍

一、立项背景与目标
本项目面向专利数据研究工作,将 CNIPA 公开的中国专利数据(40 个 CSV 文件,合计 110 GB,5007 万条记录)导入 MySQL 8.0.28,建立可供研究分析使用的关系型数据库。
目标为支持三类分析需求:按城市、年份、专利类型组合检索单条专利记录;按城市与年份进行分组聚合统计;保留原始数据以便回溯核验。

二、功能模块
1. 数据导入模块
按文件分批解析源数据,处理字段数不一致(34 列为主,部分年份存在尾部空列或额外列)、UTF-8 BOM 头、CRLF 换行与控制字符等异常。
2. 清洗与建模模块
统一字段语义;城市字段存在 440 种写法(含「北京市」与「北京」并存、台湾县市、省直辖县级市等),经映射表归并为标准城市名;按申请号、专利类型、城市、申请年组合去重,区分「申请公开」与「授权公告」两类记录。
3. 检索与聚合模块
在城市与年份维度建立复合索引,提供明细查询与分组聚合两类接口。
4. 数据校验模块
采用逐文件行数核对、与官方年报比对、内部行数等式三种方式验证数据完整性。

三、业务流程
源文件分批解析 → 装入暂存表 → 字段标准化 → 城市名归并 → 去重 → 生成主表 → 建立索引 → 三层校验 → 对外提供查询接口。

项目实现

一、整体架构
数据库为 MySQL 8.0.28,存储引擎 InnoDB,共 9 张表。主表 patent_clean 存储清洗后数据,数据量 157.57 GB,行数 5007 万,索引占用 5.94 GB。原始底库 patent 保留全部 37 列明细,数据量 123.66 GB,用于回溯。其余 7 张表为聚合结果表、城市映射表与装载进度台账。

二、负责模块与量化结果
1. 数据导入。41 个源文件全部导入,逐文件核对解析记录数与库内行数,41/41 一致。
2. 锁表问题处理。INSERT ... SELECT 在 REPEATABLE READ 隔离级别下对每行加共享锁,触发 ERROR 1206(锁表溢出),事务回滚。经 INNODB_TRX 确认锁定行数为 79,628,448。调整 binlog_format 为 ROW、隔离级别为 READ COMMITTED 后,锁定行数降至 15,550,事务正常完成。
3. 索引优化。未建索引时按城市与年份查询超过 120 秒并触发 Error 2013(客户端超时)。通过在线 DDL 增加 (city, app_year) 复合索引(ALGORITHM=INPLACE,LOCK=NONE,执行期间不阻塞写入),降至 0.03 秒。
4. 断点续跑。装载按 40 万行分块提交,每块完成后写入进度台账 etl_chunk_progress。断电重启后从未完成分块继续,不重复导入。
5. 数据校验。逐文件行数核对;与 CNIPA 官方年报比对;内部行数等式 59,512,027 − 705,360 − 675,935 − 86 = 58,130,732,与按专利类型分项之和一致。

三、难点与解决方案
1. 年报比对口径。官方年报「合计」栏包含国外申请(2006 年国外占比约 42%),直接比对会得出数据缺失过半的错误结论,故采用「国内」栏。
2. 覆盖率差异。发明申请 84.6% 至 99.6%(2017 年起官方口径由受理量改为申请量);实用新型 71% 至 94%(本库收录授权公告记录);外观设计 60% 至 90%(部分申请未公开)。差异均源于统计口径,已在数据说明中记录。
3. 服务关闭静默失败。mysqladmin shutdown 因配置参数残留未生效,脚本未检查返回码,导致误判为已关闭。改用 SQL SHUTDOWN,并增加 3306 端口探测确认连接断开。

示例图片视频


hello lifelong
24小时内活跃
方向: 爬虫/脚本-爬虫/脚本、Rpa-Rpa、
交付率:100.00%
相似推荐
智慧书童-智慧书童小程序
1、智慧书童是一款伴读小程序,帮助孩子坚持打卡学习 2、主要分为学生,家长,教师三个角色, 学生:每天打卡积分,积分可换头像,可以提升等级,完成老师和家长布置的学校和家庭作业,记录错题 家长:可以布置各科作业和家庭任务,查看孩子成绩统计,错题统计 老师:布置学校任务和作业,布置考试,查看各个学生作业的完成情况
基于多模型大语言模型的 AI 对话助手-ChatPilot
ChatPilot 是一款面向移动端的多模型 AI 对话助手,用 Flutter 构建一套代码同时覆盖 Android、iOS 与 Web。项目目标是做一个离线可演示、上线可扩展的聊天工具:用户不绑定单一模型,可在 Mock 离线流与 DeepSeek、GPT-4o、Claude 3.5、Gemini 1.5 之间切换,并按 General、Translator、Writer、Engineer、Tutor 五种角色预设调整对话风格。核心模块包括会话管理、角色选择、多模型流式对话、语音听写、Markdown 消息渲染、API 密钥与语音设置,以及可选的 Supabase 云端同步。典型流程为:打开应用进入本地会话列表,选择角色与模型后输入文字或语音发送,助手逐段流式返回并可中途停止;会话默认保存在本机,登录邮箱账号后再与云端历史按时间合并同步。
习惯提醒与决策辅助工具-冲动红绿灯
1、立项背景和目标: 针对现代人容易产生冲动消费或难以坚持习惯的痛点,立项开发一款轻量级决策辅助工具。目标是提供极简的交互体验,帮助用户建立条件反射,在关键时刻提供预警。 2、软件功能、核心功能模块: 核心功能包括“冲动预警灯”(用户自定义冲动场景,触发时弹出提醒)、“习惯打卡记录”(追踪习惯养成进度)以及“趣味决策转盘”(辅助日常选择困难)。 3、业务流程、功能路径描述: 用户进入小程序后,首先在首页设置需要提醒的习惯或冲动场景;在触发场景时,点击首页的大红绿灯按钮,系统会弹出冷静提示语;日常可通过底部的导航栏查看历史打卡数据和决策结果。
个人博客网站开发-Personal Blog
本项目是一个基于 Astro 框架开发的个人博客网站,主要用于个人展示、技术文章发布和学习成果记录。项目旨在搭建一个简洁、易于维护、具有良好阅读体验的个人内容平台。 网站主要包含以下功能模块: 1. 首页展示:提供网站导航、个人介绍、最新文章展示等内容,方便访客快速了解网站。 2. 博客管理:通过 Markdown 文件维护文章内容,实现文章列表展示、文章详情访问和动态路由。 3. 响应式布局:针对电脑、平板和手机等不同屏幕尺寸进行页面适配,优化不同设备上的浏览体验。 4. 明暗主题:支持浅色与深色主题切换,统一管理页面颜色、背景及交互样式。 5. 代码高亮:使用 Shiki 实现文章代码块的语法高亮,并适配不同主题。 6. 公共组件:通过 Header、Footer、Layout 等组件组织页面结构,减少重复代码,提升维护效率。 项目主要面向个人博客和内容展示场景,可作为个人网站、技术博客等轻量级网站的开发实践案例。
简易网站
NEBULA 是一款自用的个人工作台,主要用来管理各类文档以及创作素材。它支持文档浏览查阅、素材归档保存,内置多种工具快捷入口,深色界面简约干净,方便我们日常记录整理二创文案与相关资料,有效提升内容整理与查阅的工作效率。
帮助文档   Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服