业务和功能介绍
1. 背景与目标
PCQM4Mv2 是一个基于图神经网络(GNN)的分子属性预测项目，旨在解决量子化学分子特性预测的挑战。该项目使用了 Open Graph Benchmark (OGB) 中的 PCQM4Mv2 数据集，这是一个大规模的量子化学分子数据集，包含约 400 万个分子的量子力学性质预测任务。
项目目标 ：
- 提供完整的工具链，从数据下载、预处理到模型训练和评估
- 实现基于 PyTorch Geometric (PyG) 和 Deep Graph Library (DGL) 的基线模型
- 为研究人员和开发者提供一个标准化的框架，用于开发和测试分子图神经网络模型
- 支持用户生成符合 OGB 竞赛要求的提交结果
2. 功能模块介绍
2.1 数据处理模块
- 数据下载 ：从 OGB 官方服务器下载 PCQM4Mv2 数据集的 SDF 文件
- 数据验证 ：使用 MD5 校验确保下载的数据完整性
- 数据提取 ：解压缩 SDF 文件
- 图构建 ：使用 RDKit 将分子的 SMILES 表示转换为图结构，包括原子特征和键特征
2.2 模型训练模块
- PyG 基线 ：基于 PyTorch Geometric 实现的图神经网络模型
- DGL 基线 ：基于 Deep Graph Library 实现的图神经网络模型（可选）
- 训练配置 ：支持自定义设备、批量大小、训练轮数等参数
- 模型保存 ：自动保存最佳模型检查点
2.3 评估与提交模块
- 性能评估 ：计算预测结果的平均绝对误差 (MAE)
- 提交生成 ：生成符合 OGB 竞赛要求的测试提交文件
- 结果可视化 ：使用 TensorBoard 记录训练过程和性能指标
3. 功能路径描述
3.1 环境搭建与数据准备
1. 环境配置 ：
- 创建并激活 conda 环境
- 执行 install_rdkit.sh 安装 RDKit（分子处理库）
- 执行 pip install -r requirements.txt 安装 Python 依赖
2. 数据下载与预处理 ：
- 下载 SDF 文件： python download_and_preprocess.py --root dataset/ --download-sdf --extract
- 构建 OGB 数据集（图结构）： python download_and_preprocess.py --root dataset/ --build （可能需要数小时）
3.2 数据集使用
- SMILES 操作演示 ： python dataset_demo.py （仅使用 SMILES 表示的操作，快速运行）
- 评估器演示 ： pyth
PCQM4Mv2 是一个基于图神经网络(GNN)的分子属性预测项目，旨在解决量子化学分子特性预测的挑战。该项目使用了 Open Graph Benchmark (OGB) 中的 PCQM4Mv2 数据集，这是一个大规模的量子化学分子数据集，包含约 400 万个分子的量子力学性质预测任务。
项目目标 ：
- 提供完整的工具链，从数据下载、预处理到模型训练和评估
- 实现基于 PyTorch Geometric (PyG) 和 Deep Graph Library (DGL) 的基线模型
- 为研究人员和开发者提供一个标准化的框架，用于开发和测试分子图神经网络模型
- 支持用户生成符合 OGB 竞赛要求的提交结果
2. 功能模块介绍
2.1 数据处理模块
- 数据下载 ：从 OGB 官方服务器下载 PCQM4Mv2 数据集的 SDF 文件
- 数据验证 ：使用 MD5 校验确保下载的数据完整性
- 数据提取 ：解压缩 SDF 文件
- 图构建 ：使用 RDKit 将分子的 SMILES 表示转换为图结构，包括原子特征和键特征
2.2 模型训练模块
- PyG 基线 ：基于 PyTorch Geometric 实现的图神经网络模型
- DGL 基线 ：基于 Deep Graph Library 实现的图神经网络模型（可选）
- 训练配置 ：支持自定义设备、批量大小、训练轮数等参数
- 模型保存 ：自动保存最佳模型检查点
2.3 评估与提交模块
- 性能评估 ：计算预测结果的平均绝对误差 (MAE)
- 提交生成 ：生成符合 OGB 竞赛要求的测试提交文件
- 结果可视化 ：使用 TensorBoard 记录训练过程和性能指标
3. 功能路径描述
3.1 环境搭建与数据准备
1. 环境配置 ：
- 创建并激活 conda 环境
- 执行 install_rdkit.sh 安装 RDKit（分子处理库）
- 执行 pip install -r requirements.txt 安装 Python 依赖
2. 数据下载与预处理 ：
- 下载 SDF 文件： python download_and_preprocess.py --root dataset/ --download-sdf --extract
- 构建 OGB 数据集（图结构）： python download_and_preprocess.py --root dataset/ --build （可能需要数小时）
3.2 数据集使用
- SMILES 操作演示 ： python dataset_demo.py （仅使用 SMILES 表示的操作，快速运行）
- 评估器演示 ： pyth
项目实现
## 1. 整体架构设计
PCQM4Mv2 项目采用模块化、流水线式的设计架构，将分子属性预测任务分解为数据处理、模型训练和评估提交三个核心阶段，确保各模块职责明确、接口清晰。项目基于 PyTorch 生态系统构建，结合专业的分子处理库和图神经网络框架，提供完整的端到端解决方案。
### 1.1 设计原则
- 模块化设计 ：各功能模块解耦，独立实现特定职责，便于维护和扩展
- 灵活性与可配置性 ：通过命令行参数支持多种配置，适应不同硬件环境和实验需求
- 标准化接口 ：遵循 OGB 数据集和评估标准，确保与官方竞赛要求兼容
- 可扩展性 ：支持多种图神经网络框架（PyG 和 DGL），便于比较不同实现的性能
## 2. 核心模块设计思路
### 2.1 数据处理模块
设计目标 ：将原始分子数据转换为图神经网络可处理的结构化数据
关键流程 ：
1. 数据获取 ：从 OGB 官方服务器下载 SDF 文件，并通过 MD5 校验确保数据完整性
2. 数据提取 ：解压缩 SDF 文件，获取原始分子结构数据
3. 图结构构建 ：
- 利用 RDKit 将分子的 SMILES 表示解析为原子和键的集合
- 提取原子特征（如原子类型、电荷等）和键特征（如键类型、共轭性等）
- 构建符合图神经网络输入要求的几何数据结构
4. 数据集封装 ：使用 OGB 提供的 PCQM4Mv2Dataset 类封装处理后的数据，支持高效的批处理和数据加载
技术选型 ：
- RDKit ：专业的分子处理库，支持 SMILES 解析和分子特征提取
- OGB 数据集接口 ：标准化的数据集加载和处理接口，简化数据操作
- 文件系统缓存 ：将预处理后的图数据存储在本地，避免重复计算
### 2.2 模型训练模块
设计目标 ：实现高效的图神经网络训练流程，支持不同框架的基线模型
关键流程 ：
1. 模型架构设计 ：
- 基于 PyG 的实现：使用 GCN、GAT 等经典图神经网络层
- 基于 DGL 的实现：提供替代的图神经网络实现，便于比较性能
- 模型结构包括图卷积层、池化层和全连接层，用于最终的属性预测
2. 训练配置 ：
- 支持自定义设备（GPU/CPU）、批量大小、训练轮数等参数
- 实现学习率调度、早停等训练策略，优化模型性能
3. 训练循环 ：
- 批处理数据加载：利用 PyTorch 的 DataLoader 实现高效的批量数据加载
- 前向传播：通过图神经网络计算分子的表示向量
- 损失计算：使用均方误差（MSE）作为训练损失函数
- 反向传播与参数更新：使用 Adam 等优化器更新模型参数
- 模型检查点保存：自动保存验证集性能最佳的模型
技术选型 ：
- PyTorch ：深度学习基础框
PCQM4Mv2 项目采用模块化、流水线式的设计架构，将分子属性预测任务分解为数据处理、模型训练和评估提交三个核心阶段，确保各模块职责明确、接口清晰。项目基于 PyTorch 生态系统构建，结合专业的分子处理库和图神经网络框架，提供完整的端到端解决方案。
### 1.1 设计原则
- 模块化设计 ：各功能模块解耦，独立实现特定职责，便于维护和扩展
- 灵活性与可配置性 ：通过命令行参数支持多种配置，适应不同硬件环境和实验需求
- 标准化接口 ：遵循 OGB 数据集和评估标准，确保与官方竞赛要求兼容
- 可扩展性 ：支持多种图神经网络框架（PyG 和 DGL），便于比较不同实现的性能
## 2. 核心模块设计思路
### 2.1 数据处理模块
设计目标 ：将原始分子数据转换为图神经网络可处理的结构化数据
关键流程 ：
1. 数据获取 ：从 OGB 官方服务器下载 SDF 文件，并通过 MD5 校验确保数据完整性
2. 数据提取 ：解压缩 SDF 文件，获取原始分子结构数据
3. 图结构构建 ：
- 利用 RDKit 将分子的 SMILES 表示解析为原子和键的集合
- 提取原子特征（如原子类型、电荷等）和键特征（如键类型、共轭性等）
- 构建符合图神经网络输入要求的几何数据结构
4. 数据集封装 ：使用 OGB 提供的 PCQM4Mv2Dataset 类封装处理后的数据，支持高效的批处理和数据加载
技术选型 ：
- RDKit ：专业的分子处理库，支持 SMILES 解析和分子特征提取
- OGB 数据集接口 ：标准化的数据集加载和处理接口，简化数据操作
- 文件系统缓存 ：将预处理后的图数据存储在本地，避免重复计算
### 2.2 模型训练模块
设计目标 ：实现高效的图神经网络训练流程，支持不同框架的基线模型
关键流程 ：
1. 模型架构设计 ：
- 基于 PyG 的实现：使用 GCN、GAT 等经典图神经网络层
- 基于 DGL 的实现：提供替代的图神经网络实现，便于比较性能
- 模型结构包括图卷积层、池化层和全连接层，用于最终的属性预测
2. 训练配置 ：
- 支持自定义设备（GPU/CPU）、批量大小、训练轮数等参数
- 实现学习率调度、早停等训练策略，优化模型性能
3. 训练循环 ：
- 批处理数据加载：利用 PyTorch 的 DataLoader 实现高效的批量数据加载
- 前向传播：通过图神经网络计算分子的表示向量
- 损失计算：使用均方误差（MSE）作为训练损失函数
- 反向传播与参数更新：使用 Adam 等优化器更新模型参数
- 模型检查点保存：自动保存验证集性能最佳的模型
技术选型 ：
- PyTorch ：深度学习基础框
示例图片视频
相似推荐
聚合支付系统
该项目是通过对接不同的上游支付渠道，封装被扫/主扫支付、订单查询、支付异步回调、退款等全套HTTP接口。映射出不同的支付场景，例如POS机收款、商店收款码、商户收银插件、微信公众号、微信小程序等
商户进件成功后可以建立不同的门店，门店下可以新增店长店员。门店收载后店长可以查询门店交易信息，商户可以查询所有门店交易信息等等
量化
核心要解决的是加密货币量化交易的痛点：
人工盯盘不可持续 — 7×24 小时行情，人不可能实时做技术指标计算 + 风控 + 下单。
策略无法自动进化 — 传统量化策略写死参数后不会自我迭代。
赛道：加密货币衍生品
三模式运行：read_only（只读模拟）/ demo（模拟盘，自动加 x-simulated-trading）/ live（实盘，强制过安全检查清单）。
内部-宁波银行对公营销决策系统
该项目是宁波银行自己的名为星云平台中的脚手架搭建的微服务项目，本系统包含7个微服务分别 是：数据集服务、标签服务、客户群服务、决策服务、触点服务、事件服务、工单服务。整体是的数据集跑批到每个标签，客户群中配置每个客户群所包含的标签，用户主要在决策的画布中配置营销模型，包含决策所属的客户群，发放的权益种类、发放的时间和频率、发放后续的处理。主要用于银行在做一些业务推广时，需要通过发奖的方式达到宣传效果。会针对不同权益奖品所用到的不同的发放规则，发放客户群，发放时机落地到每一个策略中，以达到业务需求。
C++高性能量化回测系统-QuantPilot
面向个人投资者的A股策略回测平台，解决"策略上线前无法验证"的痛点。
核心功能：①双均线、动量、网格三类内置策略模板，支持参数化配置；②基于真实历史行情的逐笔撮合回测引擎；③收益曲线、最大回撤、夏普比率等绩效指标自动计算与可视化报告。使用流程：导入行情数据→选择策略配置参数→运行回测→查看绩效报告，全程无需编程基础。
某金融风控和模型系统
1. 风控决策引擎的研发与优化（核心主线）
这是我工作中最核心、贯穿始终的部分。我负责开发和维护机审规则引擎，它决定了贷款申请能否通过审批。具体工作包括：
开发了大量风控规则，例如：经纬度反欺诈规则、AppListName规则、银行卡信息核验、内部人脸黑名单（百度接口）、多平台共债规则、首复贷进件限制、逾期天数限制等。
主导了机审规则的两次大版本优化（2021/2/18-3/10），大幅提升了规则执行的效率与可维护性。
引入了RocketMQ，将风控规则调用、埋点数据上报等改为异步解耦，提升了系统吞吐量。
2. 多国支付网关对接（关键业务闭环）
我独立负责了泰国、尼日利亚、印尼等多个国家的支付渠道对接，完成了从支付下单、回调验签到放款、还款的完整闭环。其中：
尼日利亚支付是你投入时间最长的模块之一（持续从5月到7月），涉及Paystack渠道的深度集成，包括USSD还款、BVN（银行验证号）验证、核销对账等复杂业务。
我解决了多个生产环境的关键问题，如还款数据重复写入、姓名验证BUG等，保障了资金安全。
3. 电销与催收管理系统的功能开发
你为越南/菲律宾市场开发了电销名单自动分单系统，包括案件分配、回收时间逻辑、意向客户标记、拨打任务查询等功能，提升了贷后转化效率。同时，也涉及催收系统的部分功能（如手动分配催收订单）。
4. 数据模型与报表支持
我配合风控模型团队，将多个模型分（菲律宾模型02、越南H5模型、越南模型11/13、贷中评分卡模型等） 落地到系统中，并根据模型结果进行风险定价和档位评定。同时，我为运营提供了大量数据支持（如商户对账单、跑马灯SQL优化等）。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服