业务和功能介绍
1. 背景与目标
PCQM4Mv2 是一个基于图神经网络(GNN)的分子属性预测项目，旨在解决量子化学分子特性预测的挑战。该项目使用了 Open Graph Benchmark (OGB) 中的 PCQM4Mv2 数据集，这是一个大规模的量子化学分子数据集，包含约 400 万个分子的量子力学性质预测任务。
项目目标 ：
- 提供完整的工具链，从数据下载、预处理到模型训练和评估
- 实现基于 PyTorch Geometric (PyG) 和 Deep Graph Library (DGL) 的基线模型
- 为研究人员和开发者提供一个标准化的框架，用于开发和测试分子图神经网络模型
- 支持用户生成符合 OGB 竞赛要求的提交结果
2. 功能模块介绍
2.1 数据处理模块
- 数据下载 ：从 OGB 官方服务器下载 PCQM4Mv2 数据集的 SDF 文件
- 数据验证 ：使用 MD5 校验确保下载的数据完整性
- 数据提取 ：解压缩 SDF 文件
- 图构建 ：使用 RDKit 将分子的 SMILES 表示转换为图结构，包括原子特征和键特征
2.2 模型训练模块
- PyG 基线 ：基于 PyTorch Geometric 实现的图神经网络模型
- DGL 基线 ：基于 Deep Graph Library 实现的图神经网络模型（可选）
- 训练配置 ：支持自定义设备、批量大小、训练轮数等参数
- 模型保存 ：自动保存最佳模型检查点
2.3 评估与提交模块
- 性能评估 ：计算预测结果的平均绝对误差 (MAE)
- 提交生成 ：生成符合 OGB 竞赛要求的测试提交文件
- 结果可视化 ：使用 TensorBoard 记录训练过程和性能指标
3. 功能路径描述
3.1 环境搭建与数据准备
1. 环境配置 ：
- 创建并激活 conda 环境
- 执行 install_rdkit.sh 安装 RDKit（分子处理库）
- 执行 pip install -r requirements.txt 安装 Python 依赖
2. 数据下载与预处理 ：
- 下载 SDF 文件： python download_and_preprocess.py --root dataset/ --download-sdf --extract
- 构建 OGB 数据集（图结构）： python download_and_preprocess.py --root dataset/ --build （可能需要数小时）
3.2 数据集使用
- SMILES 操作演示 ： python dataset_demo.py （仅使用 SMILES 表示的操作，快速运行）
- 评估器演示 ： pyth
PCQM4Mv2 是一个基于图神经网络(GNN)的分子属性预测项目，旨在解决量子化学分子特性预测的挑战。该项目使用了 Open Graph Benchmark (OGB) 中的 PCQM4Mv2 数据集，这是一个大规模的量子化学分子数据集，包含约 400 万个分子的量子力学性质预测任务。
项目目标 ：
- 提供完整的工具链，从数据下载、预处理到模型训练和评估
- 实现基于 PyTorch Geometric (PyG) 和 Deep Graph Library (DGL) 的基线模型
- 为研究人员和开发者提供一个标准化的框架，用于开发和测试分子图神经网络模型
- 支持用户生成符合 OGB 竞赛要求的提交结果
2. 功能模块介绍
2.1 数据处理模块
- 数据下载 ：从 OGB 官方服务器下载 PCQM4Mv2 数据集的 SDF 文件
- 数据验证 ：使用 MD5 校验确保下载的数据完整性
- 数据提取 ：解压缩 SDF 文件
- 图构建 ：使用 RDKit 将分子的 SMILES 表示转换为图结构，包括原子特征和键特征
2.2 模型训练模块
- PyG 基线 ：基于 PyTorch Geometric 实现的图神经网络模型
- DGL 基线 ：基于 Deep Graph Library 实现的图神经网络模型（可选）
- 训练配置 ：支持自定义设备、批量大小、训练轮数等参数
- 模型保存 ：自动保存最佳模型检查点
2.3 评估与提交模块
- 性能评估 ：计算预测结果的平均绝对误差 (MAE)
- 提交生成 ：生成符合 OGB 竞赛要求的测试提交文件
- 结果可视化 ：使用 TensorBoard 记录训练过程和性能指标
3. 功能路径描述
3.1 环境搭建与数据准备
1. 环境配置 ：
- 创建并激活 conda 环境
- 执行 install_rdkit.sh 安装 RDKit（分子处理库）
- 执行 pip install -r requirements.txt 安装 Python 依赖
2. 数据下载与预处理 ：
- 下载 SDF 文件： python download_and_preprocess.py --root dataset/ --download-sdf --extract
- 构建 OGB 数据集（图结构）： python download_and_preprocess.py --root dataset/ --build （可能需要数小时）
3.2 数据集使用
- SMILES 操作演示 ： python dataset_demo.py （仅使用 SMILES 表示的操作，快速运行）
- 评估器演示 ： pyth
项目实现
## 1. 整体架构设计
PCQM4Mv2 项目采用模块化、流水线式的设计架构，将分子属性预测任务分解为数据处理、模型训练和评估提交三个核心阶段，确保各模块职责明确、接口清晰。项目基于 PyTorch 生态系统构建，结合专业的分子处理库和图神经网络框架，提供完整的端到端解决方案。
### 1.1 设计原则
- 模块化设计 ：各功能模块解耦，独立实现特定职责，便于维护和扩展
- 灵活性与可配置性 ：通过命令行参数支持多种配置，适应不同硬件环境和实验需求
- 标准化接口 ：遵循 OGB 数据集和评估标准，确保与官方竞赛要求兼容
- 可扩展性 ：支持多种图神经网络框架（PyG 和 DGL），便于比较不同实现的性能
## 2. 核心模块设计思路
### 2.1 数据处理模块
设计目标 ：将原始分子数据转换为图神经网络可处理的结构化数据
关键流程 ：
1. 数据获取 ：从 OGB 官方服务器下载 SDF 文件，并通过 MD5 校验确保数据完整性
2. 数据提取 ：解压缩 SDF 文件，获取原始分子结构数据
3. 图结构构建 ：
- 利用 RDKit 将分子的 SMILES 表示解析为原子和键的集合
- 提取原子特征（如原子类型、电荷等）和键特征（如键类型、共轭性等）
- 构建符合图神经网络输入要求的几何数据结构
4. 数据集封装 ：使用 OGB 提供的 PCQM4Mv2Dataset 类封装处理后的数据，支持高效的批处理和数据加载
技术选型 ：
- RDKit ：专业的分子处理库，支持 SMILES 解析和分子特征提取
- OGB 数据集接口 ：标准化的数据集加载和处理接口，简化数据操作
- 文件系统缓存 ：将预处理后的图数据存储在本地，避免重复计算
### 2.2 模型训练模块
设计目标 ：实现高效的图神经网络训练流程，支持不同框架的基线模型
关键流程 ：
1. 模型架构设计 ：
- 基于 PyG 的实现：使用 GCN、GAT 等经典图神经网络层
- 基于 DGL 的实现：提供替代的图神经网络实现，便于比较性能
- 模型结构包括图卷积层、池化层和全连接层，用于最终的属性预测
2. 训练配置 ：
- 支持自定义设备（GPU/CPU）、批量大小、训练轮数等参数
- 实现学习率调度、早停等训练策略，优化模型性能
3. 训练循环 ：
- 批处理数据加载：利用 PyTorch 的 DataLoader 实现高效的批量数据加载
- 前向传播：通过图神经网络计算分子的表示向量
- 损失计算：使用均方误差（MSE）作为训练损失函数
- 反向传播与参数更新：使用 Adam 等优化器更新模型参数
- 模型检查点保存：自动保存验证集性能最佳的模型
技术选型 ：
- PyTorch ：深度学习基础框
PCQM4Mv2 项目采用模块化、流水线式的设计架构，将分子属性预测任务分解为数据处理、模型训练和评估提交三个核心阶段，确保各模块职责明确、接口清晰。项目基于 PyTorch 生态系统构建，结合专业的分子处理库和图神经网络框架，提供完整的端到端解决方案。
### 1.1 设计原则
- 模块化设计 ：各功能模块解耦，独立实现特定职责，便于维护和扩展
- 灵活性与可配置性 ：通过命令行参数支持多种配置，适应不同硬件环境和实验需求
- 标准化接口 ：遵循 OGB 数据集和评估标准，确保与官方竞赛要求兼容
- 可扩展性 ：支持多种图神经网络框架（PyG 和 DGL），便于比较不同实现的性能
## 2. 核心模块设计思路
### 2.1 数据处理模块
设计目标 ：将原始分子数据转换为图神经网络可处理的结构化数据
关键流程 ：
1. 数据获取 ：从 OGB 官方服务器下载 SDF 文件，并通过 MD5 校验确保数据完整性
2. 数据提取 ：解压缩 SDF 文件，获取原始分子结构数据
3. 图结构构建 ：
- 利用 RDKit 将分子的 SMILES 表示解析为原子和键的集合
- 提取原子特征（如原子类型、电荷等）和键特征（如键类型、共轭性等）
- 构建符合图神经网络输入要求的几何数据结构
4. 数据集封装 ：使用 OGB 提供的 PCQM4Mv2Dataset 类封装处理后的数据，支持高效的批处理和数据加载
技术选型 ：
- RDKit ：专业的分子处理库，支持 SMILES 解析和分子特征提取
- OGB 数据集接口 ：标准化的数据集加载和处理接口，简化数据操作
- 文件系统缓存 ：将预处理后的图数据存储在本地，避免重复计算
### 2.2 模型训练模块
设计目标 ：实现高效的图神经网络训练流程，支持不同框架的基线模型
关键流程 ：
1. 模型架构设计 ：
- 基于 PyG 的实现：使用 GCN、GAT 等经典图神经网络层
- 基于 DGL 的实现：提供替代的图神经网络实现，便于比较性能
- 模型结构包括图卷积层、池化层和全连接层，用于最终的属性预测
2. 训练配置 ：
- 支持自定义设备（GPU/CPU）、批量大小、训练轮数等参数
- 实现学习率调度、早停等训练策略，优化模型性能
3. 训练循环 ：
- 批处理数据加载：利用 PyTorch 的 DataLoader 实现高效的批量数据加载
- 前向传播：通过图神经网络计算分子的表示向量
- 损失计算：使用均方误差（MSE）作为训练损失函数
- 反向传播与参数更新：使用 Adam 等优化器更新模型参数
- 模型检查点保存：自动保存验证集性能最佳的模型
技术选型 ：
- PyTorch ：深度学习基础框
示例图片视频
相似推荐
人寿保险核心业务系统-LIS
1，为人寿保险公司提供核心业务开展的软件支持，满足公司业务开展要求和监管审批条件
2，涉及投保，保全，理赔，监管等模块
3，投保模块从扫描开始，对保单数据提取，人工核对录入后，通过工作流审核，将保单存放系统并形成正式合同。监管模块通过配置规则，将业务订单和财务数据按监管要求进行提取，生成文件上报，对回执内容解析和生成后续工作流。
阿里某BU-对账结算系统
阿里某BU对账结算系统是面向交通出行场景的全链路财务结算平台，全面支撑机票、火车票、船票、租车等多条业务线的资金对账与结算工作，覆盖交易对账、账单核销、成本核算、利润结转、差错处理全流程核心能力，是BU出行交易资金闭环、账务合规、收益核算的核心底层系统。平台承接全品类出行订单的日均大规模账务计算任务，保障海量交易数据下账务精准、结算合规、异常可追溯。
系统采用主流Spring Boot微服务架构搭建后端服务，底层基于PolarDB分布式数据库完成亿级交易数据的稳定存储，依托MaxCompute Spark构建弹性算力引擎，搭建批流一体OLAP计算体系，支撑日均百万级的对账、结转计算任务，可弹性应对大促、峰值订单流量带来的账务计算压力，保障全业务线财务结算高效、稳定、准确落地。
Go+FFmpeg 抖音财经股票指标视频自动化生成系统
一、项目简介
本人自1993年接触证券市场，2004年尝试用PHP开发自动化指标筛选程序，因并发性能限制，批量数据运算耗时过长。2015年转向Go语言，依托原生并发模型，将运算耗时由半小时优化至1分钟内，期间对比Python、Julia等语言后，最终选定Go为主力开发语言。
2025年启动本项目：基于自研股票指标函数体系，搭建财经短视频自动化流水线，将量化指标可视化内容批量生成视频并适配抖音平台分发标准。
技术迭代上，初期采用fogleman/gg生成PNG图片序列，再由FFmpeg合成视频。经持续优化，现绝大部分素材渲染直接交由FFmpeg完成，仅在FFmpeg耗时过高、分辨率无法满足需求时，回退使用GG生成静态图片。整套系统已实现数据解析、图表渲染、视频合成一站式自动化。
二、业务功能
批量指标运算：批量读取量化数据，自动运算生成股票指标信号。
数据可视化渲染：支持FFmpeg滤镜实时绘图，兼容GG静态PNG绘图兜底方案。
短视频自动合成：按平台规范自动合成视频，适配抖音等主流短视频平台分辨率与码率要求。
全流程自动化调度：从数据到视频全链路自动化，支持持续产出可视化素材。
智能渲染链路切换：根据耗时、画质需求，自动选择最优渲染方案（FFmpeg主链路/GG兜底）。
三、技术栈
Go、FFmpeg、fogleman/gg、股票量化接口、自动化调度脚本
量化工作平台
1、项目是面向股票、ETF、指数和期货的本地量化数据与策略研究平台，覆盖数据维护、因子研究、策略回测及研究成果管理等环节。
2、支持从 Tushare 和期货 Tick 文件获取数据，完成增量更新、复权处理、标准化存储、失败重试以及数据完整性和质量检查。
3、内置 Basic、Alpha158、Alpha101 等因子体系，支持因子计算、覆盖率检查、IC/RankIC 分析、分组收益分析、稳定性评估和因子选股。
4、提供股票池筛选、组合回测、调仓、交易成本、涨跌停及 ST 等交易约束，并输出净值、交易、持仓、诊断和基准对比结果。
5、支持策略回测、跟踪。
6、提供本地可视化工作台，可查看数据状态、因子、策略、组合和研究产物，并通过 Watchlist 和生命周期机制管理候选策略及复盘记录。
报表中台
本模块提供多维度报表数据展示及多格式导出功能，支持将业务数据一键导出为 Excel、CSV 及 PDF 格式。系统内置高性能生成引擎，保障大数据量导出时的稳定与高效，满足用户离线分析、数据归档及财务对账等多样化业务需求。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服