业务和功能介绍
1. 背景与目标
PCQM4Mv2 是一个基于图神经网络(GNN)的分子属性预测项目，旨在解决量子化学分子特性预测的挑战。该项目使用了 Open Graph Benchmark (OGB) 中的 PCQM4Mv2 数据集，这是一个大规模的量子化学分子数据集，包含约 400 万个分子的量子力学性质预测任务。
项目目标 ：
- 提供完整的工具链，从数据下载、预处理到模型训练和评估
- 实现基于 PyTorch Geometric (PyG) 和 Deep Graph Library (DGL) 的基线模型
- 为研究人员和开发者提供一个标准化的框架，用于开发和测试分子图神经网络模型
- 支持用户生成符合 OGB 竞赛要求的提交结果
2. 功能模块介绍
2.1 数据处理模块
- 数据下载 ：从 OGB 官方服务器下载 PCQM4Mv2 数据集的 SDF 文件
- 数据验证 ：使用 MD5 校验确保下载的数据完整性
- 数据提取 ：解压缩 SDF 文件
- 图构建 ：使用 RDKit 将分子的 SMILES 表示转换为图结构，包括原子特征和键特征
2.2 模型训练模块
- PyG 基线 ：基于 PyTorch Geometric 实现的图神经网络模型
- DGL 基线 ：基于 Deep Graph Library 实现的图神经网络模型（可选）
- 训练配置 ：支持自定义设备、批量大小、训练轮数等参数
- 模型保存 ：自动保存最佳模型检查点
2.3 评估与提交模块
- 性能评估 ：计算预测结果的平均绝对误差 (MAE)
- 提交生成 ：生成符合 OGB 竞赛要求的测试提交文件
- 结果可视化 ：使用 TensorBoard 记录训练过程和性能指标
3. 功能路径描述
3.1 环境搭建与数据准备
1. 环境配置 ：
- 创建并激活 conda 环境
- 执行 install_rdkit.sh 安装 RDKit（分子处理库）
- 执行 pip install -r requirements.txt 安装 Python 依赖
2. 数据下载与预处理 ：
- 下载 SDF 文件： python download_and_preprocess.py --root dataset/ --download-sdf --extract
- 构建 OGB 数据集（图结构）： python download_and_preprocess.py --root dataset/ --build （可能需要数小时）
3.2 数据集使用
- SMILES 操作演示 ： python dataset_demo.py （仅使用 SMILES 表示的操作，快速运行）
- 评估器演示 ： pyth
PCQM4Mv2 是一个基于图神经网络(GNN)的分子属性预测项目，旨在解决量子化学分子特性预测的挑战。该项目使用了 Open Graph Benchmark (OGB) 中的 PCQM4Mv2 数据集，这是一个大规模的量子化学分子数据集，包含约 400 万个分子的量子力学性质预测任务。
项目目标 ：
- 提供完整的工具链，从数据下载、预处理到模型训练和评估
- 实现基于 PyTorch Geometric (PyG) 和 Deep Graph Library (DGL) 的基线模型
- 为研究人员和开发者提供一个标准化的框架，用于开发和测试分子图神经网络模型
- 支持用户生成符合 OGB 竞赛要求的提交结果
2. 功能模块介绍
2.1 数据处理模块
- 数据下载 ：从 OGB 官方服务器下载 PCQM4Mv2 数据集的 SDF 文件
- 数据验证 ：使用 MD5 校验确保下载的数据完整性
- 数据提取 ：解压缩 SDF 文件
- 图构建 ：使用 RDKit 将分子的 SMILES 表示转换为图结构，包括原子特征和键特征
2.2 模型训练模块
- PyG 基线 ：基于 PyTorch Geometric 实现的图神经网络模型
- DGL 基线 ：基于 Deep Graph Library 实现的图神经网络模型（可选）
- 训练配置 ：支持自定义设备、批量大小、训练轮数等参数
- 模型保存 ：自动保存最佳模型检查点
2.3 评估与提交模块
- 性能评估 ：计算预测结果的平均绝对误差 (MAE)
- 提交生成 ：生成符合 OGB 竞赛要求的测试提交文件
- 结果可视化 ：使用 TensorBoard 记录训练过程和性能指标
3. 功能路径描述
3.1 环境搭建与数据准备
1. 环境配置 ：
- 创建并激活 conda 环境
- 执行 install_rdkit.sh 安装 RDKit（分子处理库）
- 执行 pip install -r requirements.txt 安装 Python 依赖
2. 数据下载与预处理 ：
- 下载 SDF 文件： python download_and_preprocess.py --root dataset/ --download-sdf --extract
- 构建 OGB 数据集（图结构）： python download_and_preprocess.py --root dataset/ --build （可能需要数小时）
3.2 数据集使用
- SMILES 操作演示 ： python dataset_demo.py （仅使用 SMILES 表示的操作，快速运行）
- 评估器演示 ： pyth
项目实现
## 1. 整体架构设计
PCQM4Mv2 项目采用模块化、流水线式的设计架构，将分子属性预测任务分解为数据处理、模型训练和评估提交三个核心阶段，确保各模块职责明确、接口清晰。项目基于 PyTorch 生态系统构建，结合专业的分子处理库和图神经网络框架，提供完整的端到端解决方案。
### 1.1 设计原则
- 模块化设计 ：各功能模块解耦，独立实现特定职责，便于维护和扩展
- 灵活性与可配置性 ：通过命令行参数支持多种配置，适应不同硬件环境和实验需求
- 标准化接口 ：遵循 OGB 数据集和评估标准，确保与官方竞赛要求兼容
- 可扩展性 ：支持多种图神经网络框架（PyG 和 DGL），便于比较不同实现的性能
## 2. 核心模块设计思路
### 2.1 数据处理模块
设计目标 ：将原始分子数据转换为图神经网络可处理的结构化数据
关键流程 ：
1. 数据获取 ：从 OGB 官方服务器下载 SDF 文件，并通过 MD5 校验确保数据完整性
2. 数据提取 ：解压缩 SDF 文件，获取原始分子结构数据
3. 图结构构建 ：
- 利用 RDKit 将分子的 SMILES 表示解析为原子和键的集合
- 提取原子特征（如原子类型、电荷等）和键特征（如键类型、共轭性等）
- 构建符合图神经网络输入要求的几何数据结构
4. 数据集封装 ：使用 OGB 提供的 PCQM4Mv2Dataset 类封装处理后的数据，支持高效的批处理和数据加载
技术选型 ：
- RDKit ：专业的分子处理库，支持 SMILES 解析和分子特征提取
- OGB 数据集接口 ：标准化的数据集加载和处理接口，简化数据操作
- 文件系统缓存 ：将预处理后的图数据存储在本地，避免重复计算
### 2.2 模型训练模块
设计目标 ：实现高效的图神经网络训练流程，支持不同框架的基线模型
关键流程 ：
1. 模型架构设计 ：
- 基于 PyG 的实现：使用 GCN、GAT 等经典图神经网络层
- 基于 DGL 的实现：提供替代的图神经网络实现，便于比较性能
- 模型结构包括图卷积层、池化层和全连接层，用于最终的属性预测
2. 训练配置 ：
- 支持自定义设备（GPU/CPU）、批量大小、训练轮数等参数
- 实现学习率调度、早停等训练策略，优化模型性能
3. 训练循环 ：
- 批处理数据加载：利用 PyTorch 的 DataLoader 实现高效的批量数据加载
- 前向传播：通过图神经网络计算分子的表示向量
- 损失计算：使用均方误差（MSE）作为训练损失函数
- 反向传播与参数更新：使用 Adam 等优化器更新模型参数
- 模型检查点保存：自动保存验证集性能最佳的模型
技术选型 ：
- PyTorch ：深度学习基础框
PCQM4Mv2 项目采用模块化、流水线式的设计架构，将分子属性预测任务分解为数据处理、模型训练和评估提交三个核心阶段，确保各模块职责明确、接口清晰。项目基于 PyTorch 生态系统构建，结合专业的分子处理库和图神经网络框架，提供完整的端到端解决方案。
### 1.1 设计原则
- 模块化设计 ：各功能模块解耦，独立实现特定职责，便于维护和扩展
- 灵活性与可配置性 ：通过命令行参数支持多种配置，适应不同硬件环境和实验需求
- 标准化接口 ：遵循 OGB 数据集和评估标准，确保与官方竞赛要求兼容
- 可扩展性 ：支持多种图神经网络框架（PyG 和 DGL），便于比较不同实现的性能
## 2. 核心模块设计思路
### 2.1 数据处理模块
设计目标 ：将原始分子数据转换为图神经网络可处理的结构化数据
关键流程 ：
1. 数据获取 ：从 OGB 官方服务器下载 SDF 文件，并通过 MD5 校验确保数据完整性
2. 数据提取 ：解压缩 SDF 文件，获取原始分子结构数据
3. 图结构构建 ：
- 利用 RDKit 将分子的 SMILES 表示解析为原子和键的集合
- 提取原子特征（如原子类型、电荷等）和键特征（如键类型、共轭性等）
- 构建符合图神经网络输入要求的几何数据结构
4. 数据集封装 ：使用 OGB 提供的 PCQM4Mv2Dataset 类封装处理后的数据，支持高效的批处理和数据加载
技术选型 ：
- RDKit ：专业的分子处理库，支持 SMILES 解析和分子特征提取
- OGB 数据集接口 ：标准化的数据集加载和处理接口，简化数据操作
- 文件系统缓存 ：将预处理后的图数据存储在本地，避免重复计算
### 2.2 模型训练模块
设计目标 ：实现高效的图神经网络训练流程，支持不同框架的基线模型
关键流程 ：
1. 模型架构设计 ：
- 基于 PyG 的实现：使用 GCN、GAT 等经典图神经网络层
- 基于 DGL 的实现：提供替代的图神经网络实现，便于比较性能
- 模型结构包括图卷积层、池化层和全连接层，用于最终的属性预测
2. 训练配置 ：
- 支持自定义设备（GPU/CPU）、批量大小、训练轮数等参数
- 实现学习率调度、早停等训练策略，优化模型性能
3. 训练循环 ：
- 批处理数据加载：利用 PyTorch 的 DataLoader 实现高效的批量数据加载
- 前向传播：通过图神经网络计算分子的表示向量
- 损失计算：使用均方误差（MSE）作为训练损失函数
- 反向传播与参数更新：使用 Adam 等优化器更新模型参数
- 模型检查点保存：自动保存验证集性能最佳的模型
技术选型 ：
- PyTorch ：深度学习基础框
示例图片视频
相似推荐
互联网金融支付项目
1.随着电商、共享经济等新业态爆发，中小商户与个人对便捷、低成本收付款需求激增，传统银行结算流程繁琐、到账慢，第三方支付凭借轻量化、全场景适配优势，成为市场刚需，本项目旨在打造合规、高效的聚合支付系统。
2.支持微信、支付宝、云闪付等主流渠道收款，提供订单管理、自动对账、分账结算、电子发票一键开具，搭载交易风控引擎，实时拦截异常交易，同时开放 API 接口，支持商户个性化二次开发。
3.用户发起付款请求，系统跳转至聚合收银台，用户选择支付渠道完成付款，交易数据同步至风控模块核验，核验通过后资金自动清算至商户账户，同时推送交易凭证与对账报表至商户后台。
智慧金融爬虫数据采集系统
1.立项背景和目标：需要对主流金融网站上的常见金融指标数据进行分析，需要获取实时的数据做量化分析
2.软件功能、核心功能模块的介绍：(1) 爬虫任务定时执行、任务状态检测平台采用dolphinschduler开源框架 (2) 爬取数据采用request,selenium,playwright,rpa,scapy等框架 （3）反爬技术框架采用js逆向、滑块验证码、图片数字验证码、ocr图片识别技术
（4）数据库采用mongoldb,oracle,后端技术采用flask框架
3.业务流程、功能路径描述：爬取主流金融网站的数据、图片、excel文件、html信息，解析、提取、转换其中的数据并落入数据库中，通过接口的形式推送到业务系统做展示
消费金融项目
锦咏数据互联网信贷中台（以下简称“信贷中台”）是构建在互联网+的基础上推出的新一代信贷系统平台，为企业客户和金融机构提供全流程、模块化的综合金融科技解决方案。整个系统是集线上线下多渠道导流、智能信贷审核、智能风控引擎、完整信贷核心核算、智能催收系统为一体的综合业务解决方案，解决了传统信贷的放款速度慢、银行垄断及信用审核难等问题，使互联网、个人消费、信用认证、量化评分、快速放款高效地结合到一起。系统平台支持互联网渠道如蚂蚁集团、微众银行、众安保险、度小满金融、360数科等多个导流渠道，支撑多种金融应用场景，完美适应面向场景化消费信贷、现金分期、随借随还、小微信贷等多种金融产品。结合互联网大数据征信对接多维度数据源、个人信用认证、量化评分等，做到快速自动化审批与人工审批完美结合，从而灵活配置风控规则，运用大数据风控建模，降低风控成本，提升审批效率，减少坏账发生率。
基于大模型NLP与游资动量特征的A股智能决策系统
1、立项背景和目标
散户获取股市消息面的渠道分散（新闻联播、财经频道、交易软件、财务报表等），且面对海量资讯时，人类大脑无法在盘中极短时间内完成“阅读->情绪判断->结合盘面->交易决策”的闭环。
本项目旨在解决这一痛点，开发一款“全维量化监控系统”。目标是将国内顶尖短线游资（如“92科比”）的盘面量价心法（硬数据）与基于深度学习的大语言模型（LLM）新闻情感分析（软数据）相结合，实现盘中毫秒级的自动化盯盘与决策辅助。
2、软件功能、核心功能模块的介绍
系统主要包含三大核心模块：
高频行情嗅探模块 (Market Scanner): 绕过繁琐的全市场扫描，直连新浪财经API，实时抓取全市场“高换手率”的活跃资金流向，计算涨跌停家数与市场平均溢价，生成“游资情绪仪表盘”。
量化规则引擎 (Strategy Logic): 基于短线打板心法，内置多重过滤漏斗（剔除ST/退市、锁定5-50元黄金价格带、筛选5%-25%异动换手率、大于2亿成交额的右侧上涨股），精准锁定核心龙头。
AI 舆情雷达模块 (AI News Sentiment): 针对初筛出的龙头股，自动化调用东方财富搜索接口，抓取最近7天的相关新闻。并载入本地部署的 Erlangshen/FinBERT 中文金融自然语言处理模型，对资讯标题进行语义理解，输出“利好/利空/中性”的AI判别及置信度。
3、业务流程、功能路径描述
系统的业务路径为一条高度自动化的流水线：
启动系统 -> 初始化本地NLP大模型 -> 触发定时扫描 -> 拉取新浪实时活跃行情 -> 执行量价策略筛出Top 5目标股 -> 对Top 5目标触发定向新闻爬虫 -> 大模型阅读新闻并打分 -> 融合行情与消息面，终端输出带表情包的可视化决策看板。
SA财富管理系统
该项目是中国民生银行自主研发运营的一套零售理财管理系统，业务主要分为对公和对私，PC端和手机端，服务范围全国28家所有民生银行的理财经、理财助理 、产品经理、产品助理等。包括基本电子基金业务、利息支票业务、货币市场、基本储蓄业务、信用卡及线索营销等服务。该项目每年营业365天，每天营业24小时，通过电子邮件或免费热线，为客户提供充满活力的、全天候的客户服务支持。为用户提供客户信息的收集整理，发起线索，开展营销活动等一系列的流程。实现各级分工协作，适合每个岗位的操作权限的控制。
该项目主要的模式是帮助银行工作人员收集和管理客户信息，为不同的客户群体提供各种有针对性的银行理财产品，帮助客户做出购买决定；充分挖掘潜在客户，持续追踪客户，和客户建立长期稳定的合作关系。
该项目主要运用的技术包括Spring, SpringMVC, MyBatis, Struts, WebService, Ajax, Json, Jsp, jQuery, Easy-ui, E-charts等等。因为该项目是由.net升级改造为Java的一个大型项目工程，有很多业务外包给多家软件公司，跨越多个项目，分属不同领域，所以涵盖的技术也比较多和杂。
主要功能模块分为：工作首页（包含各个功能模块的热点功能），工作专区（工作计划、工作日程、工作提醒），快速查询（查询客户），产品货架（储蓄、基金、债券、贵金属等），系统管理（用户信息管理、菜单设置、权限管理、系统参数配置等，此项仅管理岗可见，且根据权限大小而定），关于我们。
帮助文档
Copyright @ 2021-2024 程聚宝 | 浙ICP备2021014372号
人工客服