3D协同渲染系统开发

1、立项背景和目标
立项背景
随着 Web3D 在数字孪生、虚拟展示、在线仿真等场景的广泛应用，用户对三维渲染的真实感与交互实时性要求持续提升。传统云渲染依赖视频流回传，存在带宽占用高、交互时延大、云端负载集中的问题；硬件光线追踪对终端 GPU 要求极高，无法覆盖中低端 PC、移动端、浏览器等异构设备，多终端适配性与渲染效果难以兼顾。为解决上述行业痛点，启动本平台研发项目。
立项目标
打造面向全设备的端边云协同光线追踪绘制平台，以浏览器为统一入口，实现异构终端统一接入、渲染任务分层协同、高真实感光线追踪效果落地；达成全设备兼容、低交互时延、低带宽依赖、渲染画质自适应的核心目标，为 Web3D 沉浸式交互提供通用渲染支撑。
2、软件功能、核心功能模块的介绍
软件功能
全设备异构适配：支持高性能 PC、普通终端、移动端、浏览器等多类型终端接入，无硬件光追设备可正常运行。
端边云协同渲染：按计算负载将渲染任务拆分至云、边、端三层，实现算力均衡利用。
软硬光线追踪融合：支持硬件光追与 SDF 软光追自动切换，兼顾渲染精度与设备兼容性。
低数据量传输：以光照中间数据替代视频流传输，大幅降低网络带宽消耗。
浏览器端轻量化重建：端侧本地完成画面合成与显示，保障交互即时性。
自适应渲染调度：根据设备性能、网络状态动态调整渲染策略，稳定帧率与画质。
核心功能模块
场景管理与预处理模块：统一管理三维场景资源，完成全局数据标准化预处理。
端边云协同渲染模块：分层执行渲染任务，实现高算力、中负载、轻量级任务的分工协作。
软硬光线追踪融合模块：提供统一光线查询接口，自适应切换软硬光追路径。
光照数据管理与传输模块：负责光照中间结果的压缩、传输、缓存与增量更新。
浏览器端绘制重建模块：完成本地交互、直接光照计算、画面合成与最终显示。
节点通信与同步模块：保障云 - 边 - 端数据同步与指令传输，维持渲染一致性。
3、业务流程、功能路径描述
业务流程
系统初始化：用户通过浏览器接入平台，完成场景加载与节点通信连接。
设备能力探测：系统自动检测终端 GPU 性能、网络状态、硬件光追支持情况。
渲染任务分配：根据设备能力，将高负载任务分发至云端、中负载任务至边缘端、轻量交互任务留至终端。
协同渲染计算：云端完成全局光照与复杂光追计算，边缘端做缓存与局部加速，终端执行本地快速渲染。
数据传输与重建：云端 / 边缘端传输轻量化光照数据，终端完成画面重建与显示。
交互自适应调整：用户操作视角 / 场景时，系统动态切换渲染路径，保障流畅体验。
功能路径
用户终端交互操作 → 端侧引擎响应并上传请求 → 边侧缓存转发 / 局部处理 → 云侧执行高算力渲染 → 光照数据回传至终端 → 浏览器端合成显示 → 自适应调度优化渲染策略

1、整体架构和设计思路，不同模块使用的技术栈
整体架构
采用云 - 边 - 端三层分层协同架构，按计算密集度、时延敏感性拆分任务，云侧负责高算力计算、边侧负责近端加速、端侧负责低时延交互，三层共享统一数据规范与渲染接口，实现分布式协同渲染。
设计思路
以全设备兼容、算力均衡、低耗高效为核心，将复杂渲染计算上移至云边节点，端侧保留轻量化交互与显示；通过软硬光追融合打破硬件限制，以光照中间数据传输降低带宽依赖，最终实现跨终端、高真实感、低时延的三维绘制。
技术栈
云侧模块：C++、Vulkan、NVIDIA OptiX、CUDA
边侧模块：C++、WebGPU、缓存管理库
端侧模块：TypeScript、WebGL2.0、WebGPU、自定义 Shader
通用模块：TCP 通信、增量数据同步、自适应调度算法
2、“我” 的负责模块和结果（量化）
浏览器端 3D 渲染引擎开发
完成终端交互、直接光照、画面重建模块开发，实现全终端稳定运行，交互时延降至 15-25ms，帧率稳定60fps，浏览器端渲染负载降低60%。
软硬光线追踪融合接口开发
设计统一渲染接口，实现软硬光追自动切换，全设备兼容率达 100%，无硬件光追终端可正常运行。
光照数据传输与重建优化
落地低数据量传输方案，单帧传输量从 5-7MB 降至400-800KB，带宽占用降低90%。
自适应渲染调度模块开发
实现设备 / 网络状态感知与渲染策略动态调整，边侧缓存命中率达85% 以上，云端计算效率提升40%。
3、“我” 遇到的难点、坑，和解决方案
难点：异构终端硬件差异大，无硬件光追设备无法运行
解决方案：开发 SDF 软光线追踪降级方案，搭建统一渲染接口，设备自动适配渲染路径，全终端可正常运行。
难点：传统云渲染带宽高、时延大，浏览器端卡顿严重
解决方案：采用光照中间数据替代视频流传输，优化数据压缩与增量更新，大幅降低带宽与时延。
难点：云 - 边 - 端数据不同步，渲染画面错位、闪烁
解决方案：建立全局场景数据标准，采用增量同步机制，保障跨节点渲染数据一致性。
难点：浏览器图形性能有限，复杂场景帧率波动剧烈
解决方案：剥离高负载计算至云边节点，端侧仅保留轻量渲染与交互，加入帧预算控制稳定帧率。
难点：软硬光追视觉效果差异大，画面风格不统一
解决方案：优化光照计算与阴影渲染逻辑，对齐整体明暗与空间层次，实现双路径视觉一致性。