1、立项背景和目标
立项背景
随着 Web3D 在数字孪生、虚拟展示、在线仿真等场景的广泛应用,用户对三维渲染的真实感与交互实时性要求持续提升。传统云渲染依赖视频流回传,存在带宽占用高、交互时延大、云端负载集中的问题;硬件光线追踪对终端 GPU 要求极高,无法覆盖中低端 PC、移动端、浏览器等异构设备,多终端适配性与渲染效果难以兼顾。为解决上述行业痛点,启动本平台研发项目。
立项目标
打造面向全设备的端边云协同光线追踪绘制平台,以浏览器为统一入口,实现异构终端统一接入、渲染任务分层协同、高真实感光线追踪效果落地;达成全设备兼容、低交互时延、低带宽依赖、渲染画质自适应的核心目标,为 Web3D 沉浸式交互提供通用渲染支撑。
2、软件功能、核心功能模块的介绍
软件功能
全设备异构适配:支持高性能 PC、普通终端、移动端、浏览器等多类型终端接入,无硬件光追设备可正常运行。
端边云协同渲染:按计算负载将渲染任务拆分至云、边、端三层,实现算力均衡利用。
软硬光线追踪融合:支持硬件光追与 SDF 软光追自动切换,兼顾渲染精度与设备兼容性。
低数据量传输:以光照中间数据替代视频流传输,大幅降低网络带宽消耗。
浏览器端轻量化重建:端侧本地完成画面合成与显示,保障交互即时性。
自适应渲染调度:根据设备性能、网络状态动态调整渲染策略,稳定帧率与画质。
核心功能模块
场景管理与预处理模块:统一管理三维场景资源,完成全局数据标准化预处理。
端边云协同渲染模块:分层执行渲染任务,实现高算力、中负载、轻量级任务的分工协作。
软硬光线追踪融合模块:提供统一光线查询接口,自适应切换软硬光追路径。
光照数据管理与传输模块:负责光照中间结果的压缩、传输、缓存与增量更新。
浏览器端绘制重建模块:完成本地交互、直接光照计算、画面合成与最终显示。
节点通信与同步模块:保障云 - 边 - 端数据同步与指令传输,维持渲染一致性。
3、业务流程、功能路径描述
业务流程
系统初始化:用户通过浏览器接入平台,完成场景加载与节点通信连接。
设备能力探测:系统自动检测终端 GPU 性能、网络状态、硬件光追支持情况。
渲染任务分配:根据设备能力,将高负载任务分发至云端、中负载任务至边缘端、轻量交互任务留至终端。
协同渲染计算:云端完成全局光照与复杂光追计算,边缘端做缓存与局部加速,终端执行本地快速渲染。
数据传输与重建:云端 / 边缘端传输轻量化光照数据,终端完成画面重建与显示。
交互自适应调整:用户操作视角 / 场景时,系统动态切换渲染路径,保障流畅体验。
功能路径
用户终端交互操作 → 端侧引擎响应并上传请求 → 边侧缓存转发 / 局部处理 → 云侧执行高算力渲染 → 光照数据回传至终端 → 浏览器端合成显示 → 自适应调度优化渲染策略
1、整体架构和设计思路,不同模块使用的技术栈
整体架构
采用云 - 边 - 端三层分层协同架构,按计算密集度、时延敏感性拆分任务,云侧负责高算力计算、边侧负责近端加速、端侧负责低时延交互,三层共享统一数据规范与渲染接口,实现分布式协同渲染。
设计思路
以全设备兼容、算力均衡、低耗高效为核心,将复杂渲染计算上移至云边节点,端侧保留轻量化交互与显示;通过软硬光追融合打破硬件限制,以光照中间数据传输降低带宽依赖,最终实现跨终端、高真实感、低时延的三维绘制。
技术栈
云侧模块:C++、Vulkan、NVIDIA OptiX、CUDA
边侧模块:C++、WebGPU、缓存管理库
端侧模块:TypeScript、WebGL2.0、WebGPU、自定义 Shader
通用模块:TCP 通信、增量数据同步、自适应调度算法
2、“我” 的负责模块和结果(量化)
浏览器端 3D 渲染引擎开发
完成终端交互、直接光照、画面重建模块开发,实现全终端稳定运行,交互时延降至 15-25ms,帧率稳定60fps,浏览器端渲染负载降低60%。
软硬光线追踪融合接口开发
设计统一渲染接口,实现软硬光追自动切换,全设备兼容率达 100%,无硬件光追终端可正常运行。
光照数据传输与重建优化
落地低数据量传输方案,单帧传输量从 5-7MB 降至400-800KB,带宽占用降低90%。
自适应渲染调度模块开发
实现设备 / 网络状态感知与渲染策略动态调整,边侧缓存命中率达85% 以上,云端计算效率提升40%。
3、“我” 遇到的难点、坑,和解决方案
难点:异构终端硬件差异大,无硬件光追设备无法运行
解决方案:开发 SDF 软光线追踪降级方案,搭建统一渲染接口,设备自动适配渲染路径,全终端可正常运行。
难点:传统云渲染带宽高、时延大,浏览器端卡顿严重
解决方案:采用光照中间数据替代视频流传输,优化数据压缩与增量更新,大幅降低带宽与时延。
难点:云 - 边 - 端数据不同步,渲染画面错位、闪烁
解决方案:建立全局场景数据标准,采用增量同步机制,保障跨节点渲染数据一致性。
难点:浏览器图形性能有限,复杂场景帧率波动剧烈
解决方案:剥离高负载计算至云边节点,端侧仅保留轻量渲染与交互,加入帧预算控制稳定帧率。
难点:软硬光追视觉效果差异大,画面风格不统一
解决方案:优化光照计算与阴影渲染逻辑,对齐整体明暗与空间层次,实现双路径视觉一致性。