光点化无人机

1、立项背景与目标
为响应《大气污染防治行动计划》等环保政策，许多城市严格管控甚至禁止燃放烟花爆竹，这为无人机表演作为一种新型、环保的节庆文化方式提供了广阔的市场前景 。 然而，当前无人机表演行业仍受限于“人工编排-刚性映射”的技术逻辑 ，编排周期长、成本高昂，且复杂场景的展示严重依赖人工设计，其路径调整动辄耗时数小时 ，导致成本效益不及传统烟花 。 现有技术范式多将无人机视为二维“像素点”，忽略了其作为自发光光源的物理特性，限制了艺术表现力与环境适应性 。 本项目“天际高斯”旨在利用前沿的三维高斯溅射（3D Gaussian Splatting, 3DGS）技术，通过显式高斯建模与自动路径优化，实现从“像素点”到“光点”的范式迁移 。 项目的核心目标是通过技术革新，显著降低人工编排成本、缩短制作周期，并创造出更精美、更复杂、更符合自然光学规律的光影艺术 ，最终建立一套能够根据环境与观众位置智能优化的自动化编排方案，为无人机表演成为主流的环保烟花替代方案提供强大的技术支持 。
2、软件核心功能
为实现上述目标，平台将提供一系列深度整合的核心功能，以实现从内容创建到实景执行的全流程智能化。首先，平台具备自动化编排生成能力，用户只需输入多视角图像，系统即可利用运动恢复结构（SfM）生成初始点云，并自动初始化为三维高斯点 ，再通过优化与映射，直接生成无人机的飞行路径与灯光序列，彻底取代繁琐的人工设计 。 其次，平台提供高智能交互式调度功能，允许用户输入亮度修正、飞行高度、大气条件等一系列环境与视觉参数，系统会基于这些输入，自动化地对无人机光点的光强、颜色和建模密度进行智能调整，实现高度定制化的表演效果 。 再次，针对无人机数量有限的现实约束，平台独创了基于关键视角优先的自适应建模策略 。 系统会通过损失函数动态监测建模精度，当精度不足时，会自动筛选并强化核心观赏角度的视觉效果，将有限的无人机资源集中用于提升主要观众的视觉冲击力 。 最后，为确保仿真与现实的无缝衔接，平台内置了环境自适应光学补偿机制 。 该机制通过引入亮度修正系数和综合调节因子，能够根据夜间低光、飞行高度和大气条件等实际因素，动态校准无人机光点的亮度和色彩空间，确保最终的空中表演效果与仿真结果高度一致 。

1. 整体架构和设计思路
本项目的核心设计思路是从“人工编排”到“自动生成”的技术范式跃迁，不再将无人机视为简单的像素点，而是基于三维高斯溅射（3DGS）技术，将其视为符合光学规律的独立光源，从根本上提升表演的艺术表现力与真实感 。
我们的整体技术架构遵循一条自动化的数据流。系统以多视角图像为输入，首先采用Mask R-CNN模型进行前景分割以聚焦核心主体 ，并利用运动恢复结构（SfM）技术生成三维场景的初始点云和相机数据 。随后，基于此数据初始化三维高斯点，并通过一个核心的优化与适配循环进行处理。在此循环中，我们修改3DGS框架，将高斯点的属性（如协方差、颜色）简化以匹配无人机的物理限制，同时通过可微分渲染与自适应密度控制，在逼近无人机数量上限的同时不断优化场景的视觉效果 。最后，通过光学补偿模块对最终的高斯点云进行光强与色彩校准，以适应真实的夜间表演环境，确保仿真与现实效果的一致性 。
2. 我负责的模块和结构
作为项目负责人，我负责整体算法设计与核心代码实现，主导了从技术选型、模块构建到最终集成的全过程。我的工作贯穿了整个技术管线：
我构建了项目的前端数据处理模块，集成了Mask R-CNN与SfM管线，实现了对输入数据的自动化主体提取与三维场景初始化 。在此基础上，我开发了项目的核心优化引擎。这部分工作涉及对原生3DGS框架的深度修改，我设计并实现了关键的无人机适配算法，包括将高斯点强制转换为各向同性的球体（Σ=nI），简化其颜色表示，并实现了自适应密度控制以匹配无人机数量约束 。同时，我设计了自适应精度控制模块，通过自定义的混合损失函数（L1 + D-SSIM）监控图像质量 。当简化导致精度严重下降时，我设计的基于损失阈值 τ 和视角优先级参数 P 的自适应训练策略会自动介入，筛选关键视角进行聚焦式重训练，从而在有限资源下保证核心观赏效果 。最后，我负责开发了实景光学补偿模块，通过引入亮度修正系数 β 和综合调节因子 λ，实现了对仿真结果的自动化校准，解决了夜间环境下的亮度和色彩失真问题 。
3. 我遇到的难点和解决方案
在项目研究中，我们识别并解决了三大核心技术挑战：
难点一：高斯点与无人机光点的映射不一致。 原始高斯点具有复杂的形状与颜色属性，而无人机只能展示统一颜色的球形光点 。解决方案是采取“强制属性简化”策略，在算法层面直接修改高斯点的数学表示，将其协方差矩阵强制设为标量矩阵 nI，颜色简化为可优化的常量，使高斯点在结构上与无人机的物理特性达成统一 。
难点二：无效背景建模与真实环境的显示效果差异。 3DGS会消耗资源对无关背景进行建模，且仿真模型在真实的夜间低光环境下会出现亮度、色彩不匹配 。解决方案是引入Mask R-CNN技术，在预处理阶段便剔除背景，优化资源分配 。同时，通过设计“光学补偿机制”，引入亮度修正系数 β