NeRF、3D Gaussian Splatting、Street Gaussian,
几项技术在自动驾驶重建仿真训练中发挥重要作用,
这里尝试用大白话进行简单梳理:
先说 NeRF (神经辐射场):
2020年首次出现并于2022 年特斯拉在AI Day,
配合车辆采集图像用于 3D 场景重建工作当中,
并使用大型自动标签数据集进行3D仿真训练;
NeRF 优缺点:
场景重建质量高、数据增强提高模型泛化能力,
支持处理动态场景模拟、高分辨率细节变化捕捉;
计算需求高、渲染速度慢、动态场景能力有限,
使用 MLP 网络隐式表示缺乏直观性和可解释性;
——————————
3D Gaussian Splatting/3DGS(3D高斯泼溅):
相关论文首次出现于 2023 年SIGGRAPH,
3DGS 使用了「 3D 高斯体」分布来描述场景,
以及通过「光栅化」技术实现实时辐射场渲染,
应用于自动驾驶、SLAM、AIGC、三维重建等领域;
优缺点:
- 可快速进行渲染、视觉渲染质量高、允许精确场景编辑和控制;
- 3D高斯体存储需求大、计算资源需求大、动态场景限制;
————————————
Street Gaussian 可视作 3DGS 自动驾驶专用版:
该技术在 3DGS 的基础上发展而来具有相关性,
Street Gaussian 首先继承了 3DGS 几大优点:
- 显式场景表示,允许精准的场景编辑和控制;
- 实时快速渲染,系统能够以高帧率实时渲染;
- 渲染质量高、自适应密度控制、计算更高效;
......
Street Gaussian 相比 3DGS 优化的内容:
- 引入4D球谐函数模型增强动态场景建模能力;
- 优化对前景车辆姿态跟踪更好的模拟动态元素;
- 自监督方式从 4D 数据中分解动态和静态元素;
Street Gaussian 可能存在的局限与挑战:
- 仅限重建(刚性)的动态场景,例如只有移动车辆的静态街道;
- 无法处理(非刚性)动态对象,例如(步行行人)则无法处理;
- 依赖于现成跟踪器的召回率,如果某些车辆被遗漏,位姿优化策略无法对此进行补偿。
——————————
最后的最后,不管怎么端,都有点殊途同归或者大同小异,对算力资源都有比较大的需求,技术本身可能不是最大挑战,而是团队人事、资源投入、重视程度。
几项技术在自动驾驶重建仿真训练中发挥重要作用,
这里尝试用大白话进行简单梳理:
先说 NeRF (神经辐射场):
2020年首次出现并于2022 年特斯拉在AI Day,
配合车辆采集图像用于 3D 场景重建工作当中,
并使用大型自动标签数据集进行3D仿真训练;
NeRF 优缺点:
场景重建质量高、数据增强提高模型泛化能力,
支持处理动态场景模拟、高分辨率细节变化捕捉;
计算需求高、渲染速度慢、动态场景能力有限,
使用 MLP 网络隐式表示缺乏直观性和可解释性;
——————————
3D Gaussian Splatting/3DGS(3D高斯泼溅):
相关论文首次出现于 2023 年SIGGRAPH,
3DGS 使用了「 3D 高斯体」分布来描述场景,
以及通过「光栅化」技术实现实时辐射场渲染,
应用于自动驾驶、SLAM、AIGC、三维重建等领域;
优缺点:
- 可快速进行渲染、视觉渲染质量高、允许精确场景编辑和控制;
- 3D高斯体存储需求大、计算资源需求大、动态场景限制;
————————————
Street Gaussian 可视作 3DGS 自动驾驶专用版:
该技术在 3DGS 的基础上发展而来具有相关性,
Street Gaussian 首先继承了 3DGS 几大优点:
- 显式场景表示,允许精准的场景编辑和控制;
- 实时快速渲染,系统能够以高帧率实时渲染;
- 渲染质量高、自适应密度控制、计算更高效;
......
Street Gaussian 相比 3DGS 优化的内容:
- 引入4D球谐函数模型增强动态场景建模能力;
- 优化对前景车辆姿态跟踪更好的模拟动态元素;
- 自监督方式从 4D 数据中分解动态和静态元素;
Street Gaussian 可能存在的局限与挑战:
- 仅限重建(刚性)的动态场景,例如只有移动车辆的静态街道;
- 无法处理(非刚性)动态对象,例如(步行行人)则无法处理;
- 依赖于现成跟踪器的召回率,如果某些车辆被遗漏,位姿优化策略无法对此进行补偿。
——————————
最后的最后,不管怎么端,都有点殊途同归或者大同小异,对算力资源都有比较大的需求,技术本身可能不是最大挑战,而是团队人事、资源投入、重视程度。