上周回顾

• 对NeRF（特别是EmerNeRF和Natural Scene Graph）进行了复习和深入了解。
• 在虚拟机Colab上进行了3D Gaussian Splatting的开山之作的实验，并在Windows系统上进行了简单复现。
• 简单了解了3DGS和NeRF的区别，以及3DGS的原理和伪代码流程。

  本周计划

1. 复现基于Ubuntu 22.04的S3 Street Gaussian。

2. 深入理解3DGS流程：

   • 三维高斯表示方法（Colmap生成、协方差矩阵、雅各比矩阵）。

   • 渲染方法：Splatting（使用可反向传播的渲染公式，基于NeRF，加入tile的渲染公式）。

   • 旋转矩阵优化方法（论文附录）。

   • 优化与自适应密度控制。

3. 框架伪代码流程整理。

4. S3Gaussian的创新点整理：

   • 自监督方法。
   • 3D高斯函数提升到4D，以更好地表示动态和复杂的场景。一种基于多分辨率六平面的编码器将4D网格编码为特征平面。
   • 高效的空间-时间分解网络（自动捕获3D高斯体的变形，即4D高斯）。
   • 多头高斯解码器，解码以转换4D高斯函数。

     存在的主要问题

5. S3Gaussian Splatting的Waymo数据集位于Google，无法下载和使用。由于对代码不熟悉，不会导入自己的数据集配置。

6. 不了解S3伪代码流程，各个创新点的数学原理和实现方式。

   下一步的打算

7. 仔细阅读S3代码，在论文中每个组件对应的位置标注好对应的代码和库。

8. 准备数据集，运行代码。