4天315starsFlowMap梯度下降实现高质量相机姿态与深度估计AI开源

内容同步自知识星球《AGI Hunt》，加入可查看更多项目与实时AI动向

FlowMap：梯度下降实现高质量相机姿态与深度估计

2024-04-22 315 stars 14 forks

FlowMap 项目介绍

概述

FlowMap 是一个开源项目，由 Cameron Smith、David Charatan、Ayush Tewari 和 Vincent Sitzmann 共同开发，旨在通过梯度下降方法实现高质量的相机姿态、内在参数和深度估计。该项目提供了官方实现代码，能够为复杂的场景合成新视角下的图像。

安装与运行

项目支持在 Linux 系统上通过 Python 虚拟环境进行安装和运行。主要的安装步骤包括创建虚拟环境、激活环境以及安装依赖库。运行代码的主要入口是 flowmap/overfit.py ，通过指定数据集路径来执行。

预训练初始化

项目提供了用于初始化 FlowMap 的检查点，用户可以下载 Real Estate 10k 和 CO3Dv2 数据集进行自定义训练。

评估数据集

FlowMap 在多个数据集上进行了评估，包括 Local Light Field Fusion (LLFF)、Mip-NeRF 360 和 Tanks & Temples。这些数据集的视频子集用于测试 FlowMap 的性能。

数据集细节

NeRF Local Light Field Fusion (LLFF) 场景 ：使用了 NeRF 论文中的 8 个场景。

Mip-NeRF 360 场景 ：使用了 Mip-NeRF 360 论文中的 bonsai、counter 和 kitchen 场景。

Tanks & Temples 场景 ：使用了 Tanks & Temples 数据集中的所有场景，并进行了预处理。

运行消融实验

项目中每个消融实验都有对应的 Hydra 配置，可以通过修改 overfitting 命令来运行不同的消融变体。

图表生成

部分用于生成论文中表格和图表的代码可以在 assets 文件夹中找到。

致谢

该项目得到了多个机构的支持，包括国家科学基金会、新加坡 DSTA、IARPA、亚马逊科学中心、IBM 和丰田研究所。

项目链接