SparseMVS研制过程

ECCV2026

DepthAnything应该输入多少图像？

在TAT中一共有300帧，但是Depthanything单次只能处理50帧，应该如何输入到单目深度估计的图像才能获得最好的具有度量的深度图？就是比如有298帧，然后我的目标是这样的：

  1. 我的Depthanything单次只能处理N=50帧，所以我需要分batch运行获得每个视角的深度图
  2. 我最终分batch要覆盖全部的视角All=298帧
  3. 为了我们获得的深度图要符合真实的度量信息，所以每个batch中的图像不能局限于一个场景太密集这样可能是太平行无法获得空间信息，也不能视角之间完全没有重叠这样就完全无法推测空间信息，所以我们需要根据相机参数的位置和方向计算一个位置和视角偏好值，趋向偏好值那这几个视角需要在一个batch
  4. 但是这个偏好值一方面我可以自己计算，但是我同时也需要根据场景所有视角的位置视角进行统计然后计算出一个偏好值。
  5. 每个batch不能覆盖太少，我们的数据集中的图像一定是可以找到重叠帧的，所以我们不能出现5帧以下的batch，这样可以避免退化
  6. 允许出现重叠帧但是不能出现明星效应：大量从重叠帧

最终算法：Coverage-aware Preference-guided Batch Partitioning

算法目标

在 单次最多 N 帧推理限制 下，为基于多视角的度量深度估计模型（DepthAnything3）构造 几何互补、尺度稳定、低冗余 的视角子集。

总体思路

  1. 先全局统计视角分布（学偏好）
  2. 在偏好引导下，逐步构建 batch
  3. 每个 batch 控制大小 ≤ 50，且 ≥ 5
  4. batch 之间允许重叠
  5. 直到覆盖所有 298 帧

核心思想

  1. 几何可行性优先
    • 剔除近乎平移（无尺度）
    • 剔除几乎无重叠（不可三角化）
  2. 互补而非相似
    • 视角选择目标不是“最相似”
    • 而是“在合理几何范围内尽量不同”
  3. Anti-collapse 设计
    • 引入 batch 内 overlap 惩罚
    • 防止所有 batch 收敛到同一组“明星视角”
  4. Seed-local 构建
    • 每个 batch 从不同 seed 出发
    • 实现局部一致性 + 全局覆盖

算法流程

Step 0：通过相机参数计算基础几何量并统计

对任意两个视角 (i, j)计算：

（1）空间基线

bij=∣ci−cj∣ b_{ij} = |\mathbf{c}_i - \mathbf{c}_j|

（2）视角差（朝向）

$
heta_{ij} = rccos(\mathbf{d}_i