D4RT （下）：为什么它能更快重建 4D 世界，以及它还做不到什么
论文：Efficiently Reconstructing Dynamic Scenes One D4RT at a Time
上篇讨论了 D4RT 的统一查询接口；本篇继续分析它的模型结构、实验结果与实际局限。
D4RT 最吸引眼球的结果，是在相机位姿估计上达到每秒 200 帧以上，同时论文还报告其三维轨迹解码速度比已有方法快 18 至 300 倍。
这些数字确实亮眼，但要理解它为什么快，必须先分清两个概念：D4RT 并不是把整个网络都做得很小，而是把“视频只编码一次”与“输出按点查询”结合起来，避免了反复运行沉重的稠密解码器。
模型并不小，轻的是解码方式
D4RT 的编码器采用 ViT-g，共 40 层、约 10 亿参数；后面连接一个 8 层交叉注意力解码器，参数量约 1.44 亿。训练时输入 48 帧、256×256 分辨率的视频片段，每段采样 2048 个查询。论文使用 64 块 TPU 训练 50 万步，用时略多于两天。
因此，把 D4RT 简单概括为“轻量模型”并不准确。它仍然依赖一个很大的视频编码器。它真正节省计算的位置，是完成全局编码之后：同一份场景表示可以被重复查询，不需要每增加一种任务就再运行一套模型。
为什么独立点查询能带来高吞吐？
普通稠密解码器倾向于一次生成整帧结果。即使用户只想追踪十个点，它也可能计算整张深度图或整幅特征图。D4RT 则可以只解码所需点，并且不同点之间互不依赖，能够组成大批量并行计算。
当需要追踪视频中的全部像素时，直接穷举仍然很贵。若视频有 T 帧、每帧 H×W 个像素，朴素做法会产生数量级为 T²HW 的查询。
论文为此设计了一个“访问标记”策略：先选取尚未处理的像素并生成完整轨迹；一条轨迹经过的可见像素都会被标记，后续不再从这些位置重复发起新轨迹。由于视频在时间和空间上存在大量冗余，这一策略可额外获得约 5 至 15 倍加速。
速度结果有多大优势？
在 A100 GPU 上，D4RT 的相机位姿估计吞吐量超过 200 FPS。论文给出的比较是：约为 VGGT 的 9 倍、MegaSaM 的 100 倍，同时平均位姿精度更高。
图 3：D4RT 位于图中右上角，代表较高精度与较高吞吐量。图片裁自论文 Figure 3。
三维点轨迹测试也能直观看出吞吐差异。在目标为 60 FPS 时，D4RT 每次可处理 550 条完整视频轨迹，SpatialTrackerV2 为 29 条；当目标降到 10 FPS，D4RT 可处理 3890 条，SpatialTrackerV2 为 219 条。论文综合不同设置后给出 18 至 300 倍的速度优势。
这些结果说明，D4RT 的收益不只是“少了几个模块”，而是计算量可以跟随实际查询数变化。稀疏任务只付稀疏任务的成本，需要稠密结果时再扩大查询规模。
它不仅快，还补上了动态区域
动态场景是这篇论文真正拉开差距的地方。
MegaSaM 和 π³ 等重建方法擅长恢复静态结构，但面对天鹅、花朵或行驶中的列车时，可能把同一物体重复堆叠，或者干脆无法完整重建。SpatialTrackerV2 能追踪动态点，但论文指出其通常从单个源帧发起追踪，被遮挡区域可能留下空洞。
D4RT 可以从视频中尚未覆盖的像素继续发起轨迹，再把静态结构和动态点统一到同一个四维表示中。论文中的对比图比单一指标更容易看出这一点：它不仅恢复背景，也保留了运动物体的完整轨迹。
图 4：MegaSaM、π³、SpatialTrackerV2 与 D4RT 的动态重建对比。图片裁自论文 Figure 4。
在 TAPVid-3D 的三个真实视频子集上，D4RT 同时评估了相机坐标系和世界坐标系下的三维追踪。它在多数核心指标上达到最好或接近最好的结果，尤其是世界坐标追踪，说明模型确实学会了在时间变化与相机参考之间转换，而不只是输出局部深度。
一个 9×9 小图块，为什么这么重要？
查询只有坐标和时间索引时，模型知道“问的是哪里”，却可能缺少边缘、纹理等低层细节。D4RT 因此在查询中加入源点周围的 9×9 RGB 小图块。
这个设计很朴素，却带来明显改善。以论文的 ViT-L 消融实验为例，加入局部图块后，尺度对齐的深度 AbsRel 从 0.366 降至 0.302，相机位姿 ATE 从 0.173 降至 0.091。竹竿等细小结构的边缘也更清晰。
图 5：加入局部 RGB 图块后，深度边界更清楚。图片裁自论文 Figure 6。
它揭示了一个有意思的分工：大编码器负责理解全局场景，小图块负责把精细外观直接送到查询端。论文附录进一步利用连续坐标查询，在不提高编码分辨率的情况下按原图分辨率输出，从而恢复头发丝和物体边界等亚像素细节。
读论文时还应保留哪些疑问？
D4RT 的结果很强，但距离“任何设备、任何视频都能实时重建”仍有明显距离。
第一，速度测试依赖 A100。 200 FPS 说明架构具有高吞吐潜力，却不能直接等同于消费级显卡、机器人端侧芯片或手机上的实时速度。10 亿参数编码器也意味着显存与能耗仍然可观。
第二，主实验处理的是 48 帧片段。 对长视频，论文附录采用重叠分段，再通过 Umeyama 对齐进行拼接。这种方案在 KITTI 长序列上表现不错，但它并未包含完整的回环检测和全局优化，长时间累计误差仍值得进一步研究。
第三，查询成本仍随点数线性增长。 按需查询避免了无用计算，但如果最终目标就是每一帧、每一个像素的完整结果，查询数量依然很大。论文的访问标记算法缓解了问题，并没有让稠密重建变成“免费操作”。
第四，训练数据并非全部公开。 论文的训练混合数据包含公开数据集和内部数据集，这会增加外部团队完整复现训练效果的难度。
结语
D4RT 的主要价值，不是用更小的网络完成一次传统重建，而是把动态 4D 感知改写成“全局编码一次、时空位置按需查询”。这一接口同时服务于深度、点云、相机参数和三维追踪，并让计算量更贴近实际需求。
从研究路线看，它代表了一种值得关注的变化：三维视觉模型正在从“每个任务一个输出头”，走向可被灵活访问的通用场景表示。
不过现阶段的 D4RT 更像是一套高吞吐的研究级基础模型，而不是可以直接塞进端侧设备的轻量方案。它证明了统一动态重建可以既准确又高效；下一步真正有挑战的，是让这种能力在更长视频、更低算力和更开放的数据条件下同样成立。