REST3D 从单张图像重建物理稳定的3D场景 卡内基梅隆大学 ▼ ⚡ TL;DR 从单张日常图像到视觉一致且物理稳定的互动3D场景。 摘要 从单张RGB图像重建物理稳定的3D场景使得将日常图像转化为适用于沉浸式交互和内容创作的模拟准备数字资产成为可能。然而，现有的单图像重建方法在捕捉场景的物理结构方面存在不足。因此，它们往往产生在几何上合理但物理上不一致的结果，包括物体悬浮和穿透，这导致物理模拟中不稳定的行为。图像条件场景生成方法提高了物理可信度，但通常依赖于强场景先验，导致合理但不准确的物体排列，与输入图像不匹配。我们提出了REST3D，一种单图像重建框架，可以通过将物理场景理解与物理约束的优化结合起来，重建物理稳定的3D场景。我们首先介绍了一种主动的物理场景理解技术，该技术从重力支持的角度构建了捕捉物体物理状态和物体间关系的场景树表示，为重建提供了结构先验。利用这一结构，我们使用图像到3D模型初始化场景，随后通过场景树指导的对齐和物理约束优化来解决物理违例，同时保持与输入图像的视觉一致性。实验表明，我们的方法显著减少了物理错误，提高了合成和现实世界数据集的模拟稳定性，同时保持了较强的重建质量。我们进一步展示了在基于VR的人机交互中重建的场景，展示了其在沉浸式应用中的潜力。 互动3D物理模拟 ▸ 探索在Isaac Gym中重建场景的物理模拟。您可以交互式地旋转（拖动）和缩放（滚动）3D以检查模拟过程。 ▸ 由于基线方法中的物体相互穿透，在物理模拟器中应用重力会导致物体爆炸性分离并变得不稳定。 ▸ 所有方法都经过同步以进行比较。场景加载可能需要一些时间。 加载场景速度… 输入图像 我们的 DigitalCousins Gen3DSR SceneGen SAM3D 我们的结果 ▸ 高分辨率视频，展示了在Isaac Gym中重建场景的物理模拟。 ▸ 物体是有序放置的，以便清晰，然后共同进行模拟。 ▸ 我们重建的场景是准备好的模拟场景，可以快速稳定。 现实世界VR交互 我们实现了一个互动VR系统，能够从单张图像重建沉浸式和物理基础的3D场景，使得用户能够通过基于手的交互自然地与稳定的虚拟物体进行互动。用Meta Quest Pro录制，并以3倍速度回放。 与SOTA方法的比较 ▸ 在Isaac Gym中重建场景的物理模拟视频，与SOTA单图像3D重建方法进行比较。 ▸ 物体是有序放置的，以便清晰，然后共同进行模拟。 ▸ 现有方法难以平衡重建保真度和物理稳定性，而我们的方法产生了稳定、准备好的模拟场景，仅需进行小幅调整即可快速稳定。 引用 @article{ma2026rest3d, title = {REST3D：从单张图像重建物理稳定的3D场景}, author = {Ma, Xiaoxuan and Wang, Jiashun and Ugrinovic, Nicolás and Litman, Yehonathan and Kitani, Kris}, booktitle = {arXiv预印本arXiv:2605.30338}, year = {2026} }