LingBot-Map: 适用于流媒体3D重建的几何上下文变换器 Robbyant 团队 teaser.mp4 🗺️ 认识 LingBot-Map！我们构建了一个用于流媒体3D重建的前馈3D基础模型！🏗️🌍 LingBot-Map 关注以下方面：几何上下文变换器：通过锚点上下文、姿态参考窗口和轨迹记忆，将坐标定位、密集几何线索和长距离漂移校正统一到一个流式框架中。高效流媒体推断：一种具有分页KV缓存注意机制的前馈架构，能在超过10,000帧的长序列上以约20 FPS稳定推断，分辨率为518×378。最先进的重建：与现有的流媒体和基于迭代优化的方法相比，在多种基准测试中表现优越。📑 目录 单击展开 📰 新闻 📋 待办事项 ⚙️ 安装 📦 模型下载 🚀 快速开始 🎬 互动演示 (demo.py) 尝试示例场景 流媒体带关键帧间隔的窗口推断（用于长序列，>3000帧）天空遮罩可视化选项 性能与内存 🎥 离线渲染管道 (demo_render/batch_demo.py) 📜 许可证 📖 引用 ✨ 致谢 📰 新闻 2026-06-28 — 修复了SDPA KV缓存错误。SDPA后端在长序列上的表现有所改善。我们仍然建议使用FlashInfer后端以获得最佳性能。 2026-05-25 — 📊 发布评估基准。我们发布了KITTI和牛津教堂的评估脚本——请参见benchmark/以获取管道，并运行preprocess/oxford.py以在评估前准备牛津教堂数据。 2026-04-29 — 📹 发布了长视频演示。我们发布了一个非常长的视频示例（约25,000帧，13分钟的室内走访），使用离线管道渲染——有关命令、参数理由和渲染输出，请参见工作示例。 2026-04-27 — 🚀 加速了LingBot-Map。拉取最新的主干并运行python demo.py --compile ... 或python gct_profile.py --backend flashinfer --dtype bf16 --compile以验证您的硬件。 2026-04-24 — 修复了FlashInfer KV缓存错误，导致--keyframe_interval > 1时默默缓存非关键帧。现在在运行超过320帧时，您应该看到更好的姿态和重建质量。 📋 待办事项 ✅ 发布评估基准 ✅ 牛津教堂数据集 ✅ KITTI数据集 ✅ VBR数据集 ✅ Droid-W数据集 ✅ TUM-D数据集 ✅ 7-scenes数据集 ✅ ETH3D数据集 ✅ Tanks and Temples数据集 ✅ NRGBD数据集 ✅ 发布演示脚本 ✅ 室内长视频演示（特色室内走访） ✅ 室外长视频演示 ✅ LingBot-World演示（工作示例） ✅ 航空长视频演示 ⚙️ 安装 1. 创建conda环境 conda create -n lingbot-map python=3.10 -y conda activate lingbot-map 2. 安装 PyTorch (CUDA 12.8) pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128 PyTorch 2.8.0 是推荐版本，因为 NVIDIA Kaolin（离线渲染管道所需的）具有 torch-2.8.0_cu128 的预构建轮子。如果您只需要 demo.py，您可以使用更新的 PyTorch，但批处理渲染器则需要从源代码构建 Kaolin。有关其他 CUDA 版本，请参见 PyTorch 入门。 3. 安装 lingbot-map pip install -e . 4. 安装 FlashInfer（推荐） FlashInfer 提供分页KV缓存注意机制，便于高效流媒体推断。它是一个纯Python包，在第一次使用时通过JIT编译CUDA内核，因此单个轮子在CUDA/PyTorch版本中都能工作：pip install --index-url https://pypi.org/simple flashinfer-python --index-url https://pypi.org/simple 仅在您的默认pip索引是没有flashinfer-python的内部镜像时才需要。 （可选）为了更快的首次使用，您还可以额外安装CUDA特定的JIT缓存：pip install flashinfer-jit-cache -f https://flashinfer.ai/whl/cu128/flashinfer-jit-cache/。有关详细信息，请参阅FlashInfer安装。如果未安装FlashInfer，模型将退回到SDPA（PyTorch原生注意机制）通过 --use_sdpa。 5. 可选的可视化依赖 pip install -e ".[vis]" 📦 模型下载 模型名称 Huggingface仓库 ModelScope仓库 说明 lingbot-map-long robbyant/lingbot-map Robbyant/lingbot-map 更适合长序列和大规模场景。 lingbot-map robbyant/lingbot-map Robbyant/lingbot-map 平衡检查点（在论文、基准和离线演示中使用）——在短序列和长序列中平衡整体性能。 lingbot-map-stage1 robbyant/lingbot-map Robbyant/lingbot-map lingbot-map的第1阶段训练检查点——可以加载到VGGT模型中进行双向推断（c2w）。 🚧 即将推出：我们正在训练一个更强大的模型，以支持更长序列——敬请期待。 🚀 快速开始 安装后，通过一个命令运行您的第一个场景：python demo.py --model_path /path/to/lingbot-map-long.pt \ --image_folder example/courthouse --mask_sky 这将在 http://localhost:8080 启动一个交互式viser查看器。