嗨 HN — 我们是 Julius、Jago 和 Nils，我们正在构建 transload (transload.io)。transload 帮助 LTL 卡车公司使用他们终端中已经安装的安全摄像头测量货物尺寸。与其通过专用的尺寸测量站发送货物，我们在货物通过正常的码头工作流程时自动测量它们。我们在这里建立了一个小的 HN 专用演示网站：https://hn.transload.io/ 在 LTL 卡车运输中，货物尺寸很重要，因为它们会影响定价、货运分类和拖车利用率。如果货物比发货人报告的要大，承运人可能会对其收取低费用，但仍然占用相同的拖车空间。显而易见的解决办法是测量每个货物，但在繁忙的货运码头，这一点出乎意料地困难。专用的尺寸测量系统适用于通过它们的货物，但它们可能会增加叉车行驶距离，造成码头拥堵，并改变正常的工作流程。在实践中，许多码头只测量部分货物。Jago 通过家族的 LTL 卡车运输和交叉对接业务，对这个行业有很深的了解。我们最开始的想法并不是构建货运尺寸测量。我们的第一个想法是为交叉对接码头内部优化叉车路线的 AI 系统。在与客户交流并与超过 50 家卡车公司交谈后，我们意识到，叉车路线并不是人们一直提到的问题，货物尺寸才是。同时，我们看到空间 AI 正在快速发展。单目度量深度估计已经变得显着更好，使得从普通摄像头录像中恢复准确的 3D 结构成为可能，而无需昂贵的 LiDAR 传感器。MapAnything ( https://github.com/facebookresearch/map-anything ) 和 MoGe ( https://github.com/microsoft/moge ) 是两个例子。货运码头还具有有用的结构：固定摄像头、重复的工作流程、条形码扫描时间戳以及已知的布局。几乎每个仓库已经都有 CCTV。这让我们产生了一个简单的问题：如果我们能够使用现有的安全摄像头自动测量货物，完全在后台进行，会怎么样？这将允许承运人在不改变码头工作流程的情况下测量每个货物。我们的系统有两个主要步骤：将条形码扫描连接到视频中的正确对象，然后估计该对象的实际世界单位尺寸。码头工人已经将货物扫描作为正常工作流程的一部分。每次扫描都提供一个时间戳和一个处理单元 ID。在该时间戳附近，我们分析视频以推断哪个工人进行了扫描以及他们扫描的是哪个货物。我们原本期望 VLMs 能做到这一点；但事实证明它们太不可靠。相反，我们训练自己能够基于目光、身体方向和动作等线索在 3D 空间中进行推理的模型。该关联步骤至关重要。一个帧中可以包含数十个托盘、几个工人、叉车和部分被遮挡的货物。如果我们将扫描附加到错误的对象，测量就是无用的。一旦我们知道目标货物是什么，我们就对其进行分割，并从单目摄像头视图中估计出一个度量的 3D 包围盒。在包围盒拟合完成后，长度、宽度、高度和体积可以直接从中得出。困难的部分是从一台普通的安全摄像头精确拟合这个包围盒。单个 2D 图像并不能直接告诉你对象的形状或尺度，并且许多不同的 3D 盒子可以解释类似的图像证据。我们利用对象掩码、可见边缘、地面接触、摄像机几何以及来自码头的约束来找到与场景最匹配的 3D 盒子。我们目前正在与几家 LTL 承运人合作。对于一位客户，大约 10% 的核对货物存在尺寸错误。第一个用例是恢复收入：识别尺寸不足的货物，附加视觉证据，并帮助承运人纠正账单或分类。从长远来看，同样的数据可以帮助承运人更好地理解拖车利用率。LTL 货运是进行 3D 计算机视觉的奇特领域，而我们每周都会学到新东西。如果您曾参与单目重建、3D 物体检测、仓库感知或复杂的现实世界计算机视觉，我们非常希望得到您的看法。关于货运、LTL 码头或技术方法的问题也非常欢迎。