李飞飞：不要数字孪生

　　我们很多人都听说过数字孪生（t tw），在英伟达等公司的大力推动下，这种高效运营工作流程的方法已经在很多工业场景中得到应用。

　　近日，斯坦福大学李飞飞团队就做出了一个这样的研究，其可有效地将真实数据变成适用于机器人学习的模拟数据 —— 在降低真实转模拟成本的同时还能提升学习的泛化性能。

　　简单来说，你只需拍一张照片，就能将照片中的物体变成虚拟版本，并且这个数字虚拟版本还不是照片中物体的一比一复刻，而是存在一定的变化。

　　我们知道，在真实世界中训练机器人并不安全，而且成本很高，难以大规模扩展。这就是模拟的用武之地，其成本低，并且可以源源不断地获取训练数据。但是，模拟的问题也很明显，模拟环境和真实环境总归不一样，存在含义和物理机制上的差异。

　　为了解决这种差异，数字孪生的概念诞生了。简单来说，数字孪生就是为真实场景构建一个虚拟副本，但其成本很高，并且难以实现跨域泛化。

　　为了解决这些局限，李飞飞团队提出了数字表亲（t ou）的概念。不同于数字孪生，数字表亲并不是真实物体的虚拟对应，而只是具有相似的几何和语义特质和属性。

　　如此一来，数字表亲既能降低生成相似的虚拟环境的成本，还能通过提供相似训练场景的分布而实现更好的跨域泛化。基于数字表亲，该团队提出了一种用于自动创建数字表亲的全新方法，该方法就叫做自动数字表亲创建（AutotCrto oDtCou），简称 ACDC。

　　他们还提出了一种全自动的「真实→虚拟→真实」流程，可用于生成完全可交互的场景以及训练可以零样本方式部署在原始场景中的机器人策略。

　　结果表明，ACDC 得到的数字表亲可以成功保留几何与语义特质和属性，同时训练得到的机器人策略也优于使用数字孪生得到的策略：在零样本虚拟→线% 的成功率胜过数字孪生的 25%。

　　问题 1：ACDC 能否得到高质量的数字表亲场景？给定一张 RGB 图像，ACDC 能否捕获原始场景中固有的高层级语义和空间细节？

　　问题 2：当在原始设置上进行评估时，基于数字表亲训练得到的策略能否与基于数字孪生得到的策略相媲美？

　　其中，「S」是输入场景中两个物体的边界框之间的最大距离。「Ct」表示正确分类的物体与场景中物体总数的比例。「Mo」显示正确建模的物体与场景中物体总数的比例。「L2 Dt」提供输入和重建场景中边界框中心之间的欧几里得距离的平均值和标准差。「Or D」表示每个中心对称物体的方向幅度差异的平均值和标准差。「Box IoU」表示资产 3D 边界框的交并比 (IoU)。

　　基于这些结果，我们可以放心地回答问题 1：ACDC 确实可以保留输入场景的语义和空间细节，从单个 RGB 图像生成现实世界对象的表亲，这些表亲可以准确定位和扩展，以匹配原始场景。

　　在精确孪生、不同数量的表亲和三个最近类别的所有资产上训练的策略的汇总成功率。策略在四种设置上进行测试：精确数字孪生和三种越来越不相似的设置（以 DINOv2 嵌入距离为衡量标准）以探测零样本泛化。请注意，对于任务 3，使任务可行的橱柜模型要少得多，因此这里仅比较数字孪生和 8 个表亲的策略。

　　数字孪生与数字表亲策略的零样本真实世界评估。任务是打开宜家橱柜的门，衡量标准是成功率：模拟 / 线 次试验中取平均值。

　　全自动数字表亲生成。ACDC 的无剪切视频完全自动执行，为真实厨房场景生成了多个数字表亲。ACDC 步骤 1 末尾的轴对齐边界框无需加速即可做到可视化。

　　零样本模拟到真实世界策略迁移。专门从上面生成的四个数字表亲训练的模拟策略，我们可以零样本迁移到相应的真实厨房场景。

　　基于这些结果，我们可以放心地回答问题 2、3、4：与在数字孪生上训练的策略相比，使用数字表亲训练的策略表现出相当的分布内性能和更稳健的分布外性能，并且可以实现零样本模拟到真实策略迁移。

　　作为一种全自动管道，ACDC 用于快速生成与单个现实世界 RGB 图像相对应的完全交互式数字表亲场景。我们可以发现，利用这些数字表亲训练的策略比在数字孪生上训练的策略更稳健，具有可媲美的域内性能和卓越的域外泛化能力，同时也支持零样本模拟到现实的策略转移。