人工智能系统通过观看视频来学习建模面料如何相互作用

在预印服务器Arxiv.org上发表的一篇论文中，麻省理工学院CSAIL，英伟达，华盛顿大学和多伦多大学的研究人员描述了一种AI系统，该系统通过观看视频来学习影响面料等材料的物理相互作用。他们声称，该系统可以推断出以前从未见过的交互作用，例如涉及多个衬衫和裤子的交互作用，从而使其能够进行长期预测。

因果理解是反事实推理的基础，或者是对已经发生的事件的可能替代方案的想象。例如，在包含一对通过弹簧彼此连接的球的图像中，反事实推理将需要预测弹簧影响球相互作用的方式。

研究人员的系统-视觉因果发现网络(V-CDN)-猜测与以下三个模块的交互：一个模块用于视觉感知，一个模块用于结构推断，以及一个模块用于动力学预测。训练感知模型以从视频中提取某些关键点(感兴趣的区域)，干扰模块从中识别出控制关键点对之间相互作用的变量。同时，动力学模块利用推理模块创建的图形神经网络学习预测关键点的未来运动。

研究人员在模拟环境中研究了V-CDN，其中包含各种 形状的面料：衬衫，裤子和毛巾，外观和长度各不相同。他们在织物轮廓上施加力以使其变形并在周围移动，目的是产生一个可以处理不同类型和形状的织物的模型。

研究人员说，结果表明，V-CDN的性能随着观察到更多的视频帧而提高，这与直觉有关，即更多的观察结果可以更好地估计控制织物行为的变量。他们写道：“该模型既不假设访问基本事实因果图，也不……描述物理相互作用影响的动力学。”“相反，它学会了以无人监督的方式从图像中发现依赖关系结构并对端到端的因果机制进行建模，我们希望该方法有助于将来对更通用的视觉推理系统的研究。”

研究人员小心地注意到，V-CDN不能解决因果建模的巨大挑战。相反，他们将工作视为朝着建立能够对动态系统建模的基于物理的“视觉智能”这一更广泛目标的第一步。他们写道：“我们希望引起人们对这一巨大挑战的关注，并激发未来对基于视觉输入的通用化基于物理推理的研究，而无需进行特定领域的特征工程。”