北美洲·美国 麻省理工学院研究人员让AI连接感官

人类赖以探索世界的两个重要工具是视觉和触觉。人类可以结合视觉和触觉来了解他们持有和看到的物体。机器人和人工智能系统无法做到这一点。

来自麻省理工学院的研究员Yunzhu Li和他的团队正在研究一种系统，该系統从视觉输入中创建触觉信号，并预测从这些触觉输入中触摸到的对象和部分。研究人员将他们的系统与麻省理工学院另外一个小组设计的Kuka机器人手臂和一个叫做Gelsight的特殊触觉传感器一起使用。

该小组使用网络摄像机记录了近200件物品，包括工具、家用产品、织物以及其他物品，它们被触摸超过12000次。然后，他们将这12000个视频片段分解成静态帧，并编译了一个包含300多万个视觉/触觉配对图像的VisGel数据集。

研究人员表示，通过观察现场，他们的模型可以想象到触摸平面或锋利边缘的感觉。通过触摸周围，模型可以从纯粹的触觉上预测与环境的互动。他注意到，通过将两种感官结合起来，它们可以赋予机器人力量，减少涉及操作和抓取物体任务所需的数据。