咱们知道，人工智能的指标之一就是让计算机模拟人类的视觉、听觉、触觉等感知才干，尝试去看、听、读，了解图像、文字、语音等，在此基础上，再让人工智能具备思想才干、执行才干，最终成为跟人类一样的存在。
如今，人工智能机器人的感知才干曾经成功了清楚的停顿。围绕机器视觉，机器人可以成功一系列像图像识别、指标检测和文字识别等配置失掉宽泛运行;围绕天然言语处置，机器人可以启动基本的语音了解、机器翻译、语音对话等;围绕机器触觉，机器人可以成功灵敏的物体感知、抓握推举等各种举措。
繁多感知或许说感知才干无法互通，成为以先人工智能机器人无法成功类人化打破的一大要素。也就是说，在繁多感知才干和繁多上班上，机器人的准确度、稳固性和耐久性下面，或许远超人类，但一旦在成功多道工序的复杂义务下面，机器人就远逊于人类的体现。
人工智能机器人想要成功质的开展，就肯定在感官才干下面成功多模态的感知融合。如今除了在咱们熟知的机器视觉方面，人工智能机器人正在机器触觉和听觉方面成功打破，并且经过视觉、触觉和听觉的感知融合，来大幅优化机器人的感知才干。
关于人工智能机器人，个别人要么抱有很高的不实际践的空想，担神思器人反派会很快来到，要么对机器人的通用才干坚持疑心，觉得机器人只能在少数场景替代人类。
只要深化到人工智能机器人的“案发现场”，不吹不黑地看下机器人感知才干的开展状况，才干知道机器人的感知补全方案的真正停顿。
机器视觉和机器触觉
作为地球上最有智慧的动物的人类，感官失掉信息的83%来自视觉，11%来自听觉、3.5%来自嗅觉，而1.5%来自触觉，1%来自味觉。
在这五种感官中，假设你可怜地只能保管一种，或许大局部都会保管视觉。要知道咱们大脑的近1000亿个神经元，大少数都在处置视觉信息。而在一切的感知信息中，也只要灵活的视觉信息是最为复杂的，以致于人类得靠着闭上眼睛被动隔离才干叫“劳动”。
正由于视觉信息的关键和复杂，咱们在人工智能技术的开展上，除了天然言语处置，那就关键在开展机器视觉了。
这一次性人工智能的浪潮也是由于在图像识别上的打破停顿才从新兴起。如今，机器视觉曾经在工业、安防、日常消费电子、交通等各个畛域片面开花，越来越多的摄像头面前都具备了AI的图像识别才干。
关于大少数人工智能机器人而言，除了有视觉才干，还有就是移动行走和抓取才干，这就须要用到触觉的协助。关于往往只要繁多配置的智能化机器人，通常只要设定好固定的参数、移动轨迹和抓取力度，即可不休不眠地成功上班义务。但关于人工智能机器人而言，则要灵敏顺应各种不同材质、不同外形和软硬度的物体，这个时刻就既须要机器视觉的识别才干，也须要关于物体的触觉判别。
之前，大局部机器人的抓握处置方案都是单靠机器人的视觉感知。关键的处置方法就是经过数据库启动图像婚配，将指标物体的形态和自身举措启动实时监测，最终调整适合的抓取算法，来成功物体的抓取，然而无关抓握的接触力度，则是机器视觉无法替代的，这样机器还须要触觉上的感知数据。
就似乎人类一样，咱们在尝试抓取物体时，会组合运用各种感知才干，最基础的就是视觉和触觉。由于视觉会由于光线、阴影、眼帘遮挡等要素，形成误判，咱们通常会更有效地利用皮肤的触觉，来取得关于物体完整的感知。
人体的触觉感知也是一个十分复杂的动物电信号反响的环节，那么要赋予机器以触觉才干也须要经过十分复杂的处置。模拟人体的触觉反响，机器人的触觉传感器也肯定能够将物体的质地、润滑水平以及物体外形启动数字模拟处置，将压力和振动信号变成可以计算机处置的数据信号，从而启动触觉算法的训练。
机器触觉的难点在于关于触觉传感器取得的抓握等庞大振动的识别，要能够识别抓握物体出现的滑动振动和物体与其余物体摩擦出现的振动，还要能够辨别不同物体的振动，这些是钻研者们重点攻克的难点。
成功打破的方法就是，咱们须要更好的触觉感应器，肯定做到比现有的压力传感器更好的触觉传感器，能够嵌入到柔性资料当中，成功像人类皮肤一样的天然皮肤。
最近新加坡国立大学的两名钻研人员就开收回一种天然皮肤，搭载在一个能够模拟动物神经网络天然大脑，经过英特尔Loihi的神经拟态处置器上运转。在这一技术基础上，钻研团队经过了机械手臂读取盲文的测试，同时借助视觉传感器和这一天然皮肤，机械手臂的抓取才干也失掉清楚提高。未来基于这种触觉才干的机器人，可以在东西分拣环节中做到愈加灵敏、粗疏和安保，在护理行业上，可以对人类启动更好的看护和协助，在外科手术机器人上，更好的成功手术的智能化。
视觉和触觉的联合，曾经可认为机器人感知优化提供了或许，那么听觉才干的融合，会带来哪些效果呢?
机器听觉的补全
这里的机器听觉，不是特指关于人类语音的识别。这类语音识别曾经在各类消费级的智能音箱等畛域失掉宽泛运行。这里的机器听觉是指经过声响传感器关于一切物体收回声响的判别。
相比拟机器视觉关于物体的判别的便捷间接，机器听觉确实是人们不时疏忽的畛域。在咱们的日常生存场景中，咱们其实除了用视觉来判别物体的远近、色彩和大小之外，咱们通常也会用到听觉来识别物体的距离远近、质地，推测事情的出现。这一点关于有视力阻碍的人来说尤为关键。
最近，卡内基·梅隆大学(CMU)的钻研人员发现，经过参与听觉感知，人工智能机器人的感知才干可以失掉清楚的提高。
这一次性CMU机器人钻研所初次对声响和机器人举措之间的相互作用启动大规模钻研。钻研人员发现，不同物体收回的声响可以协助机器人辨别物体，比如金属螺丝刀和金属扳手。机器听觉还可以协助机器人确定哪种类型的举措会发生声响，并协助它们应用声响来预测新物体的物理属性。经过测试，机器人经过听觉在对物体启动分类的准确率能到达76%。
为了成功这一测试，钻研者经过60个经常出现物体在一个机器人的托盘上启动滑动、滚动和撞击，记载下15000个交互的视频和音频，构成了一个大数据集。
此外，钻研者还可以经过摇晃容器或许搅拌物质的声响来预估颗粒状物质的数量和流量，比如对大米和意大利面启动评价。显然，经过声响的对比，可以预测很多经过视觉无法预测的物理属性。
机器听觉无法辨别一个白色方块和一个绿色方块，但他可以在看不见的状况下的撞击声，来辨别出两个不同物体。而这正是机器听觉的有用性所在。最终关于声响识别物体的效果，就连钻研者也都十分惊讶。
在机器听觉的运行方面，钻研者首先想到的是在未来机器人的装备仪器上加一个手杖，经过手杖敲击物体来识别物体，这倒是一个幽默的画面。但可以想见，在未来智能安防、管道线路检测以及身材检测等方面，机器听觉可以施展更大的作用。另外，关于识别最无心义的人类声响，比如音乐、情感等声响内容下面，这些运行就愈加宽泛。
机器人多模态感知融合的运行前景
正如觉得器官关于人类的关键性而言，感知系统关于机器人的关键性雷同至关关键。
要知道，咱们人类其实是很少只用一个感官去失掉信息，也很少只用一个感官去指点执行。就似乎在一场“攀登-赛跑-游泳”的三合一较量中，咱们在繁多名目中或许无法打败猴子、豹子和海豚，然而在整场较量中，人类就可以同时成功这三个名目。咱们人类在感知事物的时刻通常也是多感官同时施展作用，相互协谐和屡次验证来加深关于外界物体的感知意识。更为复杂的事，咱们甚至还要借助记忆、推理等理性认知才干来对感知事物启动加工，从而失掉更为复杂的认知。
相比拟于人类的多感官运行，机器人的繁多感知或许便捷组合的感知才干，又由于目前机器人的感知识别形式依然是基于算法模型关于感知数据的剖析和数据对比，因此难以发生更为复杂的推理常识，因此是机器人在认知的复杂度上稍逊于人类，但在识别物体的准确度和规模上就会远超人类。
如今，多模态感知融合的推进，将使得机器人在认知复杂度下面逐渐凑近人类的才干。未来的机器人面对照明和遮挡、噪声和混响、静止和相似等复杂交互场景，将会变得愈加游刃缺乏，从而发生各种收益清楚的事实运行。
多模态感知融合或许运行到的畛域，包含：
像在安防、灾祸接济、应急处置等须要灵敏处置的场景，都可以逐渐交由多感知系统的机器人处置，或许人机协同远程处置。
此外，由于机器人感知融合才干的提高，机器人关于综合感知数据的训练，可以更好地理解人类自身的复杂性，尤其是可以建设更为复杂的情感计算模型，能够更好地理解人类在表情、声响、皮肤温度、肢体举措等方面传递出的情感信号，为更初级的人机互动提供新的或许。
目前来看，人工智能机器人依然是一个复杂的系统工程，想要成功机器人的多模态感知融合，还须要对传感器性能、算法协同、多模态义务、环境测试等多方面启动综合钻研。
这个环节必然是十分困难的，但取得成绩之后的出路必然是一片黑暗的。在咱们等候人类与机器人谐和生存的未来，咱们天然更等候这些机器人不再是一台凉飕飕的机器。