近日，DeepMind研究者发表论文，提出了用一种综合的方法来将机器语言提升到人类的语言理解水平。在文章中，研究者讨论了该方法所面临的挑战，并提出了应对这些挑战的步骤。
最近，机器智能最令人印象深刻的成就出现在语言领域。当前，机器可以更好地识别研究者所说的话，并以更自然的方式做出回应。
更令人印象深刻的是现代机器翻译。任何一个拥有智能手机的人都可以通过应用程序，用一种语言说一个句子，然后能够看到和听到另一种语言翻译。
在大多数语言任务中，人类的能力仍然远远超过机器，但这些系统运行良好，可每天供数十亿人使用。
这些成功的基础是什么?这些系统面临哪些限制?
研究者认为，迄今为止，这些方法能够取得成功，是因为神经计算原理，而人类也在使用它。
这项工作仍然有一定的局限性，因为在很大程度上，它将语言与理解分开处理了，而理解语言是非常重要。
神经计算原理（Principles of Neural Computation）
神经计算原理是受人脑启发所产生的通用原理，在20世纪50年代首次被提出，在80年代进一步发展为用于建模认知的并行分布式处理(PDP)框架。
这种方法的核心思想是，语言和其他认知领域的结构是一种自然现象，在学习的连接权重中捕获并产生语境敏感的分布式表示，其特征反映了一个渐进的、依赖于输入统计的学习过程。
这些模型将经典语言学理论中的符号和规则视为加工和学习的结果，而不是建立在其结构中的实体。
这些模型不是用离散的符号来表示语言单位，而是依赖于一种活动模式，这种活动模式通常被称为神经元类处理单元阵列的嵌入。他们使用的不是显式的规则系统，而是依靠学习的连接权值矩阵将一组单元上的模式映射到其他单元上。
另一个关键原则是相互约束满足。例如，一个句子的意义取决于它的结构，但是结构也可以依赖于意义。
想想“一个男孩用__打了一个男人”这句话。如果缺失的单词是bat，那么bat将作为以hit为首的动词短语的一部分进行读取，并指定用于执行操作的工具。
但是如果beard填补了这个空白，那么with a beard就是一个名词短语的一部分，用来描述谁被打了。
即使是口语或书面语被分割成基本的部分(如字母)，也部分取决于意义和上下文，如图1所示。Rumelhat勾画了一个语言理解的交互模型，在这个模型中，对所有输入的概率估计限制了其他可能性的估计。
这个想法是在环境效应模型中被捕获的。后来的工作将这些想法与统计物理中的能量最小化联系起来。研究者现在所描述的神经语言建模研究，就包含了这些原则。
图1：用两个手书写的句子，说明上下文如何影响书面文本中字母的标识。
人类综合理解系统(IUS)
情境和对象（Situations and objects.）
尽管神经语言建模取得了成功，但一个重要的限制是这些模型完全基于语言。
研究者需要这样一个模型，在这个模型中，语言是一个综合理解系统(IUS)的一部分，用于理解和交流研究者遇到的情况以及参与其中的对象。
情境表征构成了研究者的世界模型，并指导着研究者的行为和对语言的解释。事实上，解决Winograd句子中代词的指称可以从构建该句子所描述的情景的表达开始。
因此，解决Winograd模式挑战是人类语言理解过程的自然副产品。简而言之，研究者认为，语言的进化是为了交流所发生的情况，系统应该解决这个问题。
大脑的理解系统
图2：综合理解系统(Integrated Understanding System (IUS))
图2描述了研究者提出的综合理解系统。研究者提出的建议既是大脑理解基础的理论，也是未来语言理解研究的架构。
首先，研究者关注系统的一部分，它被称为新皮层系统，足以将语言和非语言输入结合起来来理解对象和情景。
这个系统由图中的蓝色椭圆(对应于大脑中的神经元池)和蓝色箭头(这些池之间的连接)组成。一个群体为给定情景的视觉表征/嵌入，另一个群体提供非语义语言表示，捕获共同语言的语音结构(音系学)。第三个代表参与情境的对象，第四个代表整体情境本身。
在每个池中，以及每个连接的池对之间，神经元通过依赖学习的路径相互连接，允许每个嵌入类型的所有元素之间的相互约束满足。
代表视觉和语言输入的大脑区域已经建立，而且它们参与相互约束满足过程的证据也很充分。这里研究者关注的是大脑中物体和情境表征的证据。
走向人工综合理解系统
在这里，研究者考虑的深度学习研究与IUS的建议相一致，并指出了实现真正集成且功能齐全的理解系统未来的方向。
研究者从语言环境开始，这些语言环境以具体的视觉和物理环境为基础，然后考虑记忆的作用，最后将注意力转移到对更抽象的对象、情境和关系的理解上。
研究者的讨论主要集中在具体的情况上。然而，语言允许研究者讨论抽象的思想和情况，这些抽象的思想和情境在物理世界中是非常间接的，研究者对它的学习主要来自基于语言的材料。
结论
语言并不孤单。
大脑的集成理解系统将语言与对象和情境相连接，同时充分利用人类对世界的多感官体验、动作的表示以及对以前情境的记忆来增强语言理解。
研究者认为下一代的语言理解系统应该模仿这个系统，并且研究者已经勾勒出了这个系统可能采取的形式。
当强调对具体情况的理解时，研究者认为对更抽象语言的理解是建立在具体基础之上的，并指出未来的某一天，研究者可以建立一个远远超出理解具体现象和此时此刻情况的人工系统。
综上所述，研究者提出，在大脑中对综合理解系统进行建模，将使研究者更接近获取人类级别的语言理解和智能。
论文链接：
https://arxiv.org/pdf/1912.05877.pdf
视频点击预测大赛火热进行中
3万元奖金、证书、实习、就业机会已准备就位，快叫上小伙伴一起来组队参赛吧。
赛题：希望参赛者通过已有的用户信息、视频信息以及他们是否观看过某些视频，来预测我们推荐给这些用户的视频对方是否会观看。
个人、高等院校、科研单位、互联网企业、创业团队、学生社团等人员均可报名。
报名及组队时间：即日起至2020年2月1日
报名入口：
http://www.turingtopia.com/competitionnew/detail/e4880352b6ef4f9f8f28e8f98498dbc4/sketch
本文来自投稿，不代表本人立场，如若转载，请注明出处：http://www.souzhinan.com/kj/238090.html