深度学习大神解答机器学习与AI发展

张巨岩等

Yoshua Bengio，计算机科学家，毕业于加拿大麦吉尔大学，在MIT和AT&T贝尔实验室做过博士后研究员，自1993年之后在蒙特利尔大学任教，与 Yann LeCun（燕乐纯）、 Geoffrey Hinton并称为“深度学习三巨头”，也是神经网络复兴的主要的三个发起人之一。

他对机器学习爱好者提问的各种解答让我们能深入了解深度学习及AI（人工智能）未来发展趋势。

Q：理解大脑对于理解深度学习来说有多重要？反过来呢？

A：就像许多早期从事神经网络研究的人（包括我的同事Geoff Hinton和Yann LeCun）一样，我相信，当我们思考我们对于大脑已经知道了什么的时候，我们会有不错的机会来从中学习一些对于搭建AI来说有用的东西，并且这一点随着神经科学家们收集了越来越多的大脑数据而变得越来越确定。

这个信念与相反的想法也是有联系的——为了真正理解为何大脑让我们拥有智能，我们需要对于大脑中发生的事构建一个“机器学习”的解释，也就是说，搭建一个计算的、数学的模型来解释我们的大脑是怎样学习如此复杂的东西、又怎样表现出如此成功的信度分配的。

为了验证这个解释，我们应该能够运行一种机器学习算法，它拥有从神经生物学中提取出来的基本原则，但它没有必要理解这些原则（但是可能有必要将这些原则在它的“大脑”中实现，或是为它提供一些我们与生俱来的知识）。就我所知而言，我们还没有明白，脑内神经元突触应该怎样产生变化，才能让作为一个整体的大脑对于世界有更好的理解、做出更好的行为。这是这些日子经常在我脑海中徘徊不去的话题之一。

Q：有没有深度学习永远不能学会的东西？

A：这取决于你说的深度学习指什么。如果你指的是现在我们知道的算法，那么答案很有可能是“是的”。但是，毫无疑问，随着这个领域的研究不断探索，深度学习还在继续演化，很明显深度学习的应用范围有不断扩大的趋势。

神经网络曾经在模式识别问题上非常成功，音素识别和物体识别都是很好的例子。然而，我们可以看到越来越多神经网络方面的工作正在靠近传统的AI领域，比如推理、知识表征、以及操作符号数据。我相信，这些近期的工作只不过是冰山一角，当然我的手里并没有水晶球来做预言。如果我们未来对于深度学习的定义中，包括了以受神经启发的算法来复制所有人类认知能力的能力，那么“这个领域中没有深度学习学不会的事情”的假设就是相当合理的。

不过，到时候，可能会有一些人类永远不能学会的任务，对于这些任务，很容易得出结论：没有机器能完美地完成这些任务，因为用来训练的样本数量太局限了。

Q：深度学习研究将去往何方？

A：研究从定义上来说就是在不断探索的，这意味着首先我们不知道什么能起效，其次我们需要探索许多途径，我们需要整个科学社区在研究方向上有很大的差异性。所以我只能告诉你我目前的直觉，我在哪些地方看到吸引了我直觉的重要挑战和机遇。下面是其中的一些：

（1）非监督式学习是关键，我们现在的做法还并不正确（我和其他人在这一方面写过、说过很多观点试图纠正）。

（2）深度学习研究可能会继续扩张，从原本的传统模式识别任务扩张到AI的全部任务，包括符号操作、记忆、规划和推理。这对于完整地理解自然语言和与人对话（即通过图灵测试）来说将会非常重要。相似的是，我们见证着深度学习正在延伸到强化学习、控制以及机器人学的领域，而这只不过是一个开始。

（3）对于AI，我们可能仍然需要再获得许多知识，更好地理解大脑并尝试找到大脑运作的机器学习解释。

（4）最大似然可以加以改进，当在复杂的高维度领域中学习时（非监督式学习和结构化输出情景中兴起的情况），它不一定是最佳的目标。

（5）基于深度学习的AI（不只是消费者产品）将会很大地受益于计算力的大幅提高，这可能意味着出现专门的硬件；这是因为AI需要大量关于世界的知识（然后对它们进行推理），这就需要用非常大量的数据来训练大型模型，这一切都需要比我们现在使用的高得多的计算力。

Q：为什么非监督学习很重要？深度学习在其中起什么作用？

A：深度学习其实是关于学习表征方式，这意味着学习有益于捕捉我们所关注的统计相关性的中间概念、特征或隐性变量。这些相关性来自于从输入变量到输出变量的监督学习过程，或在变量的任何子集之间的非监督学习过程。通常来说，监督学习用于教电脑学会对解决特定任务很重要的中间概念（例如类别）。然而，我们看到监督式深层网络在它们的网络层中可以发掘出有意义的中间概念。非监督学习很相似，不同在于我们让模型捕捉了所有变量之间可能的相关性，不区别输入和输出。用监督学习来完成AI可能需要让电脑从所有与这些概念有关的数据集中学会所有对我们很重要的概念。这不是人类的学习方式：是的，由于语言的存在，我们得到了一些阐明新概念的示例，但是我们观察到的很多东西并没有明确的标记，至少一开始是这样的。

孩子们并没有让大人告诉他们每幅图的每个像素是什么，或者每幅图中的物体是什么，什么是语法结果，每句话中的每个单词的确切意思是什么。我们从简单的观察中提取出大部分信息（可能通过“动作—感知”循环），而这就是非监督学习的基本原理。我们希望深度非监督学习将能够发现（可能需要很少的标记数据的帮助）所有的概念和事情发生的起因（一些被直接标记好，一些没有标记），进而解释我们看到的现象。所以我相信这个方向上的进步对实现AI有本质性推动作用。

如果你仔细想想，科学家正在做非监督学习：观察世界，想出解释某种现象的模型，收集更多观察数据（虽然是有目的的）来测试它们，接着不断地改进这种解释世界运行原理的模型。

Q：在研究预料之外的实验结果时，比如你觉得某个想法应该会有效，结果在实验里却没有效果，你会用到什么技术？

A：通常来说，这要么是一个bug，要么就是更有趣的情况：它证明了你脑海中的模型应该改一改了！你需要变得善于寻找bug（这需要练习），在机器学习中这并不是一件容易的事，因为许多bug仍然会允许其继续学习，只不过效果不那么好了。但无论如何，当实验结果与你的期望不符时，不要无视它！这是一个你应该为之热切期盼的机会。

有时候你脑海中的模型是错误的，但是别人可能不觉得你的结果让他们惊讶，于是你将需要通过交流（可能是写一篇论文，或者是与其他研究人员探讨）来找出错误。

我最好的调试工具是我脑海中的模拟系统。让模型在你的脑海中运转，越详细越好，然后试着想象有什么事可能发生。

Q：深度学习之后机器学习中的“下一个”大事会是什么？

A：第一，我根本没有水晶球。第二，据我所知，当我们实现了人类级别的AI后，深度学习的使命就结束了，而我很难预见这之后会发生什么。深度学习为神经网络带来了一些想法。随着时间推移，其他概念也会加入其中，从而一点点向着实现AI方向努力。

我真的认为有些想法会历久弥新。这像是在问“我们研究了过拟合、欠拟合和容量之后，机器学习的下一个大事件是什么？”（过拟合、欠拟合和容量在1980年代后期开始盛行）这些想法永远不会过时，因为它们非常有用。显然这类想法，如学习复合函数（深度）的提出（和重要性），会历久弥新。但单凭其自身无法保证这一点，我们还有很多工作要完成。

Q：一个人怎样才能开始机器学习？对于一个熟悉机器学习基本概念的人来说，开始接触深度学习时有什么不错的资源？

A：首先你需要在数学和计算机科学方面有适当的基础。深度学习方面，你可以看看MIT出版社的《深度学习》（现在可以在线阅读，最终MIT出版社会将它印刷成册）第1部分，重温一下数学和计算机科学的知识、或是看一下数学和计算机科学中哪些领域与深度学习最有关系。然后你需要了解一些机器学习方面的知识（有一些不错的书，比如Chris Bishop写的和Kevin Murphy写的，视频有吴恩达的coursera课程和Hugo Larochelle的神经网络授课视频，你也可以从《深度学习》这本书的第5章中获得许多基本知识的总结）。

然后你需要开始练习，也就是说，亲手编写一些学习算法、用数据来训练它们——比如说，尝试参加一些Kaggle竞赛。

同时，继续保持阅读。如果你对于深度学习感兴趣，我的书《深度学习》中第3章将会为你使用大多数常见的算法打下基础。到那时，你应该有了足够的背景知识、能够以稳定的频率来阅读勾起你兴趣的论文了。另外《深度学习》可以在网站上（http：//www.deeplearningbook.org/）阅读所有的草稿了。

Q：你对于进入机器学习领域的年轻研究者们有什么建议？

A：确认你在数学和计算机科学领域（包括实际的部分，也就是编程）有扎实的背景。读书和读（大量的）论文，但这还不够：你需要培养出你的直觉，这可以通过（1）自己编写很多学习算法，如尝试重现文献中的方法；（2）例如参加比赛或者在重现文献中方法后进一步改善结果，从而学会去调试超参数（hyper-parameters）和探索（框架、目的函数等等）变异性。然后找到合作者，你可以与他们一起对想法进行头脑风暴，并与他们一起分担探索和测试新想法的工作量。当然能与一个已有的团队一起工作非常理想，或者如果你是一位大学教师的话，你可以招募你自己的学生，和他们一起工作。

责任编辑：方丹敏