图灵小时候的扮演者

2022-10-16来源：军演时光 - 娱乐资讯站编辑：佚名标签：

文章导读: 昨日，ACM 2018 图灵奖得主公布，深度学习三巨头 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人共享此殊荣。此次 ACM 大奖的颁布，一方面让人感叹「终于」、「实至名归」之外，也让人不禁想起 LST

昨日，ACM 2018 图灵奖得主公布，深度学习三巨头 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人共享此殊荣。此次 ACM 大奖的颁布，一方面让人感叹「终于」、「实至名归」之外，也让人不禁想起 LSTM 之父 JÜRGEN SCHMIDHUBER，他是否也应该获此荣誉呢？

在官方公告中，ACM 介绍说，「因三位巨头在深度神经网络概念和工程上的突破，使得 DNN 成为计算的一个重要构成，从而成为 2018 年图灵奖得主。」

确实，在这波 AI 浪潮中，深度学习扮演者主力角色。在人工神经网络历经寒潮之时，Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 这样一小撮人的的坚持，带来了如今深度学习的崛起。

正如 ACM 主席 Cherri M. Pancake 所说，「人工智能如今是整个科学界发展最快的领域之一，也是社会上讨论最广的主题之一。AI 的发展、人们对 AI 的兴趣，很大程度上是因为深度学习的近期进展，而 Bengio、Hinton 和 LeCun 为此奠定了重要基础……」

因此，Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三位非 ACM Fellow（捂脸）获此殊荣实至名归。

然而，在我们感叹有「计算机界诺贝尔奖」之称的 ACM 图灵奖「终于」颁发给深度学习时，也有学者发出疑问 LSTM 之父 Jurgen Schmidhuber 是否也应获得此荣誉。

Jurgen 也该得奖？

2018 年的图灵奖颁给了在 AI 寒冬中默默坚持，并引领学界走向深度学习爆发的三位先驱，这是 AI 领域的一件喜事。在大奖结果正式公布后，社交网络上的讨论也在热烈开展，不过人们的焦点却有些文不对题：

（图注）在 Reddit 上，有关图灵奖的帖子被顶最多的几个回复：「Schmidhuber 哭晕在厕所」。

对此，人工智能著名学者，南京大学人工智能学院院长周志华第一时间也表示：「要论对深度学习的贡献，Hinton 无疑居首，LeCun 和 Schmidhuber 贡献都很大。但 HLB 总捆绑在一起，而 S 跟 HLB 都不对劲。。。获奖需有提名有投票，人缘也重要。。。不过没关系，有 LSTM 这样教科书级的贡献足以淡定。」

在知乎问答上，也有众多网友肯定 Schmidhuber 的成就，感兴趣的读者可查看该知乎帖子：

看来大家纷纷对 Jurgen Schmidhuber 在人工智能领域里的贡献表示肯定。不过此人在业内人缘似乎的确不够好，在 2015 年还曾发文怒怼过 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人小圈子。

作为一个例子，让我们看看《自然》杂志 2015 年的人工神经网络（NN）文章《Deep Learning》，它是深度学习的一篇标志性文章，目前引用量已经达到了 13886。该文章是由 LeCun、Bengio 和 Hinton （简写LBH）联合写的，他们从当下的卷积、循环和反向传播算法等核心概念概览了深度学习，并表示无监督学习、深度学习结合强化学习等方向才是发展趋势。

然而，Schmidhuber 在当年的一篇批判性文章中表示，作者在这篇文章中引用了很多自己的研究工作，而忽视了半个世纪以前开创领域的先驱者。此外，Schmidhuber 在文章中还说了一句「They heavily cite each other」。

如下展示了Schmidhuber 批判的前三条观点，他对该论文一共提出了九条批判性意见。

总体而言，Schmidhuber 列举了三人对于深度学习、反向传播、前馈学习、无监督学习、卷积神经网络等等方面对于前人研究的忽视，可谓详尽。

如此耿直，难怪不受人待见。不过另一方面，我们评判一位学者的成就不应该看他的性格，而更应该以学术成就作为标准。

正如人们所说的，Jurgen Schmidhuber 是一名人工智能先驱。

Jurgen 的学术成就

作为 LSTM 发明人、深度学习元老，Jürgen Schmidhuber 的识别度一直没有 Yann LeCun、Yoshua Bengio 等人那么高。他最为人们所知的名号就是「LSTM 之父」了：早在 1997 年，他和 Sepp Hochreiter 共同撰写了一篇论文，其中提出了一种利用记忆功能来增强人工神经网络（模拟人类大脑的计算机系统）的方法，即根据之前获得的信息，添加解释文字或图像模式的循环。他们称之为「长短期记忆（LSTM）」。

LSTM 解决 RNN 存在的短板，在随后的多年中被人们广泛采用。然而遗憾的是，当时 LSTM 也并没有受到业界更多的重视，在 1995 年，首个论述 LSTM 的论文被著名的 NIPS 会议拒绝了。1997 年，关于 LSTM 的论文被麻省理工学院退稿。「即便是美国、加拿大及其他地区的著名的神经网络专家，都没能意识到我们自 1990 年代起于高山上实验室研发的深度循环神经网络的潜能。」Schmidhuber 多次在媒体采访时表露出遗憾。

语音识别最重要的模型之一——Connectionist temporal classification（CTC），是由 Graves、Schmidhuber 等人在 2006 年提出的，该论文出现在 2006 年的 ICML 上。CTC 是一种改进的 RNN 模型，可以让网络自动学会对齐，十分适合语音识别和书写识别。

Jurgen 贡献的重要研究还不止于此。2018 年，由谷歌大脑研究科学家 David Ha 与瑞士 AI 实验室 IDSIA 负责人 Jürgen Schmidhuber 共同提出的「世界模型」再次吸引了人们的注意。这是一种可以让人工智能在「梦境」中对外部环境的未来状态进行预测的新方法，而论文的名字也非常霸气：