Lecun 一句话,恐怕又要引来一场唇枪舌战了。这个标题错得太荒谬了,太搞笑了。
他所说的这篇文章不是别的,正是最近在圈内引起了一波讨论热潮的《深度学习要碰壁了》。
从文章发布以来,几天内它在推特上引起了几百人的转发点赞。有人认同也有人反对,但真正让作者气到跳脚的,还是 Lecun 在 Facebook 上的这条评论。导致 Gary Marcus 本人直接在推特上“下战书”:欢迎你发表观点,我洗耳恭听。
并且就在几个小时前,他还挂出 Lecun 在 2018 年发表的观点。强调 Lecun 当时认为这 10 个问题中有很多都是错的,在目前看来这些问题都还没有被解决。
不过目前 Lecun 还没有做出回应。
文章具体说了什么?
首先,我们来看一下 Gary Marcus 这篇文章中,具体讲了哪些内容。大体来看,全文可分为两个部分:
-
当下的深度学习充满了炒作,实际上只有在粗略计算时的效果表现好;
-
深度学习应该调整发展方向,和符号处理结合在一起。
作者开篇即提到了 Hinton 在 2016 年提出的论点:
AI 将在 5 年内取代放射科医生。
目前来看,这一豪言的确没有实现。实际上,AI 在应用中遇到的“滑铁卢”不是少数:比如代表着医疗 AI 的 IBM Watson 被拆分出售、GPT-3 等语言模型三观不正、无人驾驶事故频发……
对此作者认为,深度学习在完成输出对精密度要求高的结果时,表现往往不够好,以上列举的 3 个场景就是最好的论证。而且深度学习已经遇到了扩展限制(scaling limits),也就是再继续扩大模型所带来的的收益,已经不够明显。
相反,在图像识别这种只需要粗略结果的情况下,深度学习的效果是好的。对此,作者提出了自己的观点:
深度学习应该与符号处理 (symbol manipulation)相结合。
符号处理,可以看做是计算机内部编码,比如用二进制位串来代表一些复杂的想法。
为什么得出这样的观点?在这里作者举了一个例子。在 Meta 发起的一场 NetHack 挑战比赛上,AI 以 1:3 的成绩败给了游戏系统。要知道,这其实是一款在 1987 年就发布的单人地下城探索游戏,它的地图由 ASCII 字符编码。
作者认为,AI 之所以会输掉比赛,主要是因为每场游戏都会重新生成新的地图,这意味着玩家不能通过死记硬背地图来取胜,而是要理解游戏中的各种标志,并且搞清楚它们之间的联系。
他还列举了麦卡锡、明斯基等行业先驱的观点,认为符号处理可以被用来构建精确的人工智能程序,用符号来表示独立实体和抽象思想。
不过纯符号系统在图像识别、语音识别任务上的表现不够好。而这部分,正是神经网络所擅长的。作者提到,谷歌搜索中的自动拼写纠错,正是神经网络和符号处理结合使用的最好案例。
实际上,在这方面的探索也从来没有停止过。比如最负盛名的 AI——AlphaGo,就是使用符号树搜索和神经网络混合的系统。还有包括 IBM、英特尔、谷歌等科技巨头,这些年也从未停止过在这一领域的积极探索。
网友:Lecun 可能只是开玩笑
如此一篇万字长文,一经发表就在网络上激起千层浪。在不少学界大佬转发的另一面,也有不少人对 Gary Marcus 的观点存疑。有人就提出,深度学习并不存在碰壁,而是正在经历一个阶段转型期。
也有人用漫画来生动地表达自己的看法。
另一边,支持 Gary Marcuns 的人则表示:
他只是提出来一种混合模型,这有什么坏处吗?
而在 Gary Marcus 向 Lecun“下战书”的推特下面,有人也劝他消消气。
可能 Lecun 只是说着玩的。
最后,我们再来了解一下 Gary Marcus。
他是 Robust.AI 的创始人,这是一家智能机器人公司,自称拥有世界上第一个工业级 AI 认知引擎。他还是纽约大学名誉教授,在神经科学、遗传学、进化心理学、AI 等领域发表过大量文章,其文章很多刊登在 Nature、Science 上。
与此同时,他还是一位作家,作品包括《The Algebraic Mind》《Kluge》《The Birth of the Mind》等。那么对于这篇长文,你怎么看呢?欢迎评论区分享观点~
参考链接:
[1]https://twitter.com/GaryMarcus/status/1503015357149171717
[2]https://nautil.us/deep-learning-is-hitting-a-wall-14467/