第1471节

里了，但对从业者、研发人员来说，真正的部分才刚刚开始，不论易科还是谷歌都在深度学习dl领域有很深的研究，这种围棋对弈只是展露出的表象，内里的运转与思考才是更让人重视的。

不管太白还是阿尔法，它们都是基于卷积神经网络的发展而来，这一基础是类似的，而它的突破源于2012年alex、ilya和hton合作发表的关于alex深度卷积神经网络的论文，也正是在这之后，相关的研究出现了爆炸式的增长。

这种易科与谷歌以及场下嘉宾的交流极其愉快，也让方卓颇为满意，他虽然不懂，但瞧着这样的场面就觉得知识被塞进了脑子里。

易科是有“siri”这样的语音助手作为人工智能的实践，而吴恩达的团队不仅在做卷积神经网络n的研究，也在做循环神经网络rnn的研究，他们认为后者更适合与语音助手相结合，但效果并不算很好，完全达不到想要的成绩。

吴恩达表述了困惑，也谈了谈易科内部的解决方向。

“为什么非要使用循环神经网络？”谷歌的乌思克尔特本来正在休假，但因为对dl的交流感兴趣便报名过来，“为什么不试试自注意力self-attention？我认为它对nlp领域将会有更优秀的改变。”

“rnn虽然理论上也能捕捉长距离依赖，但实际上往往因梯度消失或爆炸问题而难以实现！”

吴恩达很快明白这位谷歌研究员的意思，也在几经思索后给予反驳：“自注意力没有显式地编码位置信息，这就意味着如果以它为核心的模型无法区分序列中相同词语在不同位置的意义差异，而在自然语言的处理中，词语的语义又与位置紧密相关。”

他这边刚说话，谷歌自家dl的席尔瓦也反驳了乌思克尔特提出的新路线，其中一个重要原因在于rnn的循环结构太符合大家对序列数据处理的理解，即当前状态依赖于过去的信息，而自注意力的全局依赖一看就不如rnn直观。

而且，针对吴恩达与席尔瓦抨击的缺点也给出一些解决思路，比如，引入位置编码，比如，进行多头注意力的研究。

第一排的方卓极其茫然，他扭头询问旁边沉思的英伟达掌门人黄仁勋：“他们在讨论什么？”

方卓：“？？？”

“因为自注意力self-attention更加强调并行处理，这是gpu更擅长的。”黄仁勋笑道，“至于其他的，不重要，我们只要提取对我们有利的就好。”

他默默的收起自己在这种场合本就不多的存在感。

吴恩达真的很难和方总解释发生了什么。

方

本章未完，请点击下一页继续阅读！ 第2页 / 共3页