查看: 254|回复: 0

深度学习三巨头:AI需要新硬件,万亿突触神经网络或成可能

[复制链接]
发表于 2020-2-21 14:42:51 | 显示全部楼层 |阅读模式
  图灵 TOPIA,作者安然
  近日,在第 34 届 AAAI 年度人工智能大会的新闻发布会上,来自多伦多大学的教授 Geoffrey Hinton、Facebook 的 Yann LeCun 以及和蒙特利尔 MILA 人工智能研究所的 Yoshua Bengio 进行了一场讨论,话题包括人工智能伦理以及“常识”在人工智能中可能意味着什么,以及将来的深度学习神经网络的发展方向。

  Hinton 和 Yann LeCun 以及 Yoshua Bengio 在深度学习领域有很高的造诣,被誉为“深度学习三巨头”。
  他们表现,新型的硬件可以加快神经网络的训练和推理,可以产生更大的模子,大概有一天会使万亿突触神经网络成为可能,同样重要的是即将到来的呆板人革命。
  在硬件方面,Hinton 进一步解释了限制当今神经网络的技能方面。例如,他指出,神经网络的权值必须使用数百次,并对权值进行频繁的更新。他说,图形处置惩罚单元(GPU)的内存有限,必须不断地在外部 DRAM 中存储和检索,这是一个限制因素。
  更大的芯片内存储容量“将有助于像 Transformer 这样的软留意力,”Hinton 说,他指的是在 2017 年谷歌大会上开辟的广受欢迎的自回归神经网络。他说,使用“键/值”对来存储和从内存中检索数据的变压器,如果使用具有大量内嵌内存的芯片,可能会大得多。
  LeCun 和 Bengio 对此表现赞同,LeCun 指出 GPU“迫使我们进行批处置惩罚”,即数据样本在经过神经网络时分组,“这是低效的”。另一个问题是 GPU 假定神经网络是由矩阵产品构成的,这迫使科学家限制了可以构建到此类网络中的转换范例。
  Bengio 表现:“另有希罕计算,在 GPU 上运行不方便……在这种情况下,大多数数据,比如像素值,可能是空的,只有很少的有用位需要处置惩罚。
  LeCun 预测,新的硬件将导致“更大的神经网络与希罕激活”,他和 Bengio 都强调,在消耗更少的能量下做同样数量的工作更有爱好的。
  然而,LeCun 为人工智能辩护,反驳它是一个能源消耗大户的说法。他说,Facebook 每年每个用户消耗的能源是 1500 瓦,这与其他消耗能源的技能相比,这并不算多。 LeCun 表现,硬件最大的问题是在训练方面,它是 Nvidia GPU 和谷歌 TPU 的双头把持,这重复了他去年在国际固态电路会议上提出的观点。
  LeCun 说,比用于训练的硬件更有趣的是用于推理的硬件设计。LeCun 重申了一年前发表的一份声明,称 Facebook 正在为人工智能开辟各种内部硬件项目,包括推理,但他拒绝透露细节。
  Hinton 指出,当今的神经网络很小,而真正的大神经网络可能只有一百亿个参数。
  硬件方面的进步可能会通过制造更大的网络,增加更多的权重来推动 AI 的发展。
   他说:“大脑的一立方厘米内有一万亿个突触。” “如果有通用人工智能之类的东西,它可能需要一万亿个突触。”
   至于呆板中的“常识”是什么样子的,没有人真正知道,Bengio 说。
  Hinton 抱怨说,人们一直在改变目的,比如使用自然语言模子。“我们终于做到了,然后他们说这并不是真正的明白。他说:“如今我们在这方面做得很好,他们想找些别的东西来评判呆板学习。”“这就像试图与一个有宗教信奉的人争论,你不可能赢。”
  但是,一位记者问道,公众关心的与其说是缺乏人类明白的证据,不如说是缺乏呆板以一种陌生的方式运行的证据,比如“对抗性的例子”。Hinton 回答说,对抗性的例子表明分类器的行为还不是很正确。他说:“虽然我们能够正确地对事物进行分类,但网络这么做的理由绝对是错误的。”“相反的例子向我们表明,呆板正在以与我们不同的方式做事。”
  LeCun 指出,动物也会像呆板一样被愚弄。他若有所思地说:“你可以设计一个得当人类的测试,但不得当其他生物。” Hinton 表现同意,他说:“家猫也有同样的局限。”
  别的,LeCun、Hinton、Bengio 也是著名的图灵奖的获得者。
  三人同等认为,对人工智能来说,另一个可能被证实是巨大进步的东西是呆板人。Hinton 说:“我们正处于一场革命的开端,这将是一个大问题”。许多应用程序,如视觉。他说,呆板人不是分析一个静态图像或视频帧的全部内容,而是创建一个新的“感知模子”。
  他解释说:“你要先看一个地方,然后再看另一个地方,所以如今就变成了一个涉及留意力活动的连续过程。” Hinton 预测,去年 OpenAI 在操纵魔方方面的工作,是呆板人技能的一个分水岭,或者更确切地说,是“AlphaGo 时刻”。
  LeCun 对此表现赞同,他说 Facebook 运行人工智能项目并不是由于 Facebook 本身对呆板人有着极大的爱好,而是由于它被视为“人工智能研究进步的重要基础”。
  这三位科学家对某些观点表现猜疑,虽然大多数有关深度学习的研究都是公开进行的,但一些公司在吹嘘人工智能的同时对细节保密。
  “它之所以被潜伏起来,是由于它让人们以为它很重要,”Bengio 说,而现实上,许多深入公司的工作可能并不具有开创性。“偶然间,公司会让它看起来比现实复杂得多。”
  Bengio 继续在三大脚色中继续扮演自己的脚色,他在 AI 的社会问题上直言不讳,例如建立道德体系。
  当 LeCun 被问及面部识别算法的使用时,他指出,技能可以用于好的和坏的目的,这在很洪流平上取决于社会的民主制度。但是 Bengio 稍微反驳说:“Yann 说的显然是真的,但是良好的科学家有责任说出来。”LeCun 若有所思地说,“为社会做决定”并不是科学的工作,这促使 Bengio 做出回应,“我不是在说要做决定,我是说我们应该到场进来,由于一些国家的政府对这种到场是开放的。”
  Hinton 经常用幽默的旁白来强调事情,在会议快结束时,他指出了自己在 Nvidia 问题上的最大错误。“2009 年,我在 Nvidia 身上犯了一个大错误,”他说。“2009 年,我告诉 1000 名研究生,他们应该去购买 Nvidia GPU,以加快他们的神经网络。我打电话给 Nvidia,说我刚向 1000 名研究人员推荐了你们的 GPU,你能给我一个免费的吗?他们说不可。
  “如果我真的智慧的话,我应该做的是把我所有的积贮都投入 Nvidia 的股票。当时股价是 20 美元,如今大概是 250 美元。”
  参考链接:https://www.zdnet.com/article/ai-on-steroids-much-bigger-neural-nets-to-come-with-new-hardware-say-bengio-hinton-lecun/

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?用户注册

x

相关技术服务需求,请联系管理员和客服QQ:2753533861或QQ:619920289
您需要登录后才可以回帖 登录 | 用户注册

本版积分规则

帖子推荐:
客服咨询

QQ:2753533861

服务时间 9:00-22:00

快速回复 返回顶部 返回列表