查看: 298|回复: 0

用Habana取代Nervana!英特尔为何这样做?

[复制链接]
发表于 2020-2-3 10:55:21 | 显示全部楼层 |阅读模式
  近日,Intel 宣布了在 AI 范畴的一个新动作:新近收购的 Habana 的系列产品将代替原定的服务器端 AI 加速芯片 Nervana Spring Crest NNP-T,而 Spring Crest NNP-T 系列将停止开辟。本文将对 Intel 的这个决定做深入解读。

  Intel 收购 Nervana:Intel 在 AI 范畴的第一个大动作
  我们起首分析一下 Nervana Spring Crest 系列产品的由来。为此,我们需要先介绍一下 Nervana Systems 这家三年前被 Intel 收购的公司。
  Nervana Systems 成立于 2014 年,是一家在 AI 尚未真正成为风口时就宣布做 AI 底层架构的初创公司,其投资人包括 DCVC、Lux 等顶级硅谷风投。2015 年,Nervana 在深度学习范畴发布了其重要产品,即深度学习底层框架 Neon。Neon 是一个为深度学习仔细优化的底层框架,在算子层级拥有很高的效率。Neon 最初是运行在 Nvidia GPU 上,然而其性能比起 Nvidia 的亲儿子 CuDNN 都要强不少。2015 年正是 Caffe 等深度学习框架火热的时间,而 Neon 依附其卓越的性能自然获得了大家的关注。
<img  />

  在依附 Neon 一炮而红后,Nervana 在 2016 年初宣布了其更加野心勃勃的计划,即 Nervana Cloud。在 Nervana Cloud 中,Nervana 将会把 Neon 框架运行在其为 Neon 专门优化的 Nervana Engine 芯片上。
  Nervana 宣布这样的组合将会实现 10 倍于 Nvidia Titan X 的性能。可以说,在大多数半导体公司对于 AI 还持观望态度的 2016 年初,Nervana 宣布这样大计划可谓是站在了时代的前沿。而且,Nervana 对于市场的判断非常准确:因为就在不久之后,AI 芯片就成为了为整个行业公认的风口,而 Nervana 也在 2016 年下半年被 Intel 以 4 亿美元收购。在收购的时间,Nervana 并没有发布任何芯片细节:我们可以估计在收购时,大概率 Nervana 还只有一个芯片架构计划,并没有真正的芯片原型,更没有芯片产品。
  在 Nervana 被 Intel 收购之后,其产品也徐徐融入 Intel 的产品门路图。然而,Nervana 预想中的 Nervana Engine 进度并不顺利。在被收购后,Nervana Engine 重新定名为 Crest 系列。2017 年初,Intel 发布了 Nervana Lake Crest 的一些细节,并且宣布 2017 年上半年将会有芯片成品。到了 2018 年中,Intel 宣布 Lake Crest 只是一个试用版的原型产品,而正式的芯片产品命名为 Spring Crest,将会于 2019 年正式发售。在那个时间,Lake Crest 的性能指标为 12 核,32GB HBM 内存,峰值算力为 38TOP/s。
  在 2019 年八月的 Hot Chips,Intel 又发布了 Nervana 芯片的相关更新:Nervana 将发售两种芯片,一种是针对服务器端训练应用的 Spring Crest NNP-T,它将具有 119TOPS 的峰值算力,并且通过 CoWoS 高级封装技术实现多芯片互联;而另一款则是针对边缘盘算的 Spring Hill NNP-I,功耗 10W,能效比为 4.6TOPS/W。然而,在 2019 年我们并未得到 Spring Crest 系列真正商用的消息,直到最近才得到它已经被取消的消息。  

Intel 在 2017 年发布的 Nervana Lake Crest 架构,拥有 Tensor-based architecture、Flexpoint、Silicon Interposer 等多个热门词汇

  靠谱的 Habana
  相比产品迟迟不能量产的 Nervana,来自以色列的初创公司 Habana 可以说是实在也靠谱多了。
  Habana 的芯片分为两个系列,即针对训练的 Gaudi 系列和针对推理的 Goya 系列。与 Nervana 最大的不同在于,Habana 的两个芯片系列目前都已经有成品芯片供客户利用,目前据悉已经收获了一些数据中心客户的青睐。
  Habana 的芯片架构可以用“实在”来概括。其架构并没有效很多花哨的概念性技术——在技术白皮书中,Habana 直接明白地告诉大家其架构就是 VLIW SIMD,一种广为人知的架构。
<img  />


  VLIW 和 SIMD 技术早在上世纪就已经提出,到今天已经拥有凌驾 20 年的历史。其中,SIMD(单指令流多数据流)架构的核心是利用数据并行性,让处理器只需要一条指令就能处理大量并行数据,该技术早已或多或少地应用在高性能盘算处理器中(比方 GPU 利用的 SIMT 技术可以以为是 SIMD 技术的一种衍生)。SIMD 对于存在大量数据并行的深度学习来说非常合适,这也是 Habana 在其深度学习加速芯片中利用 SIMD 的重要原因。
  VLIW 技术(超长指令字)则是另一个用于并行盘算的紧张技术,其核心是让编译器去找出在一个指令中能并行执行并充实利用处理器资源的多个盘算利用。在通用盘算时代,VLIW 曾遭遇了一次失败(本世纪初的 Intel 的 Itanium 系列),因为在通用盘算时代程序中会有大量的分支判断,从而造成静态编译器难以预测可以并行利用的指令,造成性能损失。然而,VLIW 并未被人抛弃,在 20 年间 VLIW 在 DSP 等盘算较为规整的应用范畴获得了一席之地,直到今天深度学习时代又重现江湖。在深度学习应用中,盘算很规整,因此编译器可以很好地预测利用并行性并作相应调治。而一旦利用 VLIW,则用于深度学习加速的处理器可以省去传统超标量处理器中复杂的片上硬件调治模块,从而可以把芯片面积留给真正用于盘算的单元。
  可以说 Habana 利用了两个广为人知(但是非常适合深度学习)的技术实打实地把芯片做了出来,并且在工程上把细节做到了完善。事实上,我们以为 Habana 芯片的工程量并不小,尤其是在硬件之外的软件编译器部分——因为 VLIW 需要一个非常高效的编译器才能保证其性能,纵然是在盘算较规整的深度学习应用,做好这样的编译器也并不容易。
  基于其踏实的产品,Habana 已经开始了与多个云端数据中心客户的合作,并且于去年底被 Intel 收购。
  Intel 需要什么样的 AI 芯片产品
  对于 Intel 来说,在错过了移动盘算之后,人工智能时代不能再错过了。目前来看,Intel 在人工智能范畴的终端盘算(收购 Movidius)、边缘盘算和云端盘算都有布局,但是重中之重照旧利用 Intel 一直以来在云数据中心的强势地位来确保打下云盘算人工智能芯片市场。这也是它接连收购 Nervana 和 Habana 这两家云端人工智能芯片公司原因。
  那么,Intel 究竟需要什么样的芯片产品呢?起首,Intel 需要一个能按时交付不跳票的产品。在这个时间点上,云端人工智能芯片在几年内成为数据中心的刚需已成定局,如果 Intel 没法在近期打破 Nvidia 的垄断真正打入云端人工智能芯片市场,那么未来想要打入会越来越困难。更关键的是,目前云数据中心的几大巨头都在自己布局芯片,比方 google 已经有了 TPU,Amazon、阿里巴巴自研的深度学习加速芯片也已经流片完成,腾讯也投资了本土的 GPU 初创公司燧原,因此如果等到几年后云数据中心都开始利用自研芯片的时间,Intel 就更难打入这个市场了。这也是 Intel 利用已经有产品的 Habana 替换迟迟不能交付的 Nervana 最关键的原因。
  其次,从技术上来说,云端芯片最关键的门槛在于可扩展性,即如何能保证云端芯片在大规模部署(包括一机多卡,多机等情况)的时间,其总体性能可以保持接近线性增长。可扩展性门槛高的原因是它是一个系统工程,并非是把单芯片性能做好就行了——要做到可扩展性,需要在计划芯片的同时就思量其与其他芯片通信的能力,同时需要在软件上也给予大量的支持才能让整个系统的性能充实发挥。这事实上需要非常高的工程量,同时也需要团队能对于整个分布式系统有深入的理解才能把系统做好。
  我们看到,Habana 在这方面交出了令人满意的答卷:Habana 的芯片上自带 RDMA 模组,因此可以支持大规模的分布式盘算;另外,在计划底层编译器和软件架构的时间也充实思量了软硬件协同系统计划,因此 Habana 的可扩展性非常好。根据官方公布的数字,其分布式总体性能甚至在处理器数量大于 600 的时间也能接近线性,从而比起同样处理器数量的 Nvidia V100 GPU,其训练性能提高了接近 4 倍,这是一个非常了不起的效果,其中必定包含了大量芯片和软件/算法工程师的努力。

<img  />
  综合以上的分析,我们以为 Intel 用 Habana Gaudi 系列产品代替原计划中的 Nervana Spring Crest 可以概括为是“高质量系统工程的胜利”。之后 Intel 在云端人工智能芯片范畴能否真正打开市场,让我们拭目以待。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?用户注册

x

相关技术服务需求,请联系管理员和客服QQ:2753533861或QQ:619920289
您需要登录后才可以回帖 登录 | 用户注册

本版积分规则

帖子推荐:
客服咨询

QQ:2753533861

服务时间 9:00-22:00

快速回复 返回顶部 返回列表