请选择 进入手机版 | 继续访问电脑版

深度学习的兴起,是通用计算的挽歌? ----1

早期的计算机鲜有真正“通用”的设计,它们基本上都是为某一类算法特制的,我们不能简单将其说是像ASIC或FPGA。即便在真空管转向半导体以后,针对新功能进行硬件重新设计也是必须的。后来才有基于冯诺依曼体系的计算机架构,即可以存储指令,在软件中执行算法才成为可能。这是“专门硬件”向通用硬件的华丽转身。

从理论上来说,1946年的ENIAC计算机是全球首款电子通用计算机。不过你可能不知道,这台巨型计算机当时主要是用来计算炮弹射击表的——典型的战争催生技术诞生。如果要用ENIAC执行不同类型的计算,那就需要手动重新安排接线,做新的硬件设计了。

实际上早期的计算机鲜有真正“通用”的设计,它们基本上都是为某一类算法特制的,我们不能简单将其说是像ASIC或FPGA。即便在真空管转向半导体以后,针对新功能进行硬件重新设计也是必须的。后来才有基于冯诺依曼体系的计算机架构,即可以存储指令,在软件中执行算法才成为可能。这是“专门硬件”向通用硬件的华丽转身。

随后CPU这样的通用技术,及摩尔定律影响了人类几十年的历史。在这几十年时间里,对应于通用处理器的专用处理器实际仍然是有市场的,典型的比如GPU执行专门的图形处理。但近些年摩尔定律逐渐失效,以及AI技术的兴起,让专用处理器忽然有了逆袭的趋势,而且这种逆袭可能是以颠覆通用计算市场主体为代价的。

MIT(麻省理工学院)去年11月曾发表过一篇题为《通用技术计算机的衰落:为何深度学习和摩尔定律的终结正致使计算碎片化》的paper。这篇paper认为半导体制造工厂近两年的建造成本还在逐年上升,产品迭代的设计和运营成本则基本上也在同步提升;而且通用芯片同等成本下的性能提升(performance-per-dollar)还在大幅放缓,这让专用处理器更具吸引力。

如果通用计算真的逐渐沉寂,或许对整个行业的众多玩家而言都是一次革命。而这件事的发酵实际也远比很多人想象得影响深远。

良性循环的打破

通用计算技术在出现之后很快就形成了良性循环:1971年的Intel 4004可以认为是首个通用处理器,自此之后市场扩张就彻底打开了。这里的良性循环是指,早期会有用户开始购买通用计算处理器,资金便开始进入到市场中,并让产品在技术方面做得更好;而在产品提升之后又会导致更多的用户购买,并吸引下一轮资金......如此循环往复。


2000-2010年是PC发展的黄金期,销量每年平均提升9%。这样的市场增速自然就刺激了芯片的资金投入。Intel过去10年在研发和生产设备方面的投入达到了1830亿美元。这种程度的投入,造成1971年至今,处理器性能提升多达40万倍。技术的高速迭代也促使下游厂商频繁更新产品,产品淘汰周期很短,销量的提升也就理所应当了。这就是通用处理器以往的良性循环。

值得一提的是,这种良性循环的基础是在短期内,相同成本下的性能提升速度够快。在半导体领域,传说中的摩尔定律是推动这种良性循环的核心。如果技术更新和成本下降无法随时间呈接近指数级变化,则“通用”技术很难存在市场:在电子科技领域以外,就较少见到“通用”的存在,比如电动机这种各类家电都需要的设备,始终也未能形成跨设备的“通用”。

通用计算市场的良性循环这么久以来的持续,是我们都有目共睹的。专用硬件虽然有其独有的市场空间,却从未对通用处理器造成真正威胁。但2012年有个大事件发生:这一年的ImageNet视觉识别挑战赛上,有个名叫AlexNet的项目刷新了程序识别视觉图像的记录。这个项目将程序识别图像的错误率下降到了16%——而往年类似SVM这样的矢量机顶多也就能达到26%上下的错误率。

AlexNet用到了当时还不算普及的深度学习技术。神经网络技术早在上世纪80年代曾经火过一段时间,但那会儿的计算能力并不足以承载哪怕是规模不大的神经网络。而AlexNet则在挑战赛上应用了针对深度学习的“专用处理器”——主体就是GPU。借助GPU硬件重并行计算、大存储空间,以及深度学习本身就看重算法并行,AlexNet赢得了那场比赛。在AlexNet亮相之后,同行也都开始采用GPU进行深度学习应用。很快深度学习开始应用于语音识别、机器翻译等领域。除了现如今Siri、Alexa这些常规的智能助手已经普及了深度学习,Facebook甚至用深度学习来识别图片、过滤部分文字内容、定制化广告呈现。

深度学习可以认为是刺激专用处理器极速发展的切入点。2015-2017年英伟达数据中心业务营收发生四倍增长,其中约50%的销售额都来自深度学习。而在2013年,谷歌认为深度学习要求的算力还会更高,于是并未基于GPU构建数据中心,而是开发了更专注的专用处理器:TPU(属于ASIC)。TPU在能够处理的任务方向上更窄,它只能用于神经网络。谷歌在TPU之上花费的开销是相当不菲的,但带来的收益也非常可观。谷歌宣称,其性能红利相当于摩尔定律7年的发展,而且开发TPU还避免了基础设施方面的花销。

此后不久,Facebook又与Intel合作开发神经网络处理器Lake Crest。而在移动终端,华为率先为手机SoC推出了NPU神经网络执行专核,苹果也在前年的A系列SoC中加入了类似的组成部分。而这种NPU在处理神经网络inferencing任务时的算力,是远非CPU、GPU这些相对更通用的处理单元可比的。

实际上,专用处理器已经在各类计算平台发力,包括移动、数据中心、PC、IoT。苹果的A系列SoC,目前只有20%的面积给通用处理器,其余部分都分配给了专用电路,包括运动协处理器、神经网络执行单元;IoT终端硬件,包括各类传感器、RFID标签基本都基于专用硬件;在超算领域,自2010年以后,采用专用处理器的Top 500超级计算机比例正在逐年上升——而且到去年专用处理器为Top 500超级计算机增加的算力总和,首次超过了通用处理器。




最新评论11

谢谢楼主,共同发展
zbnishd 2019-7-13 09:13:59 显示全部楼层
看帖回帖是美德!
beukers 2019-7-13 09:30:18 显示全部楼层
谢谢楼主,共同发展
tbobos 2019-7-13 09:30:52 显示全部楼层
好好 学习了 确实不错
牛逼 大神 学习一下了 膜拜
谢谢楼主,共同发展
Mr冰山 2019-7-13 09:56:30 显示全部楼层
好好 学习了 确实不错
RunRun 2019-7-13 09:56:41 显示全部楼层
看帖回帖是美德!
zbbhaodm 2019-7-13 09:57:45 显示全部楼层
好好 学习了 确实不错
*滑块验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

全国免费热线电话

151-1809-0910

周一至周日9:00-23:00

反馈建议

4530@163.com 在线QQ咨询

扫描二维码关注我们

Copyright © 2008-2018   All Rights Reserved. By 志博PCB手机版小黑屋粤ICP备17015705号-1 百度统计

快速回复 返回顶部 返回列表