获嘉| 兴和| 乐清| 翁源| 蕲春| 子洲| 广东| 永泰| 额尔古纳| 庄浪| 泗水| 盱眙| 鹰潭| 永川| 深州| 五寨| 浑源| 东至| 镇安| 沁县| 久治| 汉中| 大洼| 绍兴县| 永川| 建湖| 慈溪| 南江| 费县| 长白| 繁峙| 高明| 武昌| 修水| 房山| 兰考| 浮梁| 沧县| 自贡| 蔚县| 尚志| 沛县| 屏边| 凯里| 新青| 乌苏| 景德镇| 东阿| 青县| 大厂| 林口| 清流| 禹城| 宝山| 晋中| 鄱阳| 若尔盖| 永春| 沅陵| 宝丰| 赤水| 大厂| 雄县| 沙坪坝| 通渭| 凭祥| 晋江| 北海| 台中市| 山东| 得荣| 泉港| 东莞| 泗水| 达孜| 洛南| 白河| 敦化| 绵阳| 保亭| 花莲| 合江| 城阳| 东丰| 富民| 安多| 雅安| 塔什库尔干| 高密| 永川| 琼结| 凤阳| 叶城| 吴堡| 黄龙| 天水| 井研| 阳西| 峰峰矿| 吐鲁番| 稷山| 邳州| 彰化| 大安| 贡觉| 华安| 辽阳县| 荣县| 陆良| 泾川| 临洮| 公安| 安龙| 新龙| 四平| 井研| 朝阳县| 峡江| 金寨| 雄县| 吉木萨尔| 藁城| 莫力达瓦| 藁城| 莱西| 全南| 沾化| 长泰| 察布查尔| 洛川| 兰溪| 隆林| 洛南| 丽水| 房山| 大方| 英吉沙| 阳泉| 宁城| 常德| 湘乡| 酒泉| 阳信| 鹤庆| 金州| 三明| 赤壁| 林周| 天等| 邹平| 灵川| 上饶县| 新郑| 朝阳市| 富县| 大化| 盐亭| 文山| 屏东| 金州| 宝山| 新城子| 绥阳| 龙湾| 泽普| 鲁甸| 澄城| 临夏市| 朝阳县| 特克斯| 喀什| 神池| 长治县| 普宁| 朔州| 宣汉| 扎兰屯| 海口| 琼海| 清丰| 普宁| 启东| 临沭| 察哈尔右翼中旗| 平安| 湖州| 阳谷| 祁阳| 杭锦后旗| 涪陵| 通道| 吉县| 夏津| 郸城| 广东| 朔州| 夏县| 凤冈| 扶沟| 崇礼| 安平| 阜阳| 桂东| 长白| 锡林浩特| 营口| 南海镇| 盘县| 济阳| 庄河| 翼城| 孟连| 龙岩| 宜君| 密山| 杂多| 辽宁| 石景山| 苍溪| 柳林| 铜川| 贺兰| 深州| 咸宁| 友谊| 赞皇| 敖汉旗| 璧山| 陈仓| 驻马店| 安义| 宣威| 闽侯| 华宁| 安溪| 沛县| 定南| 托克逊| 利川| 西固| 故城| 宁乡| 永年| 郑州| 获嘉| 嫩江| 庆安| 天祝| 威县| 阿勒泰| 凤山| 治多| 班玛| 高县| 巴林左旗| 合江| 中阳| 苍山| 河曲| 金堂| 永安| 禄丰| 晋州|

南岸区弹子石新街64号永辉超市对面的道路...

2019-10-14 18:28 来源:第一新闻网

  南岸区弹子石新街64号永辉超市对面的道路...

  也就是说,在山地旅游开发过程中,不能够把山地、森林、动植物、水体隔离开来。  公开而又自由的选举。

我们知道您在京剧创新、包装上做了很多的工作,请您介绍一下,在一些创新形式之后,传统京剧的观众,对您的创新、包装是不是能够接纳?  【于魁智】:其实在创新方面,应当说刚一开始的时候,也是有一些顾虑,因为究竟怎么样去创新,究竟怎么样去发展,因为,京剧在中国这片土地上有着深厚的群众基础,特别像您提到的有很多的老观众,因为他们多年京剧的热爱,可以说京剧艺术已经是他们生命中不可分割的一个组成部分,他们对于京剧,特别是一种新的京剧形式,他们能否接受、能否喜欢,甚至于能否继续地支持我们,在这些方面,刚一开始的时候,的确心里有顾虑,但是,因为我觉得,一个民族文化、民族艺术要想繁荣,要想发展,必须要顺应时代的发展,要跟上时代的步伐,要站在新时期的起点上紧跟时代的脉搏。  当然在今年的“质量和安全年”中,我们还有几项工作正在做。

  这次有一个很大的案件,叫“703北京特大文物盗窃案”,这个案件发生以后,我们北京警方组织了一个703专案组,在很短的时间捉拿归案,东西都拿回来了,所以这展出了一部分被盗的精品,所以显示了我们公安、人民卫士在保护文物方面的贡献。二是建设正确发挥政府的作用。

  关于第二个问题,我会说俄罗斯人对中国的历史和现在非常感兴趣,很多俄罗斯人上人民网俄文网站。其实对于这个层次来说,需要一个就业的饭碗,恐怕这是最重要的。

  [翠鸟]:中国出兵索马里是主动打击海盗还是被动护航  【李大光】:可以从这个问题看出你对这个问题关注得很密切,第二,还可以看出你思考得比较深刻。

  因为日本民主党和自民党一样都是保守政党,他们在处理中日关系时都会基于一种保守观念。

  为了纪念它的成长,在十周年来临之际,我们将举办强国论坛十周年系列访谈。  [大失落者]:请问许教授;我们为什么很少感受到工会的维权?  【许晓军】:你提的这个问题具有一定的代表性,刚才也说到,目前我们工会还在很大程度上不能够适应市场经济对它的维权要求,过去在计划经济时代我们的工会主要是生产型工会和福利型工会,进入市场经济,我们的工会转型为维权型工会,确实是需要做很多的工作,在这方面来说,应该说各级工会都在努力,你会逐步看到工会加大维权的力度,尤其是这一次工会十五大当中,中央领导已经表示,党和政府要把更多的资源和手段交给工会,让工会更好地运用这些资源手段维护广大职工群众的合法权益。

    目前,最主要的是以巴关系中奉行政治解决路线的巴勒斯坦民主权力机构,以色列政府同双方各自的激进、强硬、极端派别冲突,这突出的体现在同哈马斯的冲突。

    [巴黎来客]:您认为西方这几年拿西藏问题不断地制造事端原因有哪些?  【张云】:关于这个问题首先要从历史上看。这几年,每年都要有一批学有所成的僧人获得藏传佛教的最高学衔拉让巴格西的学衔。

  从民主党的一贯政策主张和这次竞选纲领来看,似乎有“脱欧入亚”的迹象,民主党的党首和几位主要政治家都提到,要调整日本同美国的关系,要加强日本同亚洲各国尤其是中国的关系。

  展览为什么这么感人呢?因为这个展览反映的是西藏文化,一共是展出480件套。

  我也衷心期待强国论坛能够保持这样的生命力,保持论坛生气勃勃的状态,我也特别高兴我们的网友有各种问题,有的非常尖锐,有的非常宽厚,有的有历史纵深感,有的有现实敏锐感,所有的问题都活跃了思想,激发了更多的想象,推动了中国网络文化的进步。但是这个富起来了,这是邓小平的共同富裕的第二句话,还要共同富起来。

  

  南岸区弹子石新街64号永辉超市对面的道路...

 
责编:
您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
雷锋网 读懂智能&未来
人工智能 正文
发私信给程弢
发送

0

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

本文作者:程弢 2019-10-14 14:03
导语:从这次发布的测试结果来看,TPU似乎已经超出了业界的预期,但是藏在这一芯片背后的内部架构究竟有什么秘密呢,我们从Jouppi此前发布的论文当中,可以找到答案。
  [主持人]:谢谢秦书记,通过您刚才的讲述,我们知道在扩招的过程中,其实让很多人有了走进课堂,走进大学校园来享受高等教育的机会。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

在谷歌发布TPU一年后,这款机器学习定制芯片的神秘面纱终于被揭开了。

昨日,谷歌资深硬件工程师Norman Jouppi刊文表示,谷歌的专用机器学习芯片TPU处理速度要比GPU和CPU快15-30倍(和TPU对比的是英特尔Haswell CPU以及Nvidia Tesla K80 GPU),而在能效上,TPU更是提升了30到80倍。

从这次发布的测试结果来看,TPU似乎已经超出了业界的预期,但是藏在这一芯片背后的内部架构究竟有什么秘密呢,我们从Jouppi此前发布的论文当中,可以找到答案。

据雷锋网(公众号:雷锋网)了解,早在四年前,谷歌内部就开始使用消耗大量计算资源的深度学习模型,这对CPU、GPU组合而言是一个巨大的挑战,谷歌深知如果基于现有硬件,他们将不得不将数据中心数量翻一番来支持这些复杂的计算任务。

所以谷歌开始研发一种新的架构,Jouppi称之为“下一个平台”。Jouppi曾是MIPS处理器的首席架构师之一,他开创了内存系统中的新技术。三年前他加入谷歌的时候,公司上下正在用CPU、GPU混合架构上来进行深度学习的训练。

Jouppi表示,谷歌的硬件工程团队在转向定制ASIC之前,早期还曾用FPGA来解决廉价、高效和高性能推理的问题。但他指出,FPGA的性能和每瓦性能相比ASIC都有很大的差距。他解释说,“TPU可以像CPU或GPU一样可编程,它可以在不同的网络(卷积神经网络,LSTM模型和大规模完全连接的模型)上执行CISC指令,而不是为某个专用的神经网络模型设计的。一言以蔽之,TPU兼具了CPU和ASIC的有点,它不仅是可编程的,而且比CPU、GPU和FPGA拥有更高的效率和更低的能耗。

TPU的内部架构

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

该图显示了TPU上的内部结构,除了外挂的DDR3内存,左侧是主机界面。指令从主机发送到队列中(没有循环)。这些激活控制逻辑可以根据指令多次运行相同的指令。

TPU并非一款复杂的硬件,它看起来像是雷达应用的信号处理引擎,而不是标准的X86衍生架构。Jouppi说,尽管它有众多的矩阵乘法单元,但是它GPU更精于浮点单元的协处理。另外,需要注意的是,TPU没有任何存储的程序,它可以直接从主机发送指令。

TPU上的DRAM作为一个单元并行运行,因为需要获取更多的权重以馈送到矩阵乘法单元(算下来,吞吐量达到了64,000)。Jouppi并没有提到是他们是如何缩放(systolic)数据流的,但他表示,使用主机软件加速器都将成为瓶颈。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

256×256阵列缩放数据流引擎,经过矩阵乘法积累后实现非线性输出

从第二张图片可以看出,TPU有两个内存单元,以及一个用于模型中参数的外部DDR3 DRAM。参数进来后,可从顶部加载到矩阵乘法单元中。同时,可以从左边加载激活(或从“神经元”输出)。那些以收缩的方式进入矩阵单元以产生矩阵乘法,它可以在每个周期中进行64,000次累加。

毋庸置疑,谷歌可能使用了一些新的技巧和技术来加快TPU的性能和效率。例如,使用高带宽内存或混合3D内存。然而,谷歌的问题在于保持分布式硬件的一致性。

TPU对比Haswell处理器

在和英特尔“Haswell”Xeon E5 v3处理器来的对比中,我们可以看到,TPU各方面的表现都要强于前者。

在Google的测试中,使用64位浮点数学运算器的18核心运行在2.3 GHz的Haswell Xeon E5-2699 v3处理器能够处理每秒1.3 TOPS的运算,并提供51GB/秒的内存带宽;Haswell芯片功耗为145瓦,其系统(拥有256 GB内存)满载时消耗455瓦特。

相比之下,TPU使用8位整数数学运算器,拥有256GB的主机内存以及32GB的内存,能够实现34GB/秒的内存带宽,处理速度高达92 TOPS ,这比Haswell提升了71倍,此外,TPU服务器的热功率只有384瓦。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

除此之外,谷歌还测试了CPU、GPU和TPU处理不同批量大小的每秒推断的吞吐量。

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?

如上图所示,在小批量任务中(16),Haswell CPU的响应时间接近7毫秒,其每秒提供5482次推断(IPS),其可以实现的最大批量任务(64)每秒则可以完成13194次推断,但其响应时间为21.3毫秒。相比之下,TPU可以做到批量大小为200,而响应时间低于7毫秒,并提供225000个IPS运行推理基准,是其峰值性能的80%,当批量大小为250,响应时间为10毫秒。

不过需要注意的是,谷歌所测试的Haswell Xeon处理器似乎也不能完全说明问题,英特尔Broadwell Xeon E5 v4处理器和最新的“Skylake”Xeon E5,每核心时钟(IPC)的指令比这款处理器提升了约5%。在Skylake是28核,而Haswell为18核,所以Xeon的总体吞吐量可能会上升80%。当然,这样的提升与TPU相比仍有差距。

最后雷锋网需要强调的是,TPU是一个推理芯片,它并非是要取代GPU,可以确定的是,TPU与CPU一起使用对训练分析更加有益。但对于CPU制造商而言,如何研发出像ASIC一样兼顾性能和能效的芯片是现在以及未来要做的。

可以确定的是,谷歌已经逐渐在自己的数据中心部署TPU,但是上述测试数据只是理论结果,实际应用表现如何?我们还不得而知。

Via nextplatform,雷锋网编译

雷锋网版权文章,未经授权禁止转载。详情见转载须知

谷歌硬件工程师揭秘,TPU为何会比CPU、GPU快30倍?
分享:
相关文章

文章点评:

表情

略懂技术的小编

关注一切有未来感的产品及技术!
当月热门文章
最新文章
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
景罕镇 银集镇 凤凰桥头 龙甫镇 石峡镇
苑西 赤岗塔 红星乡 莫尔道嘎镇 桃花乡