首页 / 应用电子技术 / aws下载(aws推出amazon)

aws下载(aws推出amazon)

Time:2024-06-01 18:53:29 Read:426 作者:CEO

我们一直期待AmazonWebServices在今年的re:Invent大会上为其本土服务器推出Graviton4处理器。正如预期,AWS执行官AdamSelipsky推出了第四代GravitonCPU系列,包括去年针对HPC工作负载的超频Graviton3E处理器。

Selipsky在主题演讲期间没有强制举起Graviton4芯片,这很奇怪。但新闻稿中确实包含了一张芯片照片,如上面的特征图片所示。

aws下载(aws推出amazon)

Graviton4提高了各种工作负载的性价比和能效标准

正如我们所预料的那样,Graviton4也基于ArmLtd的“Demeter”NeoverseV2内核,该内核与Nvidia的“Grace”CG100CPU一样基于Armv9架构。(Nvidia并没有给Grace一个与其GPU命名方案一致的产品名称,所以我们就暂且这样命名。C代表CPU,G代表Grace。)我们在2017年对DemeterV2进行了深入研究。9月份,Arm发布了“Genesis”计算子系统,与之前由AWS部署在Graviton3和Graviton3E处理器中使用的“Zeus”V1内核相比,V2内核的每时钟指令数提高了13%。

显然,这在IPC中并不是一个大的跳跃,因为数量也在跳跃,这就是为什么我们还假设AWS已经放弃了代工合作伙伴台积电用于蚀刻Graviton3和Graviton3E芯片的5纳米工艺,而是更密集且有些成熟的4纳米工艺。同样的4N工艺还用于制造Nvidia的GraceCPU及其“Hopper”GH100GPU——这两款产品都席卷了生成式AI世界。

Graviton4封装上有96个V2,比Graviton3和Graviton3E提升了50%,而且与8个DDR5内存控制器相比,Graviton4上有12个DDR5控制器,并且Graviton4使用的DDR5内存速度频率提升了16.7%,达到5.6GHz。通过数学计算,Graviton4每个插槽的内存带宽为536.7GB/秒,比之前的Graviton3和Graviton3E处理器提供的307.2GB/秒高出75%。

在Selipsky的演示以及AWS发布的有关Graviton4的有限规格中,该公司表示通用Web应用程序在Graviton4上的运行速度比在Graviton3上快30%(不是Graviton3E,它超频且很热),但数据库的运行速度将提高40%,大型Java应用程序的运行速度将提高45%。现在,这可能意味着AWS已经在V2中实现了同步多线程(SMT),为每个提供两个线程,就像英特尔和AMD的X86处理器以及一些Arm芯片过去所做的那样。

我们不这么认为,下面的比较显着特征表显示每个套接字有96个线程,而不是192个线程。我们认为每个套接字有96个线程,并且每个的二级缓存加倍至2MB对Java和数据库应用程序的性能产生了巨大的影响。您可以通过添加双向SMT获得3倍的vCPU,但这不会为您提供3倍的内存。与Graviton3芯片相比,它的内存仍然只有1.5倍。

AWS在其博客中提到的有关使用Graviton4芯片的新R8g实例的其他内容也让我们犹豫不决:“R8g实例提供了更大的实例大小,比当前一代R7g实例多出3倍的vCPU和3倍的内存。”

R8g拥有96个和十几个内存控制器(均比Graviton3提升了1.5倍),您只会期望R8g的vCPU数量是使用Graviton3芯片的R7g实例的1.5倍,而内存容量仅是使用Graviton3芯片的R7g实例的1.5倍。因此,我们认为这是Graviton系列的个双插槽实现。这也是我们认为Graviton4芯片拥有大约9500万到1亿个晶体管的原因之一,而不是您预期的8250万个晶体管(如果AWS只是在Graviton3设计中添加50%的并保持不变)。我们认为,L2缓存加倍、增加四个DDR5内存控制器以及一对现在也进行线速加密的I/O控制器也增加了晶体管预算。

Graviton4在另一个方面也值得注意。过去,Neoverse模块以32核或64核模块完成,Arm建议使用具有UCI-Express或CCIX互连的小芯片来构建更大的处理器复合体。制作自己的ArmCPU设计的公司总是可以实现单片芯片,出于延迟和功耗的原因,您会这样做。这些互连不是的,尤其是具有96个内核的芯片,其产量会比32个内核或64低得多。这也是有代价的。

因此,从上面的芯片照片来看,我们认为Graviton4是一个双小芯片封装,其中一个小芯片与另一个小芯片旋转了180度。这可能就是为什么封装上中央复合体左侧和右侧的存储控制器小芯片彼此偏移的原因。

我们认为Graviton4与前几代芯片的比较如下:

诚然猜测,我们认为Graviton4的性能比Graviton3E稍差,但达到该目标所需的功耗却低了近一半,并且内存容量高出50%,带宽高出75%,功耗大约为130瓦。功率包络具有更低且更理想的2.7GHz时钟速度。

根据我们估计的这些数字(粗体红色斜体显示),Graviton4芯片的每瓦性能(按ECU性能单位测量)与Graviton3大致相同,这几乎是您在工艺适度缩减的情况下所希望的一切。

随着更多细节的出现,我们将更新这个故事。

还有一件事:AWS在其公告中表示(但Selipsky并没有在他的主题演讲中吹嘘),迄今为止,它已在其机群中部署了超过200万个Graviton处理器,并拥有超过50,000个客户使用过它们。

这是一个非常可观的CPU数量,如果AWS没有开始内部生产Graviton,这些芯片将全部来自Intel、AMD,甚至可能来自AmpereComputing。但他们没有。这就是为什么将您的业务计划固定给超大规模提供商和云构建商是一个冒险的提议。

Trainum2旨在云中提供性能、节能的AI模型训练基础设施

此外,AWS还在大会上推出了由AWS设计的AWSTrainium2芯片系列。

Graviton4和Trainium2标志着AWS芯片设计的创新。随着每一代芯片的推出,AWS都提供了更好的性价比和能效,除了采用AMD、Intel和NVIDIA等第三方芯片的芯片/实例组合之外,还为客户提供了更多选择,以运行几乎任何应用程序或AmazonElasticComputeCloud(AmazonEC2)上的工作负载。

据了解,Trainium2的设计速度比代Trainium芯片快4倍,并且能够部署在多达100,000个芯片的EC2UltraCluster中,从而可以在一个简单的环境中训练基础模型(FM)和大型语言模型(LLM)。时间的一小部分,同时将能源效率提高了2倍。

AWS计算和网络副总裁DavidBrown表示:“硅支撑着每个客户工作负载,使其成为AWS创新的关键领域。”“通过将我们的芯片设计重点放在对客户重要的实际工作负载上,我们能够为他们提供的云基础设施。Graviton4标志着我们在短短五年内推出的第四代芯片,是我们为各种工作负载打造的强大、节能的芯片。随着人们对生成式AI兴趣的高涨,Tranium2将帮助客户以更低的成本和更高的能源效率更快地训练他们的ML模型。”

当今新兴的生成式人工智能应用背后的FM和LLM接受过海量数据集的培训。这些模型使客户能够通过创建各种新内容(包括文本、音频、图像、视频甚至软件代码)来完全重新想象用户体验。当今的FM和LLM的参数范围从数千亿到数万亿不等,需要可靠的高性能计算能力,能够扩展到数万个机器学习芯片。AWS已经提供了广泛、深入的采用ML芯片的AmazonEC2实例选择,包括的NVIDIAGPU、Trainium和Inferentia2。如今,包括Databricks、Helixon、MoneyForward和AmazonSearch团队在内的客户使用Trainium来训练大规模深度学习模型,充分利用Trainium的高性能、规模、可靠性和低成本。但即使拥有当今快的加速实例,客户也希望获得更高的性能和规模,以便以更低的成本更快地训练这些日益复杂的模型,同时减少他们使用的能源量。

Trainium2芯片专为FM和LLM的高性能训练而设计,参数高达数万亿个。与代Trainium芯片相比,Trainium2的训练性能提高了4倍,内存容量提高了3倍,同时能效(性能/瓦特)提高了2倍。Trainium2将在AmazonEC2Trn2实例中提供,单个实例中包含16个Trainium芯片。Trn2实例旨在使客户能够在下一代EC2UltraCluster中扩展多达100,000个Trainium2芯片,与AWSElasticFabricAdapter(EFA)拍级网络互连,提供高达65exaflops的计算能力,并为客户提供对超级计算机的按需访问一流的性能。凭借这种规模,客户可以在数周而不是数月内培训3000亿个参数的LLM。通过以显着降低的成本提供的横向扩展ML训练性能,Trn2实例可以帮助客户解锁并加速生成AI的下一波进步。

一家人工智能安全和研究公司Anthropic表示,“我们正在与AWS密切合作,使用Trainium芯片开发未来的基础模型。Trainium2将帮助我们大规模构建和训练模型,对于我们的一些关键工作负载,我们预计它的速度至少比代Trainium芯片快4倍。我们与AWS的合作将帮助各种规模的组织释放新的可能性,因为他们将Anthropic的人工智能系统与AWS安全、可靠的云技术结合使用。”

Copyright © 2002-2024 应用电子技术网 版权所有 
备案号: 滇ICP备2023006467号-62

免责声明: 1、本站部分内容系互联网收集或编辑转载,并不代表本网赞同其观点和对其真实性负责。 2、本页面内容里面包含的图片、视频、音频等文件均为外部引用,本站一律不提供存储。 3、如涉及作品内容、版权和其它问题,请在30日内与本网联系,我们将在第一时间删除或断开链接! 4、本站如遇以版权恶意诈骗,我们必奉陪到底,抵制恶意行为。 ※ 有关作品版权事宜请联系客服邮箱:478923*qq.com(*换成@)