半导体设备装卸搬运电镜安装维护

半导体设备装卸搬运电镜安装维护的亚瑟报道：精‌密‍设‌备‍搬‌运‍人工智能领域跑分榜单MLPerf更新了1.1版，主要针对云端和边缘端的推理性能。精‌密‍设‌备‍搬‌运‍是由ML Commons推出的性能测试榜单。在人工智能技术发展迅速的今天，不同的针对人工智能加速的芯片也是层出不穷，于是如何能有一个较好的标准跑分（benchmark）平台就很重要，有了这样的平台，用户才能以较为公平和合理的方式去比较不同芯片的人工智能性能。具体来说，MLPerf对于不同的测试组别（训练，服务器推理，终端推理等）提供了一系列标准的测试网络，并且由各个硬件公司上传可验证的跑分结果，这些结果在经过验证后，就由ML Commons总结整理并上传到MLPerf的榜单上精‌密‍设‌备‍搬‌运‍这次公布的MLPerf 1.1榜单中，基本可以分为几大势力：首先，是以Nvidia的GPU为核心加速卡的方案，由各种不同的厂商（包括Nvidia自己，以及超微、联想、戴尔、HP等整机厂商）实现的整机去跑分；其次是高通的云端加速卡方案，由高通自己提交跑分结果；第三类是Intel的CPU方案；第四类则是一些初创公司的方案。因此，在MLPerf 1.1的结果中，我们认为关注的，就是高通与Nvidia之间的竞争。事实上，在一些测评项目中，高通的方案已经实现了比Nvidia更高的结果，这也说明在服务器推理市场，Nvidia遇到了一个竞争对手，未来无法再高枕无忧。目前，Nvidia这一代的主要人工智能加速方案包括A100和A30。其中，A100是Nvidia的旗舰级GPU，同时针对推理和训练市场，算力高达600 TOPS （INT8精度），其功耗则根据使用内存的区别从250W-400W不等。精‌密‍设‌备‍搬‌运‍另一方面，A30则是Nvidia主要针对推理市场的GPU产品，其INT8峰值算力可达330 TOPS，约为A100的一半，而Nvidia在其官方资料中称A30在运行机器学习算法时的实际性能约为A100的三分之二。功耗方面，A30的功耗约为165W。在高通方面，Cloud AI 100芯片于今年上半年正式发货，其功耗（PCIe版本）则75W。根据高通公布的资料，其设计采用了多核架构，每个AI Core上拥有8MB的SRAM，精‌密‍设‌备‍搬‌运‍在芯片上可以集成16个AI Core，并且这些AI Core会共享LPDDR4X DRAM，以及PCIe接口。值得注意的是，高通的Cloud AI 100并没有像Nvidia一样使用HBM2内存接口，而是使用了功耗和带宽都更低的LPDDR4X接口，这意味着高通需要能地管理内存才能摆脱其在内存带宽方面的劣势。在MLPerf 1.1中，高通的表现可圈可点。在推理分类下的各项目中，高通提交了ResNet 50（用于图像分类），SSD（用于物体检测）以及BERT（用于自然语言处理任务）的结果。在ResNet 50的结果中，高通装有16块75W Cloud AI 100 加速卡的主机可以实现每秒342011次推理，而Nvidia提交的DGX主机结果中（包含8块400W的A100 GPU），ResNet 50的推理吞吐量为每秒313516次推理，因此高通不仅推理吞吐量比Nvidia的旗舰GPU A100结果高了10%，而且总功耗仅为Nvidia方案的三分之一左右。在和Nvidia A30的对比中，高通的Cloud AI 100同样可以以A30一半左右的功耗实现比A30高10%左右的ResNet 50推理吞吐量。精‌密‍设‌备‍搬‌运‍另一方面，在目标检测SSD方面，高通16X Cloud AI 100的性能则比Nvidia 8X A100低了10%左右。而在自然语言BERT项目中，高通16X Cloud AI 100的性能则大约是Nvidia 8X A100的一半。这些结果表明，在主流机器视觉任务中，高通的16X Cloud AI 100已经能实现和Nvidia 8X A100基本相同性能，而在BERT等自然语言处理任务中，Cloud AI 100则仍然距离A100有相当的差距。这其实从高通Cloud AI 100的设计中也可以看出端倪，它使用8MB每核心的片上内存搭配LPDDR4X内存接口，精‌密‍设‌备‍搬‌运‍在模型较小的机器视觉任务（例如ResNet-50和SSD）中已经够用，内存不会成为其瓶颈；然而对于模型较大的自然语言处理模型如BERT中，LPDDR4X接口仍然成为了高通AI Cloud 100的瓶颈，而使用HBM2系列接口的Nvidia A100则有优势。