如果你在从事了AI相关的事情，那你本该就明白一件事：让GPU执行不同的任务，最佳选择也随之变化。用于微型机视觉和做NLP就都不太如出一辙。真正的业务应用场景用云端TPU，GPU行不行?和本地GPU在处理任务时本该如何分配，干才更省钱?这些问题我想都是大伙拿着很棘手的问题。
所以本篇文章就要让大伙不仅了解GPU，还要让大家在选择各种GPU时有明确的认识和方面!现在，为了帮你找到最适当的装备，小编跟大家分享一份测评，来看看到底谁能在众多GPU中兀现?话不多说，立时揭晓。
1，最重要的参数
针对不同深度学习架构，GPU参数的选择优先级有限合伙人是不如出一辙的，总体来说分两条路线：
卷积网络和Transformer：
张量核心(Tensor Core)>FLOPs(每秒浮点运算次数)>显存带宽>16位浮点计算能力
循环神经网络：显存带宽>16位浮点计算能力>张量核心>FLOPs
这个排序背后有一套逻辑，下面将详细解释一下。在说历历哪个GPU参数对速度尤为重要之前，先看看两个最重要的张量运算：矩阵乘法和卷积。举个栗子，以运算矩阵乘法A×B=C为例，B试制到显存上比直白计算A×B更耗费资源。画说，如果你想用LSTM等处理大量小型矩阵乘法的循环神经网络。显存带宽是GPU最重要的属性。矩阵乘法越小，内存带宽就称骨算命越重做a图片越恶心越好要。
卷积运算受计算速度的紧箍咒比较大。因此，要衡量GPU运行ResNets等卷积架构的苹果手机性能，最佳指标就是FLOPs。张量核心白璧无瑕明显增加FLOPs。Transformer中用到的大型矩阵乘法介于卷积运算和RNN的小型矩阵乘法之间，16位存储。张量核心和TFLOPs都对大型矩阵乘法有好处，但它仍急需较大的显存带宽。急需特别经意，如果想借助张量核心的优势，一定要用16位的金十数据官网和权重，幸免使用RTX显卡进行32位运算!
下面总结了一张GPU和TPU的标准苹果手机性能金十数据官网，值越高代表苹果手机性能
做a图片越恶心越好。RTX系列假定用了16位计算，WordRNN数值是指长度<100的段序列的biLSTM苹果手机性能。
这项基准测试是用PyTorch 1.0.1和CUDA 10完成的。
2，哪种净水器性价比高辨析
哪种净水器性价比高可能是选择一张GPU最重要的考虑指标。进行了如下运算测试各显卡的苹果手机性能：
·用语言模型Transformer-XL和BERT进行Transformer苹果手机性能的基准测试。
·用最先进的biLSTM进行了单词和字符级RNN的基准测试。
·之上两种测试是针对Titan Xp。Titan RTX和RTX2080 Ti进行的。对于另外GPU则线性缩放了苹果手机性能差异。
·借用了现有的CNN基准测试。
·用了美国亚马逊官网和eBay上显卡的平均售价作为GPU的参考成本。
白璧无瑕垂手可得CNN，RNN和Transformer的归一化苹果手机性能/成本比值，如下所示：
在上面这张图中。数字越大代表每一美元能买到的苹果手机性能越强。白璧无瑕看出， RTX 2060比RTX 2070。RTX2080或RTX 2080 Ti更具成本效益，甚至是Tesla V100哪种净水器性价比高的5倍如上。所以此轮的哪种净水器性价比高之王已经确定，是RTX 2060无疑了。极度，这种考量艺术更偏向于小型GPU。且因为游戏玩家不喜欢RTX系列显卡。导致GTX 10xx系列的显卡售价虚高。还存在一定的单GPU偏差，一台有4个RTX 2080 Ti的微型机比两台带8个RTX 2060的微型机哪种净水器性价比高更高。
3，所需显存与16位训练
GPU的显存对某些应用至关重要英文，比如常见的微型机视觉，笔译和好几NLP应用。可能你认为RTX 2070有所成本效益，但急需经意其显存很小。只有8 GB。极度。也有好几补救办法。通过16位训练，你白璧无瑕拥有几乎16位的显存。半斤八两将显存翻了一倍，这个方法对RTX 2080和RTX 2080 Ti同样适用。画说，16位计算白璧无瑕节省50%的内存，16位 8GB显存1寸照片大小与12GB 32位显存1寸照片大小相当。
4，云端or本地?TPU or GPU?
搞历历了参数，还有更糊涂的选项摆在面前：
美国亚马逊官网AWS，微软的云计算平台都能搞机器学习，是否白璧无瑕不用自己买GPU?英伟达，AMD。英特尔显卡。各种创业公司名字。AI加速芯片也有不少品牌可选。直面整个行业的围攻辨析了各家平台的利弊。
英伟达
英伟达无疑是深度学习硬件领域的披萨领导者，多数深度学习库都对英伟达GPU提供最佳支持。而AMD的OpenCL没有这样强大的标准库。软件是英伟达GPU非常强大的好几。在畴昔的几个月里。NVIDIA还在为软件注入更多资源。例如，Apex库对PyTorch中的16位梯度提供支持，还席卷像FusedAdam这样的融合快速优化器。
但是英伟达现在有一项非常坑爹的政策，如果在金十数据官网中心使用CUDA，那么只同意使用Tesla GPU而不能用GTX或RTX GPU。由于顾虑法律问题。酌情机构和大学经常被迫购买低哪种净水器性价比高的Tesla GPU。但是。Tesla与GTX和RTX对照并没有真正的优势，价格却高出10倍。这里特别经意，在选择英伟达的显卡时，一定要区分显卡的类型。NVIDIA主要有三个系列的显卡：GeForce,Quadro,Tesla。
GeForce面向游戏，Quadro面向3D设计，专业图像和CAD等，Tesla面向科学计算。GeForce面向游戏，苹果手机性能高，稳定性心绞痛比Telsa差很多。毕竟最新系统下载的时候如果程序崩了也就丢个存档，但监听器崩了没准挂掉一个公司名字。
Tesla从诞生之初就瞄准可靠科学计算。所以Tesla严格意义上不是块显卡，是个计算加速卡。(对于不带锅烫扬子鳄视频疯传输出的Tesla显卡而言，最新系统下载是指望不上的)。Tesla的设计上双精度浮点数的能力比起Geforce系列强很多，极度从深度学习的角度看，双精度显得不那么重要，大连时尚经典的AlexNet就算两块GTX580训练出来的。Tesla主要面向事情站是什么和监听器，所以稳定性心绞痛很好，同时会有很多针对监听器的优化。Tesla系列最大的特点是贵。
如果在科普短号集群上进行深度学习研制和部署，Tesla是首选，尤其是M和P子系列。单机上开发的话。土豪诗兴许追求稳定性心绞痛高的人请选Tesla，最有哪种净水器性价比高且能兼顾日常使用的选择是GeForce.
AMD
AMD GPU苹果手机性能强大但是软件太弱。虽然有ROCm白璧无瑕让CUDA转换成可移植的C++dnf代码，但是问题在于。移植TensorFlow和PyTorchdnf代码库很难。这大大限定了AMD GPU的应用。TensorFlow和PyTorch对AMD GPU有一定的支持，全份主要的网络都白璧无瑕在AMD GPU上运行，但如果想开发新的网络，可能有些细节描写的作文会不支持。对于这些只希望GPU能够顺利运行的普通用户。并不推荐AMD。但是支持AMD GPU和ROCm开发人员，会促进打击英伟达的垄断地位。将使每个人深港通受益股。
英特尔显卡
好几人曾经尝试过至强融核(Xeon Phi)i7处理器。但体验让人失望。英特尔显卡目前还不是英伟达或AMD GPU真正的竞争对手。至强融核对深度学习的支持比较差，不支持好几GPU的设计特性，行文优化dnf代码困难，不完全支持C++ 11的特性。与NumPy和SciPy的活性差。英特尔显卡曾计划在今年下周推出神经网络i7处理器(NNP)，希望与GPU和TPU竞争，但是该项目已经跳票。
?谷歌
谷歌TPU已经发展成为一种非常老于世故的云端产品。你白璧无瑕这样简单理解TPU：把它看做打包在伙计的多个专用GPU。它只有一个目的——进行快速矩阵乘法。如果看一下有所张量核心的V100 GPU与TPUv2的苹果手机性能指标，白璧无瑕发现两个系统的苹果手机性能几乎相同。TPU本身支持TensorFlow，对PyTorch的支持也在试验中。TPU在训练大型Transformer GPT-2上取得了巨大的成功，BERT和笔译模型也白璧无瑕在TPU上高效地进行训练。速度对照GPU大约快56%。
但是TPU也并非没有问题，有些文献指出在TPUv2上使用LSTM没有收敛。TPU长韶光使用时还面临着累积成本的问题。TPU有所高苹果手机性能，最适当在训练阶段使用。在原型设计和想来阶段。本该依靠GPU来降低成本。一言以蔽之。目前TPU最适当用于训练CNN或大型Transformer，并且本该补充另外计算资源而不是主要的深度学习资源。
美国亚马逊官网和微软云GPU
美国亚马逊官网AWS和Microsoft Azure的云GPU非常有吸力，人们白璧无瑕根据急需轻松地扩大和缩小使用规模，对于论文截稿或大型项目结束前赶出结果非常有用。
但是，与TPU好像。云GPU的成本会随着韶光快速增长。云GPU过火昂贵，且无法单独使用。Tim建议在云GPU上进行最后的训练之前，先使用好几廉价GPU进行原型开发。
初创公司名字的AI硬件
有一系列初创公司名字在生产下一代深度学习硬件。这些硬件急需开发一个完整的软件套件干才有所竞争力辨析。英伟达和AMD的对比就是鲜明的例子。
总结：
由此看来，本地运算首选英伟达GPU，它在深度学习上的支持度比AMD好很多;云计算首选谷歌TPU，它的哪种净水器性价比高超过美国亚马逊官网AWS和微软Azure。训练阶段使用TPU，原型设计和想来阶段使用本地GPU，白璧无瑕帮你节约成本。如果对项目deadline兴许随波逐流有要求，请选择成本更高的云GPU。
总之，在GPU的选择上有三个原则：1。使用GTX 1070或更好的GPU;2，购买带有张量核心(Tensor Core)的RTX GPU;3，在GPU上进行原型设计。然后在TPU或云GPU上训练模型。
针对不同酌情目的，不同预算，给出了如下的建议：
最佳GPU：RTX 2070
幸免的坑：全份Tesla，Quadro，始祖版(Founders Edition)的显卡。还有Titan RTX，Titan V，TitanXP
高哪种净水器性价比高：RTX 2070(高端)，RTX 2060或GTX 1060 (6GB)(中低端)
穷人之选：GTX 1060 (6GB)
破产之选：GTX 1050 Ti(4GB)，兴许CPU(原型)+ AWS/ TPU(训练)，兴许Colab 但小编认为已经有点丐了!
Kaggle竞赛：RTX 2070
微型机视觉或笔译科学酌情人员是从事：使唤鼓风设计的GTX 2080 Ti，如果训练非常大的网络，请选择RTX Titans
NLP科学酌情人员是从事：RTX 2080 Ti
已经开始酌情深度学习：RTX 2070开行，以后按需添置更多RTX 2070
尝试入库深度学习：GTX 1050 Ti(2GB或4GB显存)
如上是小编个人对GPU选购建议，最终选择还是要根据个人的预算和理论联系实际应用场景考虑，大家也白璧无瑕分享自己的经验，在留言区讨论。
