NVIDIA® Tesla® A2
推理性能提升高达20倍部署AI推理技术的目的是通过智能,实时的体验位消费者打造更便利的生活。与CPU服务器相比,搭载NVIDIA A2 Tensor Core 的边缘和入门级服务器可提供高达 20 倍的推理性能,可立即将服务器升级到能处理现代AI的水平。在智能边缘实现更高的 IVA 性能在智慧城市、制造和零售等智能边缘用例中,搭载 NVIDIA A2 GPU 的服务器最高可将性能提升 1.3 倍。
推理性能提升高达20倍部署AI推理技术的目的是通过智能,实时的体验位消费者打造更便利的生活。与CPU服务器相比,搭载NVIDIA A2 Tensor Core 的边缘和入门级服务器可提供高达 20 倍的推理性能,可立即将服务器升级到能处理现代AI的水平。在智能边缘实现更高的 IVA 性能在智慧城市、制造和零售等智能边缘用例中,搭载 NVIDIA A2 GPU 的服务器最高可将性能提升 1.3 倍。
推理性能提升高达20倍
部署AI推理技术的目的是通过智能,实时的体验位消费者打造更便利的生活。与CPU服务器相比,搭载NVIDIA A2 Tensor Core 的边缘和入门级服务器可提供高达 20 倍的推理性能,可立即将服务器升级到能处理现代AI的水平。
在智能边缘实现更高的 IVA 性能
在智慧城市、制造和零售等智能边缘用例中,搭载 NVIDIA A2 GPU 的服务器最高可将性能提升 1.3 倍。与前几代 GPU 相比,运行 IVA 工作负载的 NVIDIA A2 GPU 最高可将性价比和能效分别提升 1.6 倍和 10%,从而改善部署效率。
针对服务器进行优化
针对 5G 边缘和工业环境这样空间和散热要求受限制的入门级服务器,NVIDIA A2 为其推理工作负载和部署进行了优化。A2 提供了在低功耗范围内运行的半高外形,从 60 瓦到 40 瓦的 TDP,使其成为众多服务器的理想选择。
领先的跨云、数据中心和边缘的 AI 推理性能
AI 推理继续推动跨行业的突破性创新,包括消费互联网、医疗保健和生命科学、金融服务、零售、制造和超级计算。A2 的小巧尺寸和低功耗与 NVIDIA A100 和 A30 Tensor Core GPU 相结合,可提供跨云、数据中心和边缘的完整 AI 推理产品组合。A2 和 NVIDIA AI 推理产品组合可确保使用更少的服务器和更少的功率部署 AI 应用,从而已大幅降低的成本获得更快的洞察力。
规格参数
NVIDIA A2 | |
FP32 峰值性能 | 4.5 TF |
TF32 Tensor Core | 9 TF | 18 TF¹ |
BFLOAT16 Tensor Core | 18 TF | 36 TF¹ |
FP16 Tensor Core 峰值性能 | 18 TF | 36 TF¹ |
INT8 Tensor Core 峰值性能 | 36 TOPS | 72 TOPS¹ |
INT4 Tensor Core 峰值性能 | 72 TOPS | 144 TOPS¹ |
RT 核心数量 | 10 个 |
媒体引擎 | 1 个视频编码器 2 个视频解码器 (含 AV1 解码) |
GPU 显存 | 16GB GDDR6 |
GPU 显存带宽 | 200GB/s |
互联技术 | PCIe 4.0 x8 |
外形规格 | 单插槽,半高 PCIe |
热设计功耗 (TDP) | 40–60瓦 (可配置) |
虚拟化 GPU 软件支持 | NVIDIA 虚拟 PC、NVIDIA 虚拟应用程序、NVIDIA RTX 虚拟化工作站、NVIDIA AI Enterprise 软件套件和 NVIDIA 虚拟化运算服务器 |
* 数据来源英伟达官网