NVIDIA英伟达A100与A800人工智能服务器GPU算力租赁

nvidia英伟达a100人工智能服务器在各种规模上实现出色的加速
适用于各种工作负载的强大计算平台
nvidia a100 tensor core gpu 可在各个规模下为 ai、数据分析和高性能计算（ hpc） 应用提供出色的加速性能，为全球的 高性能弹性数据中心提供强劲助力。作为 nvidia 数据中心平台的引擎，与前一代 nvidia volta™ 相比，a100 可使性能提升高达 20 倍。a100 可高效扩展，也可借助多实例 gpu（ mig） 技术划分 为 7 个独立的 gpu 实例，从而提供统一的平台，助力弹性数据中心根据不断变化的工作负载需求动态进行调整。
nvidia a100 tensor core 技术支持广泛的数学精度，可针对每个工作负载提供单个加速器。*新一代 a100 80gb 将 gpu 显存 加倍，提供 2tb/s 的全球超快显存带宽，可加速处理超大型模型和海量数据集。
a100 是完整 nvidia 数据中心解决方案的一部分，该解决方案由硬件、网络、软件、库以及 ngc™ 目录中经优化的 ai 模型和 应用等叠加而成。作为适用于数据中心且功能强大的端到端 ai 和 hpc 平台，a100 可助力研究人员获得真实的结果，并能将解决方案大规模部署到生产环境中。
nvidia英伟达a100与a800人工智能服务器gpu算力租赁产品规格
项目
标准配置
扩展配置
1
准系统
双路4u机架式
2
处理器
英特尔 xeon ® gold 6330 处理器
28核/基频2ghz/最高3.1ghz/42mb缓存
英特尔 xeon® platinum 8380 处理器
40核/基频2.3ghz/最高3.4ghz/60mb缓存
3
内存
ddr4/rdimm/3200mhz/64gb，总容量1tb
最大内存容量4tb
4
芯片组
intel® c621a
5
gpu
8张a100 或a800 80gb pcie显卡
8张双宽或16张单宽pcie nvidia gpu卡
6
网络通信
以太网卡，2路10g电口
7
infiniband（ib）网卡，2路200g qsfp56口
8
硬盘
系统盘，m.2 sata ssd，容量1tb
前面板支持24块2.5或12块3.5寸 sas/sata硬盘
主板支持2块m.2 sata ssd
9
数据盘，4tb*4/sata，总容量16tb
10
电源
单模组2000w，2+2冗余配置
单模组3kw，总计12kw
9
外形尺寸
宽度480mm，高度180mm，深度830mm
10
工作温度
5~35℃
11
重量
80kg
nvidia a100 tensor core gpu 规格 （sxm4 和 pcie 外形规格）
a100 80gb pcie
a100 80gb sxm
fp64
9.7 tflops
fp64 tensor core
19.5 tflops
fp32
19.5 tflops
tensor float 32 （tf32）
156 tflops | 312 tflops*
bfloat16 tensor core
312 tflops | 624 tflops*
fp16 tensor core
312 tflops | 624 tflops*
int8 tensor core
624 tops| 1248 tops*
gpu 显存
80gb hbm2e
80gb hbm2e
gpu 显存带宽
1935gb/s
2039gb/s
*大热设计功耗 （tdp）
300 瓦
400 瓦***
多实例 gpu
*多 7 个 mig 每个 10gb
*多 7 个 mig 每个 10gb
外形规格
pcie 双插槽风冷式或单插槽液冷式
sxm
互连技术
搭载 2 个 gpu 的 nvidia® nvlink® 桥接器：600gb/s**
pcie 4.0 ：64gb/s
nvlink ：600gb/s
pcie 4.0 ：64gb/s
服务器选项
搭载 1 至 8 个 gpu 的合作伙伴认证系统和 nvidia 认证系统（ nvidia-certified systems™）
搭载 4 个、8 个或 16 个 gpu 的 nvidia hgx™ a100 合作伙伴认证系统和 nvidia 认证系统
搭载 8 个 gpu 的 nvidia dgx™ a100
* 采用稀疏技术
** sxm4 gpu 通过 hgx a100 服务器主板连接；pcie gpu 通过 nvlink 桥接器可桥接多达两个 gpu
*** 400 瓦 tdp（适用于标准配置）。hgx a100-80 gb 自定义散热解决方案（ cts） sku 可 支持高达 500 瓦的 tdp
跨工作负载的**性能
针对大型模型提供高达 3 倍的 ai 训练速度；
相较于 cpu 提供高达 249 倍的 ai 推理性能；
相较于 a100 40gb 提供高达 1.25 倍的 ai 推理性能；
为 hpc 应用提供高达 1.8 倍的性能；
四年来 hpc 性能提升 11 倍；
相较于 a100 40gb，在大数据分析基准测试中速度提升 2 倍；
突破性的创新
nvidia ampere 架构：无论是使用 mig 将 a100 gpu 分割为较小的实例，还是使用 nvlink 连接多个 gpu 来加速 大规模工作负载，a100 均可轻松满足不同规模的加速需求，从小型作业到大型多节点工作负载无一例外。a100 功能全面，这意味着 it 经理可以全天候地充分利用数据中心内的每个 gpu。
第三代 tensor core 技术：nvidia a100 的深度学习 运算性能可达 312 teraflops （tflops）。其深度学习训练的 tensor 每秒浮点运算次数（ flops） 和推理 的 tensor 每秒万亿次运算次数（ tops） 皆为 nvidia volta™ gpu 的 20 倍。
新一代 nvlink：a100 中采用的 nvidia nvlink 可提供两倍于上一代的吞吐量。与 nvidia nvswitch™ 结合使用时，此技术可将多达 16 个 a100 gpu 互连，并将速度提升至 600gb/s，从而在单个服务器上实现出色的应用性能。nvlink 技术可应用在 a100 中：sxm gpu 通过 hgx a100 服务器主板连接，pcie gpu 通过 nvlink 桥接器可桥接多达两块 gpu。
多实例 gpu（ mig） 技术：一个 a100 gpu *多可划分为 7 个 gpu 实例，这些实例在硬件级别完全独立，并独自拥有高 带宽显存、缓存和计算核心。借助 mig， ***可为其所有应用实现惊人加速，it 管理员也可为每个作业提供符合其规模的 gpu 加速，进而优化 gpu 利用率，并让每个用户和 应用都能使用 gpu 实例。
高带宽显存（ hbm2e）：凭借 80gb 的高带宽显存（hbm2e），a100 提供超过 2tb/s 的超快 gpu 显存带宽， 并将动态随机存取存储器（ dram） 的利用效率 提高至 95%。a100 提供的显存带宽是上一代 产品的 1.7 倍。
结构化稀疏：ai 网络拥有数百万至数十亿个 参数。实现准确预测并非要使用所有参数，而且我们还可将某些参数转换为零，以在无损准确性的前提下使 模型变得“稀疏”。a100 中的 tensor core 可为稀疏模型提供高达 2 倍的性能提升。稀疏功能不仅更容易使 ai 推理受益，同时还能提升 模型的训练性能。
nvidia英伟达a100人工智能服务器gpu 是 nvidia 数据中心平台的旗舰产品，可用于深度学习、高性能计算 （hpc） 和数据分析。该平台可为 2000 余款应用和各大深度学习框架提供加速。a100 适用于桌面、服务器以及云服务，不仅能显著提升性能，更可以节约成本。