- TSMCの4Nカスタムプロセスノード(いわゆる4nm)で製造され、800億トランジスタというモンスターチップになっています。
- HBM3メモリに対応し、メモリ帯域幅は3TB/s、最大メモリ容量は80GBです。
- 第4世代のTensorコアと、FP8精度で混合エキスパート(MoE)モデルのトレーニングを前世代比最大9倍高速化するTransformer Engineを備えています。
- コンフィデンシャルコンピューティング機能を備えており、処理中にAIモデルと顧客データを保護することができます。
- 第4世代のNVLinkを搭載し、GPUとGPUを毎秒900GBで相互接続することができます。
NVIDIAのH100は、生成AIプラットフォームにおいて、テキストの翻訳、レポートの要約、コンピューターコードの記述などのタスクを完了することを学習する大規模言語モデル(LLM)のトレーニングや推論に非常に高い性能を発揮します。
また、HPC(高性能計算)やエンタープライズAIなどの他のワークロードにも対応しています。
NVIDIAのH100の価格は、国内では約470万円前後で販売されているようです。
ただし、このカードは一般のPCゲーマー向けではなく、AIやHPC、データセンター向けのGPUなので、個人で購入することはあまり一般的ではありません。
また、在庫や需要によって価格は変動する可能性がありますので、ご注意ください。