NVIDIAはAIメモリのフルスタック協調設計ソリューションを提案し、Vera Rubinプラットフォームでは各GPUのメモリ容量が約3%しか増加しないにもかかわらず、推論スループットは最大30倍向上します。

NVIDIAは、AIモデルの規模拡大、コンテキストウィンドウの延長、そしてエージェントアプリケーションの普及に伴い、GPUメモリへの負荷が継続的に増加し、HBM（高帯域幅メモリ）の供給が逼迫し価格が上昇していると述べました。NVIDIAは、単純にGPUメモリ容量を増やすのではなく、GPU、CPU、ネットワーク、ストレージおよびソフトウェアの協調設計によってメモリ使用効率を高めることを提案しています。具体的には、NVIDIAはNVFP4の低精度フォーマットによるモデルウェイトやKV Cacheの圧縮、一時的に非アクティブなコンテキストをよりコストの低いストレージ階層に移動させ、さらに複数GPUによる分散展開でHBMの空間を解放しています。NVIDIAの公開によると、SemiAnalysis AgentXのテストでは、GB300 NVL72は特定ワークロード下で単位コストあたりの推論スループットがH200プラットフォームの最大10倍に達しました。Vera Rubin NVL72は、GB300 NVL72と比べて単位コストあたりの推論スループットが最大30倍に向上し、単一GPUのHBM容量増加は約3%にとどまっています。