VRAM

VRAMはGPUに直接搭載されているメモリです。これはAIモデルを実行する際のハードリミットであり、GPUがどれほど強力であっても、モデルと中間データがVRAMに収まらない場合は実行できません。

推論のための大まかな目安：4 bit 量子化モデルは、およそ GB 単位のパラメータ数の半分が必要です。学習は勾配とオプティマイザー状態を保持する必要があるため、推論より数倍のコストがかかります。

GPU プランを比較する際は、VRAM を最初に比較してからパフォーマンスを比較してください。VRAM 不足は実行できず、速度不足は実行が遅いだけです。