VRAM

VRAM 是直接集成在 GPU 上的内存。这是运行 AI 模型时的硬性限制：如果模型及中间数据无法完全容纳于 VRAM 中，无论 GPU 性能多么强大，都无法运行。

推理的粗略估算规则：4 bit量化模型所需的容量（以GB计）约为参数量（十亿）的一半。训练消耗比推理高出数倍，因为必须额外保留梯度和优化器状态。

在对比 GPU 套餐时，请先对比 VRAM，再看计算性能——缺少 VRAM 将无法运行，而速度不足仅是运行缓慢。