基于JAX的LLM训练中通过主机卸载减少高带宽内存瓶颈

本文讨论了一种在基于JAX的大型语言模型（LLM）训练中，通过将模型状态卸载到主机内存来克服高带宽内存（HBM）瓶颈的技术。它解释了如何将权重、梯度和优化器状态卸载到CPU内存，从而在有限的GPU内存上训练更大的模型，尽管会带来一定的性能权衡。该方法旨在扩展LLM训练的有效内存容量，同时保持实际的训练吞吐量。