DeepSpeed

DeepSpeed

https://github.com/microsoft/DeepSpeed

Zero Redundancy Optimizer

参见 ZeRO 详细介绍。

Ulysses

参见 Ulysses 详细介绍。