并行战略正如和散布式一样，如何应用多设施和多配件也是很关键的一个环节，大模型训练也是如此，当初训练大模型离不开各种散布式并行战略，罕用的并行战略包含，下图为其中一种算法，将一切的梯度分为五份，而后依照圆圈的模式流传，而不是广播数据，累加，直......