谷歌重磅推出全新Scaling Law，抢救Transformer，3万亿美元AI面临岔路
对DiLoCo来说，这依然能保持不错的性能，还能一次性用更多资源，缩短总训练时间。而Data-Parallel似乎更依赖串行训练。这种训练时间的减少还因为通信量降低而加倍明显。