2月11日消息，微软近日发布了一个名为DeepSpeed的开源库，该库通过提高规模，速度，成本和可用性，释放了训练1000亿参数模型的能力，极大地推进了大型模型的培训。DeepSpeed与PyTorch兼容。该库中包含了一种新的名为ZeRO的并行优化器，它可以大大减少模型和数据并行性所需的资源，同时可以大大增加可训练的参数数量。研究人员利用这些突破来创建了图灵自然语言生成（Turing-NLG）。据了解，这是最大的公开语言模型，具有170亿个参数。