7月8日消息，Huggingface近日发布了一个新版本的NLP预训练变压器模型开源库：PyTorch-Transformers 1.0。该开源库包含了一下体系结构: 谷歌的BERT，OpenAI的GPT和GPT-2，谷歌以及CMU的Transformer-XL和XLNet，以及Facebook的XLM。这些架构共有27个预训练模型权重。