只需一个API，包含了27个预训练模型

只需一个API，包含了27个预训练模型

One API to rule them all。

只需一个API，直接调用BERT, GPT, GPT-2, Transfo-XL, XLNet, XLM等6大框架，包含了27个预训练模型。

简单易用，功能强大。目前已经包含了PyTorch实现、预训练模型权重、运行脚本和以下模型的转换工具：

这些实现都在几个数据集（参见示例脚本）上进行了测试，性能与原始实现相当，例如BERT中文全词覆盖在SQuAD数据集上的F1分数为93；OpenAI GPT 在RocStories上的F1分数为88；Transformer-XL在WikiText 103上的困惑度为18.3；XLNet在STS-B的皮尔逊相关系数为0.916。

项目中提供27个预训练模型，下面是这些模型的完整列表，以及每个模型的简短介绍。

注意，这里要使用分布式训练和16- bits 训练，你需要安装NVIDIA的apex扩展。

九个不同GLUE任务的序列级分类器；

问答集数据集SQUAD上的令牌级分类器；

SWAG分类语料库中的序列级多选分类器；

另一个目标语料库上的BERT语言模型。

这里仅展示GLUE的结果：

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。