8种优秀预训练模型大盘点，NLP应用so easy！(3)

ELMo是一种用向量和嵌入表示单词的新方法。这些ELMo 词嵌入(word embedding)帮助我们在多个NLP任务上实现最先进的结果，如下图所示:

让我们花点时间来了解一下ELMo是如何工作的。回想一下我们之前讨论过的双向语言模型。从这篇文章中我们能够得到提示，“ELMo单词向量是在双层双向语言模型(biLM)的基础上进行计算的。这个biLM模型有两层叠加在一起，每一层都有2个通道——前向通道和后向通道：

ELMo单词表示考虑计算词嵌入(word embedding)的完整输入语句。因此，“read”这单词在不同的上下文中具有不同的ELMo向量。这与旧版的词嵌入(word embedding)大不相同，旧版中无论在什么样的上下文中使用单词“read”，分配给该单词的向量是相同的。

学习和阅读更多ELMo有关信息的资源：

• 循序渐进的NLP指南，了解ELMo从文本中提取特征：https://www.analyticsvidhya.com/blog/2019/03/learn-to-use-elmo-to-extract-features-from-text/?utm_source=blog&utm_medium=top-pretrained-models-nlp-article
• 预训练模型的GitHub存储库：https://github.com/allenai/allennlp/blob/master/tutorials/how_to/elmo.md
• 研究论文：https://arxiv.org/pdf/1802.05365.pdf

7. Flair模型

Flair不是一个词嵌入(word embedding)，而是它的组合。我们可以将Flair称为结合了GloVe、BERT与ELMo等嵌入方式的NLP库。Zalando Research的优秀员工已经开发了开源的Flair。

该团队已经为以下NLP任务发布了几个预训练模型：

• 名称 - 实体识别(NER)
• 词性标注(PoS)
• 文本分类
• 培训定制模型

不相信吗?那么，这个对照表会帮你找到答案:

“Flair Embedding”是Flair库中打包的签名嵌入，它由上下文字符串嵌入提供支持。了解支持Flair的核心组件可以阅读这篇文章：

https://www.analyticsvidhya.com/blog/2019/02/flair-nlp-library-python/?utm_source=blog&utm_medium=top-pretrained-models-nlp-article

我特别喜欢Flair的地方是它支持多种语言，而这么多的NLP发行版大多都只有英文版本。如果NLP要在全球获得吸引力，我们需要在此基础上进行扩展。

学习和阅读更多有关Flair的资源：

• Flair for NLP简介：一个简单但功能强大的最先进的NLP库：https://www.analyticsvidhya.com/blog/2019/02/flair-nlp-library-python/?utm_source=blog&utm_medium=top-pretrained-models-nlp-article
• Flair的预训练模型：https://github.com/zalandoresearch/flair

8. 其他预训练模型：StanfordNLP (斯坦福)

提到扩展NLP使其不局限于英语，这里有一个已经实现该目的的库——StanfordNLP。其作者声称StanfordNLP支持超过53种语言，这当然引起了我们的注意。

我们的团队是第一批使用该库并在真实数据集上发布结果的团队之一。我们通过尝试，发现StanfordNLP确实为在非英语语言上应用NLP技术提供了很多可能性，比如印地语、汉语和日语。

StanfordNLP是一系列经过预先训练的最先进的NLP模型的集合。这些模型不仅是在实验室里进行测试——作者在2017年和2018年的CoNLL竞赛中都使用了这些模型。在StanfordNLP中打包的所有预训练NLP模型都是基于PyTorch构建的，可以在你自己的注释数据上进行训练和评估。

我们认为你应该考虑使用StanfordNLP的两个主要原因是：

用于执行文本分析的完整神经网络管道，包括。

• 标记化
• 多字令牌(MWT)拓展
• 词形还原
• 词性(POS)和词形特征标记
• 依存语法分析

稳定的Stanford CoreNLP软件的官方Python接口。

学习和阅读更多StanfordNLP有关信息的资源：

• StanfordNLP简介：一个不可思议的支持53种语言的最先进NLP库 (使用Python代码)：https://www.analyticsvidhya.com/blog/2019/02/stanfordnlp-nlp-library-python/?utm_source=blog&utm_medium=top-pretrained-models-nlp-article
• StanfordNLP的预训练模型：https://github.com/stanfordnlp/stanfordnlp

尾注

这绝不是一个预训练NLP模型的详尽列表，有更多能用的可以在这个网站上找到：https://paperswithcode.com

（编辑：ASP站长网）