Word Embedding(词嵌入)模型介绍

Categories 机器学习
Word Embedding(词嵌入)模型介绍

词嵌入可以算是无监督机器学习最成功的应用之一。它不要求对数据标注,就可以从未标注预料里产生标注。单词嵌入可以从输入的字符产生量更小的向量标签,可以使得被使用到后续的其他学习任务中。

词嵌入的概念

简言之,词嵌入是指将文本转化为数字表示的方法。为什么需要词嵌入呢?

众所周知,许多机器学习算法,甚至几乎所有的深度学习算法,是无法直接处理字符串或者纯文本形式的输入。相反,他们需要数字作为各种任务的输入(例如分类、回归等)。不过,通常任务(例,网站评论中的情感分析)中大量的数据字段都是文本格式的,因此在需要学习前必须从这些文本输入中提取出数字表示的信息。因此,我们可以给词嵌入一个正式的定义:

词嵌入方法,是将字典中的单词转化为向量的方法。

例如,我们对如下句子做词嵌入:

Word Embeddings are Word converted into numbers

“词”指的是类似句子中的“Embedding”、“numbers”等

“字典”指的是句子中所有不重复单词的列表。所以,上述句子的词典是[‘Word’,’Embeddings’,’are’,’Converted’,’into’,’numbers’]

词嵌入的不同方法

我们当然可以使用本博客<机器学习为什么使用独热(ONE-HOT ENCODING)编码>介绍的独热编码进行词嵌入,这是一种较为简单的处理方式。除此之外,还有许多不同的词嵌入方法。这些词嵌入方法可以大概分为如下两类:

  • 基于频率的嵌入(简称“词频嵌入”)
  • 基于预测的嵌入

我们本节会深入介绍这两类方法。

词频嵌入

现行流行的词频嵌入方法包括如下几类的嵌入向量:

  • Count Vector
  • TF_IDF Vector
  • Co-Occurence Vector

Count Vector

考虑包括如下D个文档\({d_1,d_2,…..,d_D}\)的语料库及从C中提取的N个唯一单词。这N个唯一单词组成我们的字典,对应Count Vector矩阵M的大小为\(D*N\)。矩阵M的每一行为\(d_i\)文档中的单词频率。

举个简单的例子:

  • \(d_1\): He is a lazy boy. She is also lazy
  • \(d_2\): Neeraj is a lazy person

这两个文档形成字典:[‘He’,’She’,’lazy’,’boy’,’Neeraj’,’person’],这里D=2,N=6,则该2*6矩阵M可作如下表示:

HeShelazyboyNeerajperson
\(d_1\)112100
\(d_2\)001011

这里,每一行代表的是文档集合中的一个文档,每一列代表的是单词。这样,矩阵中的一列就代表对应单词的词向量。例如,“lazy”的词向量为[2,1]。

很简单不是吗。不过这里有很多不同的形成矩阵M的变种方法。主要有两大类:

  • 字典的形成方式。以上为一个理想的例子,但一个现实问题往往有成千上万个文本作为语料。所以向量往往是成千上万列。而一种替代的表示方法是取其中10000个单词作为字典。
  • 每个单词数量的表示方式。我们可以用单词出现的数量或者是单词是否出现来表示(一般是采用前者)。

下图帮忙理解矩阵M的形式:

TF-IDF Vector

TF-IDF是另外一种基于词频的方法,但是计算词频时不仅仅考虑单个文档而是整个预料。这其中的原理是什么呢?

常用词‘is’、‘the’、‘a’等词在英文文档中通常出现的频率超过文档的主要词汇。例如,描述梅西的文档中会比其他文档更常出现‘Messi’一词。但是诸如‘the’一词在所有文档(当然是英文文档)都以很高频率出现。

理想状态下,我们更希望降低这些在所有文档中都会出现的词,相反提升其他文档相关性更高单词的频率。TF-IDF的工作原理,便是给这些常现词一些惩罚,赋予更低的权重。我们以如下两个文档范例看TF-IDF的工作方式:

与TF-IDF相关的定义有如下:

\(f()=TF =\frac{t单词出现在文档的次数}{文档中单词的总数量}\)

因此 TF(This, Document1) = 1/8, TF(This, Document2) = 1/5

TF代表了单词对文档的“贡献”。即,与文档相关的单词应该出现频率更高。例,关于梅西的文档里,“梅西”单词出现的频率一定很高。

\(IDF=log(N/n)\)

其中N代表文档的数量,n代表t单词有出现的文档的数量。因此IDF(This)=log(2/2)=0

因此如何解释IDF背后的原理?一般情况下,如果一个单词在所有的单词中都出现,那么很有可能这个单词与某一个特定的文档关联不大。如果单词只在一部分文档中出现,那么该单词与其所出现的文档关联的可能性就较大。我们可以计算上例中“Messi”一词的IDF为:

\(IDF(Messi)=log(2/1)=0.301\)

现在,让我们来对比“This”和“Messi”对Document1的关联性。

TF-IDF(This, Document1) = (1/8)*(0)=0

TF-IDF(This, Document2)=(1/5)*(0)=0

TF-IDF(Messi, Document1) = (4/8)*0.301 = 0.15

因此我们可以看到,对Document1,TF-IDF方法对“This”赋予较小的权重,远小于单词“Messi”。因此在整个语料库里,“Messi”对Document1是非常重要的单词。

固定上下文窗口的Co-Occurence矩阵

该方法主要思想为:类似的单词有一起出现的倾向,也有相同的上下文。例,苹果是一种水果,芒果也是一种水果。苹果和芒果倾向于有相同的上下文。即,水果。

我们先理解一下Co-Occurence和上下文窗口的含义,再具体介绍该方法。

Co-Occurence:给定语料,一对单词W1和W2的Co-Occurence指的是他们在一个上下文窗口一起出现的次数。

Context Window: 上下文窗口由一个数字和方向指定。让我们看如下例子:

QuickBrownFoxJumpOverTheLazyDog

紫色框字体是“Fox”的大小为2的上下文窗口,当计算co-occurence时,只有这些单词会算在内。同理,对单词“Over”的上下文窗口为:

QuickBrownFoxJumpOverTheLazyDog

因此,让我们使用一个范例语料来描述Co-Occurence矩阵。语料为: He is not lazy. He is intelligent. He is smart。则语料矩阵为:

Heisnotlazyintelligentsmart
He042121
is401221
not210100
lazy121000
intelligent220000
smart110000

上图中红色的单元表示”He”和”is”在2长度的上下文窗口的值为4,而“lazy”和“intelligent”的上下文窗口值为0。

但是真实的语料库往往有很多单词,如果构建像上表一样的N*N矩阵,对计算机处理起来复杂度过高。因此这个矩阵往往是N*M大小的矩阵,其中M为N的子集。即选择字典中的最重要的一些单词作为矩阵的其一维度。选择的方法有SVD,PCA分析等方法。

Co-Occurence矩阵的优势:

  • 保留了单词间的语义关系。例如“男人”和“女人”的距离近过“男人”和“苹果”
  • 使用SVD作为其核心,比现有其他方法来输出更为精确的单词向量。
  • 只需要做一次计算,之后可直接使用。

Co-Occurence矩阵的缺点:

  • 使用大量的内存来存储Co-Occurence矩阵。当然,有一些现有的方法可以减轻该问题。

基于预测的嵌入

上述基于词频的计算单词嵌入方法的应用范围有限。直到word2vec这种基于预测的嵌入方法被提出并广泛应用到现有的各种场景中。而Wordvec并不是一个单独的算法,而是两种算法模型:CBOW(Continuous bag of words)和Skip-gram的组合。这两种方法均是浅神经网络,可以接受单词作为输入,同样使用单词作为输出,并映射为向量。下面分别进行介绍。

CBOW(Continuous Bag of words)

CBOW模型工作的原理是根据输入的上下文来预测输出单词的概率。上下文可能为一个单词,或者是一组单词。为了描述方便,我们以一个单词作为输入来预测一个单词输出。

假设我们的语料为 C = “Hey, this is sample corpus using only one context word.”同时定义上下文窗口为1。输入语料可以以如下独热编码方式呈现:

上述矩阵被送到一个三层神经网络来训练:包含输入层,隐层和输出层。其中输出层是一个softmax层,用来呈现输出层为某个单词的可能性。

下图呈现了CBOW的网络模型:

上面架构的矩阵表示如下图:

计算方法如下:

  • 输入层和输出均为[1*V]的独热向量,V表示上述语料的字典大小
  • 输入层和隐层,以及隐层和输出层分别有节点间权重矩阵大小为[V*N],以及[N*V]。N为隐层神经元的数量,这里N=4
  • 层与层之间没有激活函数
  • 用“隐层激活(Hidden Activation)”表示输入数据乘以输入层-隐层间权重(矩阵乘法)
  • 隐藏输出乘以隐层-输出层权重得到输出
  • 根据输出使用逆传播算法来调整权重
  • 隐藏-输出层权重被用作最后的词向量

以上为一个输入的例子,假如是多个输入呢?

上述为多个输入的神经网络架构,而下图为其矩阵表示:


输入三个上下文单词预测一个目标单词。输入可以用三个独热向量表示。上述输入层有3个[1*V]向量作为输入,以及一个[1*V]向量作为输出。

以上计算方法与单输入的CBOW模型类似。只不过最终的输出为多个权重矩阵的算术平均值

上述算法与一般神经网络类似,主要差异在于:

  • 不同于计算算术平方误差作为损失,CBOW是计算最小化选中单词的负对数似然
  • CBOW每层神经元未使用激活函数做非线性化激活

Skip – Gram模型

Skip-gram模型与CBOW架构类似。不过其核心思想与CBOW正好相反,是给定单词预测期上下文。架构如图:

其矩阵形式架构如图:

输入层大小为[1*V],输入-隐层权重矩阵大小[V*N],输出-权重矩阵[N*V],输出层大小[1*V]

计算方法如下:

  • 上图红色输入为独热编码
  • 中间桔黄色矩阵为隐层-输出层权重矩阵。
  • 用“隐层激活(Hidden Activation)”表示输入数据乘以输入层-隐层间权重(矩阵乘法), 桔黄色矩阵乘以 “隐层激活(Hidden Activation)” 得到蓝色矩阵
  • 图右蓝色矩阵的每行使用Softmax进行计算得到图右绿色矩阵。
  • 图右灰色矩阵为输入单词上下文的2两个单词的独热编码。使用绿色矩阵逐行减去灰色矩阵,得到误差向量
  • 对所有的输入计算误差向量后求和得到损失,并进行逆传播优化。

总结

本文介绍了基于词频和基于预测的两种嵌入方式,并对其中的常用模型进行了介绍。其中基于预测的嵌入方式是现行较为常用且有效的方式。其模型CBOW和Skip-Gram分别为使用上下文预测单词和使用单词预测上下文的两种不同模型,均为广泛使用。


版权声明:本站文章除非特别声明,均为L&H原创。允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。

本文链接:Word Embedding(词嵌入)模型介绍 @ L&H site


发表评论

电子邮件地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据