语言模型遇到的问题：维度灾难——test数据集里面的词序列可能没有在train数据集里出现过。为什么这种情况叫做维度灾难呢？个人理解是：如果把词序列表示成one-hot的向量（向量的维度等于所有不同的词序列数量，当前词序列对应的位置是1，其他位置都是0），词序列长度越长，不同词序列的数量越大，向量长度即维数越大，所以，遇到的灾难就叫维度灾难了。

词序列太长，需要非常多的训练语料。而且就算有这么多的语料，参数的个数也太多了。例如词典大小10万（10⁵），长度为10的词序列，参数个数就达到了10⁵⁰（10个坑，每个坑有10⁵个选择）

n-gram——短词序列，互相覆盖。利用了词序，减少了参数个数。利用相邻n个词，限制了参数个数上限。缺点是只考虑了局部上下文。如果考虑更长的上下文，例如5以上，仍然会碰到维度灾难问题。

虽然实际应用中，这种方法很work，但是这种局部上下文的假设是有问题的。

词向量——为每个词引入分布表示，用向量表示词，它比n-gram更容易泛化（泛化的意思是把从训练数据中学到的知识用到测试数据里面）。

在LM角度上，词向量与n-gram的不同

优化目标的类型是最大似然估计，T是训练样本的数量，最大化L，θ是NN和词向量的参数，R的意义我还不太懂。

上式就是一个softmax，表示在给定上文w_t-1,…,w_t-n+1的情况下，w_t的概率。

y是softmax之前的值，x是上文w_t-1,…,w_t-n+1拼接成的向量，如下

H是输入层到隐含层的权值，隐含层激活函数是tanh，U是隐含层到输出层的权值，W是输入层到输出层的直连（目的是加快训练速度，why？），b，d分别是隐含层和输出层的偏置向量。

假设上文长度为n，词向量维度m，隐含层节点数量h，词表大小|V|，则H是h_(n-1)m的矩阵，U是|V|_h的矩阵，W是|V|*(n-1)m的矩阵，C是|V|*m的矩阵，b是维度|V|的向量，d是维度h的向量。

参数更新方法是SGA（Stochastic gradient ascent），为啥不是SGD？

Bengio受Hinton 2000年的一个工作的启发（product of experts），提出了能量函数E。神经网络的隐含层和输出层之间的连接变了，之前是一个权值矩阵，现在是一个向量，隐含层的输出值与这个向量做点乘。

其中

H，b跟上面的一样，v是输出的权值向量。x不仅包含了上文的词向量，还包含了当前词的词向量。E越小，x越可能是一个正常的词序列（是人话）；E越大，x越不是正常的词序列（不是人话）。

接下来，通过能量函数定义了概率：

优化目标还是最大似然估计，用的SGA方法。

《Hierarchical Probabilistic Neural Network Language Model》 aistats 2005

论文里面提到，词向量不是他发明的，是Hinton 1986年首次提出的。神经网络语言模型也不是他发明的，是一个叫Schmidhuber的人在1996年提出的。

本篇论文没有提出新的模型，只是对以往模型的加速，Bengio如是说：

大部分的计算量都在softmax，作者就是针对softmax做优化
这篇论文里面，Bengio对他的能量函数稍作了修改，能量的计算方法：

F是词向量矩阵，F_v'是词v向量的转置，W，F是权值矩阵，b是偏置向量，b_v是词v的偏置，a是输出权值向量。x是首尾连接的上文词向量

算概率的公式：

一般的softmax为什么慢呢？假设词表里面有1万个词，对于每一个训练样本，都要把1万个词的网络输出值都算出来，然后归一化算目标词的概率，慢就慢在要算1万个值，运算量是|V|。

怎么优化呢？如果说，这1万个词属于100类，每一类100个词，那么，做两次归一化就可以算出概率了，第一次找出目标词的类，算100个值，第二次算这个类下面目标词的概率，再算100个值，算200次就够了，比1万次少多了，运算量是

如果进一步增加类目层次，比如说类目层次是一个完整的二叉树，那么，运算量就是log₂|V|

按照这个思路，词v需要表示成位向量（向量的每一位可以理解成类别），(b₁(v),…,b_m(v))，m的值跟v相关。位向量可以通过建立词的层次结构得到。Bengio用的是WordNet加聚类的方法。b₁(v)=1表示v属于顶层的类别1，b₂(v)=0表示v输于顶层类别下面的第0类。词v的概率计算公式是：

可以看到m次就可以算出概率了，而不是|V|次。其中m=log₂|V|，如果|V|=10000， log₂|V|=13.3。Bengio提到了考虑词频可以更快提速，Mikolov利用Huffman树的灵感可能是他自己想出来的，也可能是看到了这个才有的。

Bengio的树结构用了Wordnet和聚类方法，他给出了内部节点为什么也可以用向量表示的说法：

预测词的位向量某一位为1的概率的公式：

Wordnet定义了IS-A关系，是一个层次结构，不过还不能拿来直接用，因为有两个问题：一词多义和非二叉树。

• 一词多义的解决方法：选择最频繁的含义，即一个词只有一个词向量。Bengio也提到了保留一词多义的方法，即给一个词赋予多个词向量，计算下一个词概率的时候，要把同一个词对应的多个向量的概率加在一起。
• 非二叉树的解决方法：聚类

Wordnet的一个节点可能有多个节点。K-means方法，训练样本中的段落是“doc”，词表示成doc的向量，向量中元素的值是TFIDF。下面看一下指标：

Hinton和Mikolov的树结构对结果都有提升，但Bengio的方法却下降了，可能是因为k-means过程不精确的缘故，毕竟TFIDF不那么完美。

《A Scalable Hierarchical Distributed Language Model》 NIPS 08

同样是层次方法，比Bengio的快，因为去掉了非线性隐含层

层次构造同样是聚类方法，比Bengio的指标高，因为他聚类的材料好，不是TFIDF向量

列一下这篇论文对LBL的描述，**没变

r_wi是词w_i的词向量，C_i是对角阵，可以看做是上文每个位置的权值。b_w是偏置，是个标量，表示的是词w上下文无关的信息：词频。

C_i设置成对角阵是为了加速计算（虽然理论上损失了模型的表现力）

HLBL基于上面的LBL模型，它是层次的，也是要建立一棵树，赋予每个词一个编码。同时，Hinton实现了一词多义的解决方法（Bengio提出的，但没实现），

D(w)是词w所有的编码

先把词表里的词表示成向量，然后用高斯混合模型聚类。

注意，这里没有直接用词本身的向量来聚类，而是用上文的词的向量来生成当前词的向量。方法是把上文n-1个词的向量相加，得到一个新的向量，如果一个词有多个上文，那么算个期望，把期望的向量作为当前词的向量，用于聚类，生成树结构。

算法会用Bootstrapping的方法，多次迭代，先随机生成向量，聚类成树，修改向量，再聚类成树。。。

为什么第一次迭代，用“随机词向量”聚类成的树做层次softmax，也可以得到差不多的结果呢？

先看看论文里面指标：

随机的树都能达到这样有意义的指标，为啥？我的理解是，虽然树是随机的，但是毕竟给每个词分配了不同的编码，训练的结果的确拟合了这个编码，所以结果是有意义的。只不过编码的质量不高，导致结果不是最好的。

为什么Bootstrapping的方法有效？更具体点说，为什么用“第一轮学出的词向量”聚类成的树要比“随机词向量”聚类成的树要好？

我的理解是：因为，聚类用的是上文融合成的向量，而不是当前词的向量，所以，这棵树其实是一个上文树，属于同一个父节点的两个节点有着相似的上文（同一类节点有相似的上文）。既然兄弟节点有如此相似的上文，那么一定不容易区分它们。如果模型还能准确区分的话，那么模型肯定是好模型。Bootstrapping的过程其实就是在区分越来越难的情况下还能区分准的过程。

所以，总的来说，层次softmax部分的树结构利用了语料本身的性质融入了一些限制，让模型去拟合这个限制。同理，Bengio Wordnet的方法加的限制是——兄弟节点的语义相似

《Efficient Estimation of Word Representations in Vector Space》 ICLR 13

Huffman树的优点：

• 词频对聚类有帮助：《Extensions of recurrent neural network language model》
• 词频高的词，计算量小。总体的模型就快

Mikolov随后做了很多实验，得到了很多有用的结论。

**增加训练数据量，同时增加向量维度，可提高词向量的质量。单独提升二者之一，词向量的质量提升有限。**数据如下表

CBOW在语法上比较厉害，Skip-gram在语义上比较厉害

向量维度足够大，训练数据量足够多，迭代一次训练数据就可以

词向量的用途：

• 概念推理
• 找出不同的一个（out-of-list word）