第十三章：N 元语法和数据平滑

N 元语法

N 元语法模型利用前面 N-1 个单词来预测下一个词。一些特殊情况：标点、大小写、屈折变化等。

一个单词的概率只依赖于它前面一个单词的这种假设叫作 Markov 假设，这样的模型叫 Bi-gram，即二元语法模型，也叫一阶 Markov 模型。

N 元语法模型可以使用训练语料库 “归一化” 得到。

$$p(w_n|w_{n-1}) = \frac {C(w_{n-1}w_n)}{\sum_w C(w_{n-1}w)}$$

以 $$w_{n-1}$$ 开头的二元语法计数必定等于 $$w_{n-1}$$ 这个单词的计数，于是：

$$p(w_n|w_{n-1}) = \frac {C(w_{n-1}w_n)}{C(w_{n-1})}$$

一般化 N 元语法的参数估计：

$$p(w_n|w_{n-N+1}^{n-1}) = \frac {C(w_{n-N+1}^{n-1}w_n)}{C(w_{n-N+1}^{n-1})}$$

两个重要事实：

• N 增加时，精确度相应增加，同时生成句子的局限性增加（可选的下个词减少）
• 严重依赖于语料库

More →