文本相似度: TF-IDF 和 BM25算法（转载）

文本相似度 — TF-IDF 和 BM25 算法

转载自博客园微笑sun的《文本相似度 — TF-IDF和BM25算法》

1. TF-IDF算法

$TF$是指归一化后的词频，$IDF$是指逆文档频率。给定一个文档集合$D$，有$d1,d2,d3,......,dn∈D$。文档集合总共包含$m$个词（注：一般在计算TF-IDF时会去除如 “的” 这一类的停用词），有$w_1,w_2,w_3,......,w_m∈W$。我们现在以计算词$w_i$在文档$d_j$中的$TF-IDF$指为例。$TF$ 的计算公式为：

$$TF = {freq(i,j)} \over {max_{len}(j)}$$

在这里$freq(i,j)$ 为$w_i$在$d_j$中出现的频率，$max_{len}(j)$为$d_j$长度。

$TF$只能时描述词在文档中的频率，但假设现在有个词为“ 我们”，这个词可能在文档集$D$中每篇文档中都会出现，并且有较高的频率。那么这一类词就不具有很好的区分文档的能力，为了降低这种通用词的作用，引入了$IDF$。

IDF的表达式如下：

$$IDF=log({len(D) \over n(i)})$$

在这里$len(D)$表示文档集合$D$中文档的总数，$n(i)$表示含有$w_i$这个词的文档的数量。

得到$TF$和$IDF$之后，我们将这两个值相乘得到$TF-IDF$的值：

$$TF-IDF=TF \ast IDF$$

$TF$可以计算在一篇文档中词出现的频率，而$IDF$可以降低一些通用词的作用。因此对于一篇文档我们可以用文档中每个词的$TF-IDF$组成的向量来表示该文档，再根据余弦相似度这类的方法来计算文档之间的相关性。

2. BM25算法

$BM25$算法通常用来做搜索相关性评分的，也是 ES 中的搜索算法，通常用来计算$query$和文本集合$D$中每篇文本之间的相关性。我们用$Q$表示$query$，在这里$Q$一般是一个句子。在这里我们要对$Q$进行语素解析（一般是分词），在这里以分词为例，我们对$Q$进行分词，得到$q1,q2,......,qt$这样一个词序列。给定文本$d∈D$，现在以计算$Q$和$d$之间的分数（相关性），其表达式如下：

$$Score(Q,d)=\sum\nolimits^t_{i=1}w_i \ast R(q_i,d)$$

上面式子中$wi$表示$q_i$的权重，$R(q_i,d)$为$q_i$和$d$的相关性，$Score(Q,d)$就是每个语素$q_i$和$d$的相关性的加权和。

$w_i$的计算方法有很多，一般是用$IDF$来表示的，但这里的$IDF$计算和上面的有所不同，具体的表达式如下：

$$w_i=IDF(q_i)=log{N-n(q_i)+0.5 \over n(q_i)+0.5}$$

上面式子中$N$表示文本集合中文本的总数量，$n(q_i)$表示包含$q_i$这个词的文本的数量，0.5主要是做平滑处理。

$R(q_i,d)$的计算公式如下：

$$R(q_i,d) = {f_i \ast (k_1+1) \over f_i + K} \ast {qf_i \ast (k_2+1) \over qf_i+k_2}$$

其中

$$K=k_1 \ast (1-b+b \ast {dl \over avgdl})$$

上面式子中$f_i$为$q_i$在文本$d$中出现的频率，$qf_i$为$q_i$在$Q$中出现的频率，$k_1,k_2,b$都是可调节的参数，$dl$,$avgdl$分别为文本$d$的长度和文本集$D$中所有文本的平均长度。

一般$qf_i=1$，取$k_2=0$，则可以去除后一项，将上面式子改写成：

$$R(qi,d)=fi \ast (k1+1)fi+K$$

通常设置$k_1=2$,$b=0.75$。参数b的作用主要是调节文本长度对相关性的影响。