搜索引擎自動(dòng)提取關(guān)鍵詞技術(shù)《TF-IDF與余弦相似性的應(yīng)用》這個(gè)標(biāo)題看上去好像很復(fù)雜，其實(shí)我要談的是一個(gè)很簡(jiǎn)單的問題。有一篇很長(zhǎng)的文章，我要用計(jì)算機(jī)提取它的關(guān)鍵詞（Automatic Keyphrase extraction），完全不加以人工干預(yù)，請(qǐng)問怎樣才能正確做到？

這個(gè)問題涉及到數(shù)據(jù)挖掘、文本處理、信息檢索等很多計(jì)算機(jī)前沿領(lǐng)域，但是出乎意料的是，有一個(gè)非常簡(jiǎn)單的經(jīng)典算法，可以給出令人相當(dāng)滿意的結(jié)果。它簡(jiǎn)單到都不需要高等數(shù)學(xué)，普通人只用10分鐘就可以理解，這就是我今天想要介紹的TF-IDF算法。

讓我們從一個(gè)實(shí)例開始講起。假定現(xiàn)在有一篇長(zhǎng)文《中國(guó)的蜜蜂養(yǎng)殖》，我們準(zhǔn)備用計(jì)算機(jī)提取它的關(guān)鍵詞。

一個(gè)容易想到的思路，就是找到出現(xiàn)次數(shù)最多的詞。如果某個(gè)詞很重要，它應(yīng)該在這篇文章中多次出現(xiàn)。于是，我們進(jìn)行'詞頻'（Term Frequency，縮寫為TF）統(tǒng)計(jì)。

結(jié)果你肯定猜到了，出現(xiàn)次數(shù)最多的詞是----'的'、'是'、'在'----這一類最常用的詞。它們叫做'停用詞'（stop words），表示對(duì)找到結(jié)果毫無幫助、必須過濾掉的詞。

假設(shè)我們把它們都過濾掉了，只考慮剩下的有實(shí)際意義的詞。這樣又會(huì)遇到了另一個(gè)問題，我們可能發(fā)現(xiàn)'中國(guó)'、'蜜蜂'、'養(yǎng)殖'這三個(gè)詞的出現(xiàn)次數(shù)一樣多。這是不是意味著，作為關(guān)鍵詞，它們的重要性是一樣的？

顯然不是這樣。因?yàn)?中國(guó)'是很常見的詞，相對(duì)而言，'蜜蜂'和'養(yǎng)殖'不那么常見。如果這三個(gè)詞在一篇文章的出現(xiàn)次數(shù)一樣多，有理由認(rèn)為，'蜜蜂'和'養(yǎng)殖'的重要程度要大于'中國(guó)'，也就是說，在關(guān)鍵詞排序上面，'蜜蜂'和'養(yǎng)殖'應(yīng)該排在'中國(guó)'的前面。

所以，我們需要一個(gè)重要性調(diào)整系數(shù)，衡量一個(gè)詞是不是常見詞。如果某個(gè)詞比較少見，但是它在這篇文章中多次出現(xiàn)，那么它很可能就反映了這篇文章的特性，正是我們所需要的關(guān)鍵詞。

用統(tǒng)計(jì)學(xué)語言表達(dá)，就是在詞頻的基礎(chǔ)上，要對(duì)每個(gè)詞分配一個(gè)'重要性'權(quán)重。最常見的詞（'的'、'是'、'在'）給予最小的權(quán)重，較常見的詞（'中國(guó)'）給予較小的權(quán)重，較少見的詞（'蜜蜂'、'養(yǎng)殖'）給予較大的權(quán)重。這個(gè)權(quán)重叫做'逆文檔頻率'（Inverse Document Frequency，縮寫為IDF），它的大小與一個(gè)詞的常見程度成反比。

知道了'詞頻'（TF）和'逆文檔頻率'（IDF）以后，將這兩個(gè)值相乘，就得到了一個(gè)詞的TF-IDF值。某個(gè)詞對(duì)文章的重要性越高，它的TF-IDF值就越大。所以，排在最前面的幾個(gè)詞，就是這篇文章的關(guān)鍵詞。

下面就是這個(gè)算法的細(xì)節(jié)。

第一步，計(jì)算詞頻。

考慮到文章有長(zhǎng)短之分，為了便于不同文章的比較，進(jìn)行'詞頻'標(biāo)準(zhǔn)化。

或者

第二步，計(jì)算逆文檔頻率。

這時(shí)，需要一個(gè)語料庫（corpus），用來模擬語言的使用環(huán)境。

如果一個(gè)詞越常見，那么分母就越大，逆文檔頻率就越小越接近0。分母之所以要加1，是為了避免分母為0（即所有文檔都不包含該詞）。log表示對(duì)得到的值取對(duì)數(shù)。

第三步，計(jì)算TF-IDF。

可以看到，TF-IDF與一個(gè)詞在文檔中的出現(xiàn)次數(shù)成正比，與該詞在整個(gè)語言中的出現(xiàn)次數(shù)成反比。所以，自動(dòng)提取關(guān)鍵詞的算法就很清楚了，就是計(jì)算出文檔的每個(gè)詞的TF-IDF值，然后按降序排列，取排在最前面的幾個(gè)詞。

還是以《中國(guó)的蜜蜂養(yǎng)殖》為例，假定該文長(zhǎng)度為1000個(gè)詞，'中國(guó)'、'蜜蜂'、'養(yǎng)殖'各出現(xiàn)20次，則這三個(gè)詞的'詞頻'（TF）都為0.02。然后，搜索Google發(fā)現(xiàn)，包含'的'字的網(wǎng)頁共有250億張，假定這就是中文網(wǎng)頁總數(shù)。包含'中國(guó)'的網(wǎng)頁共有62.3億張，包含'蜜蜂'的網(wǎng)頁為0.484億張，包含'養(yǎng)殖'的網(wǎng)頁為0.973億張。則它們的逆文檔頻率（IDF）和TF-IDF如下：

從上表可見，'蜜蜂'的TF-IDF值最高，'養(yǎng)殖'其次，'中國(guó)'最低。（如果還計(jì)算'的'字的TF-IDF，那將是一個(gè)極其接近0的值。）所以，如果只選擇一個(gè)詞，'蜜蜂'就是這篇文章的關(guān)鍵詞。

除了自動(dòng)提取關(guān)鍵詞，TF-IDF算法還可以用于許多別的地方。比如，信息檢索時(shí)，對(duì)于每個(gè)文檔，都可以分別計(jì)算一組搜索詞（'中國(guó)'、'蜜蜂'、'養(yǎng)殖'）的TF-IDF，將它們相加，就可以得到整個(gè)文檔的TF-IDF。這個(gè)值最高的文檔就是與搜索詞最相關(guān)的文檔。

TF-IDF算法的優(yōu)點(diǎn)是簡(jiǎn)單快速，結(jié)果比較符合實(shí)際情況。缺點(diǎn)是，單純以'詞頻'衡量一個(gè)詞的重要性，不夠全面，有時(shí)重要的詞可能出現(xiàn)次數(shù)并不多。而且，這種算法無法體現(xiàn)詞的位置信息，出現(xiàn)位置靠前的詞與出現(xiàn)位置靠后的詞，都被視為重要性相同，這是不正確的。（一種解決方法是，對(duì)全文的第一段和每一段的第一句話，給予較大的權(quán)重。）

文章來源：公眾號(hào)SEO實(shí)戰(zhàn)營(yíng)(ID：ilottecn)，原文鏈接：https://mp.weixin.qq.com/s/jKNsaEUXseubcSoPehHWwQ

本文來源：徐州酷優(yōu)網(wǎng)絡(luò)科技有限公司

本文網(wǎng)址：https:///host/2271.html

聲明，本站文章均為酷優(yōu)網(wǎng)絡(luò)原創(chuàng)或轉(zhuǎn)載，歡迎分享，轉(zhuǎn)載時(shí)請(qǐng)注明文章作者和“來源：徐州網(wǎng)站建設(shè)”并附本文鏈接