第 一次聽說google的simhash算法[1]時，我感到很神奇。傳統的hash算法隻負責將原始內容盡量均勻隨機地映射為一個簽名值，原理上相當於偽 隨機數產生算法。傳統hash算法產生的兩個簽名，如果相等，說明原始內容在一定概率下是相等的；如果不相等，除了說明原始內容不相等外，不再提供任何信 息，因為即使原始內容隻相差一個字節，所產生的簽名也很可能差別極大。從這個意義上來說，要設計一個hash算法，對相似的內容產生的簽名也相近，是更為 艱難的任務，因為它的簽名值除了提供原始內容是否相等的信息外，還能額外提供不相等的原始內容的差異程度的信息。
因此當我知道google的simhash算法產生的簽名，可以用來比較原始內容的相似度時，便很想了解這種神奇的算法的原理。出人意料，這個算法並不深奧，其思想是非常清澈美妙的。
simhash算法的輸入是一個向量，輸出是一個f位的簽名值。為了陳述方便，假設輸入的是一個文檔的特征集合，每個特征有一定的權重。比如特征可以是文檔中的詞，其權重可以是這個詞出現的次數。simhash算法如下：
1，將一個f維的向量V初始化為0；f位的二進製數S初始化為0；
2，對每一個特征：用傳統的hash算法對該特征產生一個f位的簽名b。對i=1到f：
如果b的第i位為1，則V的第i個元素加上該特征的權重；
否則，V的第i個元素減去該特征的權重。
3，如果V的第i個元素大於0，則S的第i位為1，否則為0；
4，輸出S作為簽名。
這個算法的幾何意義非常明了。它首先將每一個特征映射為f維空間的一個向量，這個映射規則具體是怎樣並不重要，隻要對很多不同的特征來說，它們對所對應的向 量是均勻隨機分布的，並且對相同的特征來說對應的向量是唯一的就行。比如一個特征的4位hash簽名的二進製表示為1010，那麽這個特征對應的4維向量 就是(1, -1, 1, -1)T，即hash簽名的某一位為1，映射到的向量的對應位就為1，否則為-1。然後，將一個文檔中 所包含的各個特征對應的向量加權求和，加權的係數等於該特征的權重。得到的和向量即表征了這個文檔，我們可以用向量之間的夾角來衡量對應文檔之間的相似 度。最後，為了得到一個f位的簽名，需要進一步將其壓縮，如果和向量的某一維大於0，則最終簽名的對應位為1，否則為0。這樣的壓縮相當於隻留下了和向量 所在的象限這個信息，而64位的簽名可以表示多達264個象限，因此隻保存所在象限的信息也足夠表征一個文檔了。
明確了算法了幾何意義，使這個算法直觀上看來是合理的。但是，為何最終得到的簽名相近的程度，可以衡量原始文檔的相似程度呢？這需要一個清晰的思路和證明。 在simhash的發明人Charikar的論文中[2]並沒有給出具體的simhash算法和證明，以下列出我自己得出的證明思路。
Simhash是由隨機超平麵hash算法演變而來的，隨機超平麵hash算法非常簡單，對於一個n維向量v，要得到一個f位的簽名(f<<n)，算法如下：
1，隨機產生f個n維的向量r1,…rf； 2，對每一個向量ri，如果v與ri的點積大於0，則最終簽名的第i位為1，否則為0.
這 個算法相當於隨機產生了f個n維超平麵，每個超平麵將向量v所在的空間一分為二，v在這個超平麵上方則得到一個1，否則得到一個0，然後將得到的f個0或 1組合起來成為一個f維的簽名。如果兩個向量u, v的夾角為θ，則一個隨機超平麵將它們分開的概率為θ/π，因此u, v的簽名的對應位不同的概率等於θ/π。所以，我們可以用兩個向量的簽名的不同的對應位的數量，即漢明距離，來衡量這兩個向量的差異程度。
Simhash 算法與隨機超平麵hash是怎麽聯係起來的呢？在simhash算法中，並沒有直接產生用於分割空間的隨機向量，而是間接產生的：第k個特征的hash簽 名的第i位拿出來，如果為0，則改為-1，如果為1則不變，作為第i個隨機向量的第k維。由於hash簽名是f位的，因此這樣能產生f個隨機向量，對應f 個隨機超平麵。下麵舉個例子：
假設用5個特征w1,…,w5來表示所有文檔，現要得到任意文檔的一個3維簽名。假設這5個特征對應的3維向量分別為：
- h(w1) = (1, -1, 1)T
- h(w2) = (-1, 1, 1)T
- h(w3) = (1, -1, -1)T
- h(w4) = (-1, -1, 1)T
- h(w5) = (1, 1, -1)T
按simhash算法，要得到一個文檔向量
- d=(w1=1, w2=2, w3=0, w4=3, w5=0) T
的簽名，
先要計算向量
- m = 1*h(w1) + 2*h(w2) + 0*h(w3) + 3*h(w4) + 0*h(w5) = (-4, -2, 6) T，
然後根據simhash算法的步驟3，得到最終的簽名s=001。
上麵的計算步驟其實相當於，先得到3個5維的向量，第1個向量由h(w1),…,h(w5)的第1維組成：
- r1=(1,-1,1,-1,1) T；
第2個5維向量由h(w1),…,h(w5)的第2維組成：
- r2=(-1,1,-1,-1,1) T；
同理，第3個5維向量為：
r3=(1,1,-1,1,-1) T.
按隨機超平麵算法的步驟2，分別求向量d與r1,r2,r3的點積:
d T r1=-4 < 0，所以s1=0;
d T r2=-2 < 0，所以s2=0;
d T r3=6 > 0，所以s3=1.
故最終的簽名s=001，與simhash算法產生的結果是一致的。
從上麵的計算過程可以看出，simhash算法其實與隨機超平麵hash算法是相同的，simhash算法得到的兩個簽名的漢明距離，可以用來衡量原始向量 的夾角。這其實是一種降維技術，將高維的向量用較低維度的簽名來表征。衡量兩個內容相似度，需要計算漢明距離，這對給定簽名查找相似內容的應用來說帶來了 一些計算上的困難；我想，是否存在更為理想的simhash算法，原始內容的差異度，可以直接由簽名值的代數差來表示呢？
附參考文獻：
[1] Detecting near-duplicates for web crawling.
[2] Similarity estimation techniques from rounding algorithms.
[3] http://en.wikipedia.org/wiki/Locality_sensitive_hashing
[4] http://www.coolsnap.net/kevin/?p=23
原文來自cnblogs的linecong用戶2010/08/28發布的文章，感謝原創的貢獻。不過原文已經死鏈，所以這裏去掉了原文鏈接, qingchuan於2017年03月10號。