Spark機器學習庫指南[Spark 1.3.1版]——聚類(Clustering)

聚類是一個無監督學習問題，我們基於相似的特性將數據分組成多個子集。聚類通常用於探索性分析或者作為分層監督學習管道（每個簇訓練不同的分類或者回歸模型）的組件。

MLlib支持下麵的幾個模型：

• K均值(K-means)
• 高斯混合(Gaussian mixture)
• 冪迭代聚類(Power iteration clustering (PIC))
• 隱含狄利克雷分布(Latent Dirichlet allocation (LDA))
• 流式K均值(Streaming k-means)

K均值(K-means)

K均值(k-means)是最通用的聚類算法之一，該算法將數據點聚類為指定數量的簇(注：基本算法原理是隨機挑選N個中心點，每輪計算所有點到中心點的距離，並將點放到最近的中心，然後均值更新中心點，然後重複上述過程直至收斂，收斂的判斷依據是距離閾值)。MLLib的實現包含了 k-means++的並行計算變體，該算法也叫kmeans||。它有下列參數：

• k 需要聚簇的數量
• maxIterations 最大迭代次數
• initializationMode 指定初始化的模式，可以是隨機初始化也可以是k-means||初始化 （k-means||初始化不全是隨機選點，而是使用一個算法使選的點盡可能分散）.
• runs 執行K均值聚簇算法的次數  (k-means不保證能找到全局最優解，同一數據集上執行多次的話，可以返回更好的聚簇結果）。
• initializationSteps 使用k-means|| 算法選初始點時最多迭代的次數.
• epsilon 判定k-means是否收斂的距離閾值（聚簇中心前後兩次的差值小於epsilon即達到收斂條件）

補充1：kmeans的損失函數。其中(x₁, x₂, …, x_n)是點集，每個點是d維向量，S是聚類的k個簇,μ_i 是S_i 中所有點的均值）。這個損失函數也叫WSSS( within set sum of square)

補充2：kmeans++方法：

kmeans++算法的主要工作體現在種子點的選擇上，基本原則是使得各個種子點之間的距離盡可能的大，但是又得排除噪聲的影響。 以下為基本思路：[1]

1、從輸入的數據點集合（要求有k個聚類）中隨機選擇一個點作為第一個聚類中心
2、對於數據集中的每一個點x，計算它與最近聚類中心(指已選擇的聚類中心)的距離D(x)
3、選擇一個新的數據點作為新的聚類中心，選擇的原則是：D(x)較大的點，被選取作為聚類中心的概率較大
4、重複2和3直到k個聚類中心被選出來
5、利用這k個初始的聚類中心來運行標準的k-means算法

from pyspark.mllib.clustering import KMeans
from numpy import array
from math import sqrt

# Load and parse the data
data = sc.textFile("data/mllib/kmeans_data.txt")
parsedData = data.map(lambda line: array([float(x) for x in line.split(' ')]))

# Build the model (cluster the data)
clusters = KMeans.train(parsedData, 2, maxIterations=10,
        runs=10, initializationMode="random")

# Evaluate clustering by computing Within Set Sum of Squared Errors
def error(point):
    center = clusters.centers[clusters.predict(point)]
    return sqrt(sum([x**2 for x in (point - center)]))

WSSSE = parsedData.map(lambda point: error(point)).reduce(lambda x, y: x + y)
print("Within Set Sum of Squared Error = " + str(WSSSE))

高斯混合

高斯混合模型 表達的是一種混合分布，所有點都來自於k個高斯子分布中的一個，每個點都對應一個相應的概率。在MLlib的實現中，對於給定的樣本集，使用最大期望算法(EM)來引導最大似然模型。算法實現由下列參數：

• k 目標聚簇數量
• convergenceTol 兩次迭代損失(log-likelihood)變化的容忍度.
• maxIterations 收斂之前可以運行的最大迭代次數
• seed 隨機數的種子。

補充：

多維度（多分量）數據的高斯混合聚類原理：

目標函數是log似然函數(log-likelihood):

相關符號說明：

• πk : 第k個分布被選中的概率。
• uk:  第k個分布的均值向量(維度是d)。
• Σk:  第k個分布的協方差矩陣(d x d的矩陣)。
• N(xi |u_k , Σ_k)是多分量高斯分布的概率密度函數。

1. 初始化：為πk , uk , Σk生成隨機初始值。(滿足約束：K個πk的和為1)

2. Expectation計算：估計樣本由每個高斯分布生成的概率：對於數據x它由k個分布生成的概率為(第二個等式是D維變量的高斯密度函數)：