IsolationForest example

https://scikit-learn.org/stable/auto_examples/ensemble/plot_isolation_forest.html#sphx-glr-auto-examples-ensemble-plot-isolation-forest-py

此範例介紹IsolationForest(隔離森林、孤立森林)的使用方式及其效果,使用IsolationForest會回傳每個樣本的異常分數

IsolationForest是用於異常檢測的unsupervised learning(無監督學習)算法,適合用於大規模連續數據(網路資安和流量異常、金融機構),其工作原理是隔離異常樣本(可以理解為分布稀疏且離密度高的群體較遠的點)

和RandomForest(隨機森林)類似,但在建立iTree時,每次選擇劃分條件及劃分點時都是隨機的,而不是根據樣本內容或是樣本相關資訊

在建立iTree的過程中,如果一些樣本很快就到達了leaf節點(即leaf到root的距離d很短),那就很有可能是異常點。因為那些路徑d比較短的樣本,都是距離主要的樣本中心比較遠的點。因此可以透過計算樣本在所有樹中的平均路徑長度來尋找異常點

(一)引入函式庫

  • numpy : 產生陣列數值

  • matplotlib.pyplot : 用來繪製影像

  • sklearn.ensemble import IsolationForest : 匯入隔離森林算法

import numpy as np
import matplotlib.pyplot as plt
from sklearn.ensemble import IsolationForest

(二)產生訓練樣本

  • np.random.RandomState(seed) : 產生偽隨機數,當seed值相同時,產生的數值為一樣

  • np.r_[] : 將數據沿第一個軸相連接

  • rng.uniform() : 隨機數產生

rng = np.random.RandomState(42)
# Generate train data
X = 0.3 * rng.randn(100, 2) # 生成100筆基礎資料
X_train = np.r_[X + 2, X - 2] # 將+,-2的資料相連接成為一筆(200,2)
# Generate some regular novel observations
X = 0.3 * rng.randn(20, 2) # 生成20筆新的正常資料
X_test = np.r_[X + 2, X - 2] # 將+,-2的資料相連接成為一筆(40,2)
# Generate some abnormal novel observations
X_outliers = rng.uniform(low=-4, high=4, size=(20, 2)) # 生成20筆新的異常資料,藉由亂數產生

(三)IsolationForest model

  • IsolationForest(n_estimators=100, max_samples='auto', contamination='auto', max_features=1.0, bootstrap=False, n_jobs=None, behaviour='deprecated', random_state=None, verbose=0, warm_start=False)

  • n_estimators : 森林中樹的棵樹

  • max_samples : 每棵樹中的樣本數量

  • contamination : 設置樣本中異常

  • max_features : 每顆樹中特徵個數或比例

  • random_state : 隨機數與random_seed作用相同

  • fit() : 擬合資料

  • predict() : 預測資料

# fit the Model
clf = IsolationForest(max_samples=100, random_state=rng)
clf.fit(X_train)
y_pred_train = clf.predict(X_train)
y_pred_test = clf.predict(X_test)
y_pred_outliers = clf.predict(X_outliers)

(四)繪製結果

  • np.meshgrid() : 從給定的座標向量回傳座標矩陣

  • np.linspace(start, stop, num) : 回傳指定間格內的數值

  • numpy.c_[] : 將數據沿第二個軸相連接

  • plt.contourf() : 繪製輪廓

  • plt.scatter() : 繪製x與y的散點圖,其中標記大小和顏色不同

    最後用下面的程式將所有點繪製出來

xx, yy = np.meshgrid(np.linspace(-5, 5, 50), np.linspace(-5, 5, 50))
Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.title("IsolationForest")
plt.contourf(xx, yy, Z, cmap=plt.cm.Blues_r)
b1 = plt.scatter(X_train[:, 0], X_train[:, 1], c='white',
s=20, edgecolor='k') # 100筆正常基礎資料標示為白色
b2 = plt.scatter(X_test[:, 0], X_test[:, 1], c='green',
s=20, edgecolor='k') # 20筆新的正常資料標示為綠色
c = plt.scatter(X_outliers[:, 0], X_outliers[:, 1], c='red',
s=20, edgecolor='k') # 20筆新的異常資料標示為紅色
plt.axis('tight')
plt.xlim((-5, 5))
plt.ylim((-5, 5))
plt.legend([b1, b2, c],
["training observations",
"new regular observations", "new abnormal observations"],
loc="upper left")
plt.show()

(五)完整程式碼

https://scikit-learn.org/stable/_downloads/a48f0894575e256740089d572cff3acd/plot_isolation_forest.py

print(__doc__)
import numpy as np
import matplotlib.pyplot as plt
from sklearn.ensemble import IsolationForest
rng = np.random.RandomState(42)
# Generate train data
X = 0.3 * rng.randn(100, 2)
X_train = np.r_[X + 2, X - 2]
# Generate some regular novel observations
X = 0.3 * rng.randn(20, 2)
X_test = np.r_[X + 2, X - 2]
# Generate some abnormal novel observations
X_outliers = rng.uniform(low=-4, high=4, size=(20, 2))
# fit the model
clf = IsolationForest(max_samples=100, random_state=rng)
clf.fit(X_train)
y_pred_train = clf.predict(X_train)
y_pred_test = clf.predict(X_test)
y_pred_outliers = clf.predict(X_outliers)
# plot the line, the samples, and the nearest vectors to the plane
xx, yy = np.meshgrid(np.linspace(-5, 5, 50), np.linspace(-5, 5, 50))
Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.title("IsolationForest")
plt.contourf(xx, yy, Z, cmap=plt.cm.Blues_r)
b1 = plt.scatter(X_train[:, 0], X_train[:, 1], c='white',
s=20, edgecolor='k')
b2 = plt.scatter(X_test[:, 0], X_test[:, 1], c='green',
s=20, edgecolor='k')
c = plt.scatter(X_outliers[:, 0], X_outliers[:, 1], c='red',
s=20, edgecolor='k')
plt.axis('tight')
plt.xlim((-5, 5))
plt.ylim((-5, 5))
plt.legend([b1, b2, c],
["training observations",
"new regular observations", "new abnormal observations"],
loc="upper left")
plt.show()