IsolationForest example
此範例介紹IsolationForest(隔離森林、孤立森林)的使用方式及其效果,使用IsolationForest會回傳每個樣本的異常分數
IsolationForest是用於異常檢測的unsupervised learning(無監督學習)算法,適合用於大規模連續數據(網路資安和流量異常、金融機構),其工作原理是隔離異常樣本(可以理解為分布稀疏且離密度高的群體較遠的點)
和RandomForest(隨機森林)類似,但在建立iTree時,每次選擇劃分條件及劃分點時都是隨機的,而不是根據樣本內容或是樣本相關資訊
在建立iTree的過程中,如果一些樣本很快就到達了leaf節點(即leaf到root的距離d很短),那就很有可能是異常點。因為那些路徑d比較短的樣本,都是距離主要的樣本中心比較遠的點。因此可以透過計算樣本在所有樹中的平均路徑長度來尋找異常點

(一)引入函式庫

    numpy : 產生陣列數值
    matplotlib.pyplot : 用來繪製影像
    sklearn.ensemble import IsolationForest : 匯入隔離森林算法
1
import numpy as np
2
import matplotlib.pyplot as plt
3
from sklearn.ensemble import IsolationForest
Copied!

(二)產生訓練樣本

    np.random.RandomState(seed) : 產生偽隨機數,當seed值相同時,產生的數值為一樣
    np.r_[] : 將數據沿第一個軸相連接
    rng.uniform() : 隨機數產生
1
rng = np.random.RandomState(42)
2
3
# Generate train data
4
X = 0.3 * rng.randn(100, 2) # 生成100筆基礎資料
5
X_train = np.r_[X + 2, X - 2] # 將+,-2的資料相連接成為一筆(200,2)
6
# Generate some regular novel observations
7
X = 0.3 * rng.randn(20, 2) # 生成20筆新的正常資料
8
X_test = np.r_[X + 2, X - 2] # 將+,-2的資料相連接成為一筆(40,2)
9
# Generate some abnormal novel observations
10
X_outliers = rng.uniform(low=-4, high=4, size=(20, 2)) # 生成20筆新的異常資料,藉由亂數產生
Copied!

(三)IsolationForest model

    IsolationForest(n_estimators=100, max_samples='auto', contamination='auto', max_features=1.0, bootstrap=False, n_jobs=None, behaviour='deprecated', random_state=None, verbose=0, warm_start=False)
    n_estimators : 森林中樹的棵樹
    max_samples : 每棵樹中的樣本數量
    contamination : 設置樣本中異常
    max_features : 每顆樹中特徵個數或比例
    random_state : 隨機數與random_seed作用相同
    fit() : 擬合資料
    predict() : 預測資料
1
# fit the Model
2
clf = IsolationForest(max_samples=100, random_state=rng)
3
clf.fit(X_train)
4
y_pred_train = clf.predict(X_train)
5
y_pred_test = clf.predict(X_test)
6
y_pred_outliers = clf.predict(X_outliers)
Copied!

(四)繪製結果

    np.meshgrid() : 從給定的座標向量回傳座標矩陣
    np.linspace(start, stop, num) : 回傳指定間格內的數值
    numpy.c_[] : 將數據沿第二個軸相連接
    plt.contourf() : 繪製輪廓
    plt.scatter() : 繪製x與y的散點圖,其中標記大小和顏色不同
    最後用下面的程式將所有點繪製出來
1
xx, yy = np.meshgrid(np.linspace(-5, 5, 50), np.linspace(-5, 5, 50))
2
Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()])
3
Z = Z.reshape(xx.shape)
4
5
plt.title("IsolationForest")
6
plt.contourf(xx, yy, Z, cmap=plt.cm.Blues_r)
7
8
b1 = plt.scatter(X_train[:, 0], X_train[:, 1], c='white',
9
s=20, edgecolor='k') # 100筆正常基礎資料標示為白色
10
b2 = plt.scatter(X_test[:, 0], X_test[:, 1], c='green',
11
s=20, edgecolor='k') # 20筆新的正常資料標示為綠色
12
c = plt.scatter(X_outliers[:, 0], X_outliers[:, 1], c='red',
13
s=20, edgecolor='k') # 20筆新的異常資料標示為紅色
14
plt.axis('tight')
15
plt.xlim((-5, 5))
16
plt.ylim((-5, 5))
17
plt.legend([b1, b2, c],
18
["training observations",
19
"new regular observations", "new abnormal observations"],
20
loc="upper left")
21
plt.show()
Copied!

(五)完整程式碼

1
print(__doc__)
2
3
import numpy as np
4
import matplotlib.pyplot as plt
5
from sklearn.ensemble import IsolationForest
6
7
rng = np.random.RandomState(42)
8
9
# Generate train data
10
X = 0.3 * rng.randn(100, 2)
11
X_train = np.r_[X + 2, X - 2]
12
# Generate some regular novel observations
13
X = 0.3 * rng.randn(20, 2)
14
X_test = np.r_[X + 2, X - 2]
15
# Generate some abnormal novel observations
16
X_outliers = rng.uniform(low=-4, high=4, size=(20, 2))
17
18
# fit the model
19
clf = IsolationForest(max_samples=100, random_state=rng)
20
clf.fit(X_train)
21
y_pred_train = clf.predict(X_train)
22
y_pred_test = clf.predict(X_test)
23
y_pred_outliers = clf.predict(X_outliers)
24
25
# plot the line, the samples, and the nearest vectors to the plane
26
xx, yy = np.meshgrid(np.linspace(-5, 5, 50), np.linspace(-5, 5, 50))
27
Z = clf.decision_function(np.c_[xx.ravel(), yy.ravel()])
28
Z = Z.reshape(xx.shape)
29
30
plt.title("IsolationForest")
31
plt.contourf(xx, yy, Z, cmap=plt.cm.Blues_r)
32
33
b1 = plt.scatter(X_train[:, 0], X_train[:, 1], c='white',
34
s=20, edgecolor='k')
35
b2 = plt.scatter(X_test[:, 0], X_test[:, 1], c='green',
36
s=20, edgecolor='k')
37
c = plt.scatter(X_outliers[:, 0], X_outliers[:, 1], c='red',
38
s=20, edgecolor='k')
39
plt.axis('tight')
40
plt.xlim((-5, 5))
41
plt.ylim((-5, 5))
42
plt.legend([b1, b2, c],
43
["training observations",
44
"new regular observations", "new abnormal observations"],
45
loc="upper left")
46
plt.show()
Copied!
Last modified 1yr ago