machine-learning
Search…
Ex 1: Decision Tree Regression
範例目的
此範例利用Decision Tree從數據中學習一組if-then-else決策規則，逼近加有雜訊的sine curve，因此它模擬出局部的線性迴歸以近似sine curve。 若決策樹深度越深(可由max_depth參數控制)，則決策規則越複雜，模型也會越接近數據，但若數據中含有雜訊，太深的樹就有可能產生過擬合的情形。 此範例模擬了不同深度的樹，當用帶有雜點的數據可能造成的情況。
(一)引入函式庫及建立隨機數據資料
引入函式資料庫
matplotlib.pyplot：用來繪製影像。sklearn.tree import DecisionTreeRegressor：利用決策樹方式建立預測模型。
特徵資料
np.random()：隨機產生介於0~1之間的亂數RandomState.rand(d0,d1,..,dn)：給定隨機亂數的矩陣形狀np.sort將資料依大小排序。
目標資料
np.sin(X)：以X做為徑度，計算出相對的sine值。ravel()：輸出連續的一維矩陣。y[::5] += 3 * (0.5 - rng.rand(16))：為目標資料加入雜訊點。
1
import numpy as np
2
from sklearn.tree import DecisionTreeRegressor
3
import matplotlib.pyplot as plt
4
5
rng = np.random.RandomState(1)
6
X = np.sort(5* rng.rand(80, 1), axis=0) #0~5之間隨機產生80個數值
7
8
y = np.sin(X).ravel()
9
y[::5] += 3 * (0.5 - rng.rand(16)) #每5筆資料加入一個雜訊
Copied!
(二)建立Decision Tree迴歸模型
建立模型
DecisionTreeRegressor(max_depth = 最大深度)：DecisionTreeRegressor建立決策樹回歸模型。max_depth決定樹的深度，若為None則所有節點被展開。此範例會呈現不同max_depth對預測結果的影響。
模型訓練
fit(特徵資料, 目標資料)：利用特徵資料及目標資料對迴歸模型進行訓練。
預測結果
np.arrange(起始點, 結束點, 間隔)：np.arange(0.0, 5.0, 0.01)在0~5之間每0.01取一格，建立預測輸入點矩陣。np.newaxis：增加矩陣維度。predict(輸入矩陣)：對訓練完畢的模型測試，輸出為預測結果。
1
regr_1 = DecisionTreeRegressor(max_depth=2) #最大深度為2的決策樹
2
regr_2 = DecisionTreeRegressor(max_depth=5) #最大深度為5的決策樹
3
4
regr_1.fit(X, y)
5
regr_2.fit(X, y)
6
7
X_test = np.arange(0.0, 5.0, 0.01)[:, np.newaxis]
8
y_1 = regr_1.predict(X_test)
9
y_2 = regr_2.predict(X_test)
Copied!
(三) 繪出預測結果與實際目標圖
plt.scatter(X,y)：將X、y以點的方式繪製於平面上，c為數據點的顏色，label為圖例。plt.plot(X,y)：將X、y以連線方式繪製於平面上，color為線的顏色，label為圖例，linewidth為線的寬度。
1
plt.figure()
2
plt.scatter(X, y, c="darkorange", label="data")
3
plt.plot(X_test, y_1, color="cornflowerblue", label="max_depth=2", linewidth=2)
4
plt.plot(X_test, y_2, color="yellowgreen", label="max_depth=5", linewidth=2)
5
plt.xlabel("data") #x軸代表data數值
6
plt.ylabel("target") #y軸代表target數值
7
plt.title("Decision Tree Regression") #標示圖片的標題
8
plt.legend() #繪出圖例
9
plt.show()
Copied!
(四)完整程式碼
1
print(__doc__)
2
3
# Import the necessary modules and libraries
4
import numpy as np
5
from sklearn.tree import DecisionTreeRegressor
6
import matplotlib.pyplot as plt
7
8
# Create a random dataset
9
rng = np.random.RandomState(1)
10
X = np.sort(5 * rng.rand(80, 1), axis=0)
11
y = np.sin(X).ravel()
12
y[::5] += 3 * (0.5 - rng.rand(16))
13
14
# Fit regression model
15
regr_1 = DecisionTreeRegressor(max_depth=2)
16
regr_2 = DecisionTreeRegressor(max_depth=5)
17
regr_1.fit(X, y)
18
regr_2.fit(X, y)
19
20
# Predict
21
X_test = np.arange(0.0, 5.0, 0.01)[:, np.newaxis]
22
y_1 = regr_1.predict(X_test)
23
y_2 = regr_2.predict(X_test)
24
25
# Plot the results
26
plt.figure()
27
plt.scatter(X, y, c="darkorange", label="data")
28
plt.plot(X_test, y_1, color="cornflowerblue", label="max_depth=2", linewidth=2)
29
plt.plot(X_test, y_2, color="yellowgreen", label="max_depth=5", linewidth=2)
30
plt.xlabel("data")
31
plt.ylabel("target")
32
plt.title("Decision Tree Regression")
33
plt.legend()
34
plt.show()
Copied!
Last modified 3yr ago