7. 請說明該如何評估機器學習模型的有效性。

1. 分割數據集

方法描述：

• 將數據集分為訓練集、驗證集和測試集。使用訓練集訓練模型，使用驗證集調整模型參數，使用測試集評估模型的最終性能。

優點：

• 有效地避免過度擬合，確保模型的泛化能力。

2. 交叉驗證（Cross-Validation）

方法描述：

• 將數據集分成 K 個子集，進行 K 次訓練和測試，每次使用 K-1 個子集進行訓練，剩下一個子集進行測試。常見的方法有 K 折交叉驗證（K-Fold Cross-Validation）。

優點：

• 提供對模型性能的更可靠估計，減少單次分割數據集帶來的偏差。

3. 性能評估指標

根據不同的問題類型（分類、回歸、聚類等），選擇適當的評估指標。

分類問題

1. 準確率（Accuracy）：

   • 比例：Accuracy=正確預測的數量總預測數量Accuracy=總預測數量正確預測的數量​
   • 適用：當類別平衡時效果較好。

2. 精確率（Precision）：

   • 比例：Precision=真正例真正例+假正例Precision=真正例+假正例真正例​
   • 適用：當假正例的代價較高時。

3. 召回率（Recall）：

   • 比例：Recall=真正例真正例+假負例Recall=真正例+假負例真正例​
   • 適用：當假負例的代價較高時。

4. F1 分數（F1 Score）：

   • 比例：?1=2×Precision×RecallPrecision+RecallF1=2×Precision+RecallPrecision×Recall​
   • 適用：當需要平衡精確率和召回率時。

5. ROC 曲線和 AUC（Area Under Curve）：

   • 描述：ROC 曲線顯示模型的真正例率（TPR）和假正例率（FPR）之間的權衡。
   • 適用：用於評估分類模型的判別能力。

回歸問題

1. 均方誤差（Mean Squared Error, MSE）：

   • 比例：???=1?∑?=1?(??−??^)2MSE=n1​∑i=1n​(yi​−yi​^​)2
   • 適用：對大誤差較敏感。

2. 均絕對誤差（Mean Absolute Error, MAE）：

   • 比例：???=1?∑?=1?∣??−??^∣MAE=n1​∑i=1n​∣yi​−yi​^​∣
   • 適用：對誤差的絕對值進行平均。

3. R^2 分數（R-squared Score）：

   • 比例：?2=1−∑?=1?(??−??^)2∑?=1?(??−?ˉ)2R2=1−∑i=1n​(yi​−yˉ​)2∑i=1n​(yi​−yi​^​)2​
   • 適用：衡量模型解釋變異的能力。

4. 混淆矩陣（Confusion Matrix）

方法描述：

• 使用混淆矩陣來可視化分類模型的性能。矩陣包含四個要素：真正例（TP）、假正例（FP）、假負例（FN）、真負例（TN）。

優點：

• 提供更詳細的分類性能評估，有助於識別模型在不同類別上的錯誤類型。

5. 偏差-方差權衡（Bias-Variance Tradeoff）

方法描述：

• 觀察模型的偏差（Bias）和方差（Variance），確保模型在訓練數據和測試數據上都有良好的表現。

優點：

• 有助於選擇合適的模型複雜度，防止過度擬合或欠擬合。

6. 學習曲線（Learning Curve）

方法描述：

• 繪製模型的學習曲線，顯示訓練和驗證集上的錯誤隨訓練樣本數量的變化。

優點：

• 有助於診斷模型的過度擬合或欠擬合情況。