机器学习模型评估方法

一、回归模型评估

1.1、平均绝对误差 MAE（mean absolute error）

• 优点：直观地反映回归模型的预测值与实际值之间的偏差。准确地反映实际预测误差的大小。不会出现平均误差中误差符号不同而导致的正负相互抵消。

• 缺点：不能反映预测的无偏性（估算的偏差就是估计值的期望与真实值的差值。无偏就要求估计值的期望就是真实值）。

1.2、平均绝对百分误差 MAPE（Mean Absolute Percentage Error）

1.3、均方误差 MSE（mean squared error）

• 优点：准确地反映实际预测误差的大小。放大预测偏差较大的值。比较不同预测模型的稳定性。

• 缺点：不能反映预测的无偏性。

1.4、均方根误差 RMSE（root mean squared error）

1.5、决定系数

• SSR：Sum of Squares of the Regression，即预测数据与原始数据均值之差的平方和，反映的是模型相对原始数据均值的离散程度。

• SST：Total Sum of Squares，即原始数据和均值之差的平方和，反映的是原始数据相对均值的离散程度。

• SSE：Sum of Squares for Error，残差平方和，原始数据和预测数据之差的平方和。

1.6、校正决定系数

1.7、选择

1.8、sklearn 实现

from sklearn.metrics import mean_absolute_error   # 平均绝对误差
from sklearn.metrics import mean_absolute_percentage_error   # 平均绝对百分误差
from sklearn.metrics import mean_squared_error   # 均方误差
from sklearn.metrics import r2_score   # 决定系数

mean_absolute_error(y_true, y_pred, sample_weight=None, multioutput='uniform_average')
mean_squared_error(y_true, y_pred, sample_weight=None, multioutput='uniform_average')
np.sqrt(mean_squared_error(y_test,y_pred))   # 均方根误差
mean_absolute_percentage_error(y_true, y_pred)
r2_score(y_true, y_pred, sample_weight=None, multioutput='uniform_average')

二、二分类模型评估

2.1、TP、TN、FP、FN解释说明（二分类混淆矩阵）

• TP：True Positive, 被判定为正样本，事实上也是正样本。

• FP：False Positive,被判定为正样本，但事实上是负样本。

• TN：True Negative, 被判定为负样本，事实上也是负样本。

• FN：False Negative,被判定为负样本，但事实上是正样本。

2.1、准确率（Accuracy）

2.2、precision（精确率、查准率）

2.3、recall（召回率、查全率）

2.4、F-Score

• 当β=1时，称为 F1-score或者 F1-Measure，这时，精确率和召回率都很重要，权重相同。

• 当有些情况下，我们认为精确率更重要些，那就调整β的值小于1，

• 如果我们认为召回率更重要些，那就调整β的值大于1。

2.4.1、F1-Score

Accuracy = (9+9980) /10000=99.89% 
Precision=9/19+10)= 47.36% 
F1-score=2×(47.36% × 90%)/(1×47.36%+90%)=62.07% 
F2-score=5× (47.36% × 90%)/(4×47.36%+90%)=76. 27%

2.5、PR曲线 & AUC-PR

2.5.1、PR曲线（Precision-Recall Curve）

• 若一个学习器的P-R曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者，如图中学习器A的性能优于学习器C；

• 如果两个学习器的P-R曲线发生了交叉,如图中的A与B，则难以一般性地断言两者孰优孰劣？ 只能在具体的查准率或查全率条件下进行比较．

2.5.2、AUC-PR（Area Under the Precision-Recall Curve）

2.6、ROC曲线 & ROC-AUC

2.26.1、ROC曲线（Receiver Operating Characteristic Curve）

2.6.2、ROC-AUC

• 当AUC=1的时候，表示模型能把类别完全分开

• 当AUC在0.5到1之间的时候，表示模型对一部分数据的区分能力较差

• 当AUC=0.5的时候，表示模型能力最差，完全随机的在预测数据。

• 当AUC在0到0.5之间的时候，表示模型能力也是较好，只是预测的结果符号相反。模型将正样本预测成了负样本，将负样本预测成了正样本。这个时候可以将模型的结果进行转换。

• 当AUC=0的时候，表示模型也能把类别完全分开，只是预测的结果符号完全相反。

2.7、ROC与PR的选择

• PR曲线更适用于不平衡类别分布的问题，关注模型对正类样本的预测性能。当正类样本较少或关注查准率较高时，PR曲线更能反映模型的性能。

• ROC曲线对于平衡类别分布的问题更为常用，关注模型在正负样本之间的区分能力。当正负样本比例接近或关注查全率和查准率的平衡时，ROC曲线更能展示模型的性能。

2.8、sklearn 实现

from sklearn.metrics import accuracy_score    # 准确率
from sklearn.metrics import precision_score   # 精确率
from sklearn.metrics import recall_score      # 召回率
from sklearn.metrics import f1_score          # f1

from sklearn.metrics import auc                         # 根据输入的不同，可以计算AUC-ROC，也可以计算AUC-PR
from sklearn.metrics import roc_curve                   # ROC 曲线
from sklearn.metrics import roc_auc_score               # AUC-ROC
from sklearn.metrics import precision_recall_curve      # PR 曲线
from sklearn.metrics import average_precision_score     # AUC-PR


y_true = np.array([0, 0, 1, 1])
y_pred = np.array([0.1, 0.4, 0.35, 0.8])
y_lable = (y_pred>=0.5)*1        # 将概率转换成标签
print(y_lable)   # [0 0 0 1]

# AUC 计算方法一，先获取曲线返回值，再算 AUC
fpr, tpr, thresholds = roc_curve(y_true, y_pred, pos_label=1)      # ROC 曲线，返回fpr, tpr，阈值。pos_label:正样本标签,如果是{0,1}则这里是1
roc_auc = auc(fpr, tpr)
precision, recall, thresholds = precision_recall_curve(y_true, y_pred)   # pr曲线，返回精确率，召回率，阈值
pr_auc = auc(recall, precision)

# AUC 计算方法二，直接计算（计算的时候需要概率而不是标签）
roc_auc = roc_auc_score(y_true, y_pred)             # roc_auc
pr_auc = average_precision_score(y_true, y_pred)    # pr_auc

# 其他指标计算
a = accuracy_score(y_true, y_lable)    # 准确率,需要将概率转换成标签
p = precision_score(y_true, y_lable)   # 精确率,需要将概率转换成标签
r = recall_score(y_true, y_lable)      # 召回率,需要将概率转换成标签
f1 = f1_score(y_true, y_lable)         # f1值,需要将概率转换成标签

print('roc_auc:',roc_auc)
print('pr_auc:',pr_auc)
print('准确率:',a)
print('精确率:',p)
print('召回率:',r)
print('f1值:',f1)

三、多分类模型评估

3.1、混淆矩阵

3.2、宏平均（macro-average）

3.3、加权平均（Weighted-average）

3.3、微平均（micro-average）

3.4、sklearn 实现

a = accuracy_score(y_true, y_lable)    # 准确率,需要将概率转换成标签
p = precision_score(y_true, y_lable, average=)   # 精确率,需要将概率转换成标签
r = recall_score(y_true, y_lable, average=)      # 召回率,需要将概率转换成标签
f1 = f1_score(y_true, y_lable, average=)         # f1值,需要将概率转换成标签
# average：{‘micro’, ‘macro’, ‘samples’, ‘weighted’, ‘binary’} or None, default=’binary’
# micro：微平均
# macro：宏平均
# weighted：加权平均
# samples：含义未知


auc2 = roc_auc_score(y_true, y_pred, average=)   # 计算的时候使用预测的概率
# average{‘micro’, ‘macro’, ‘samples’, ‘weighted’} or None, default=’macro’

四、聚类模型评估

4.1、方差比

from sklearn import metrics
metrics.calinski_harabaz_score(X, y_pred)

4.2、轮廓系数

from sklearn import metrics
metrics.silhouette_samples(X, y_pred, etric='euclidean')
"""
metric  ： 计算要素阵列中实例之间的距离时使用的度量。默认是euclidean（欧氏距离）。
如果metric是字符串，则必须是允许的选项之一metrics.pairwise.pairwise_distances。如果X是距离数组本身，请使用metric="precomputed"。

"""

4.3、更多聚类评估指标

Sklearn

ChatGPT

推荐阅读：

• ROC曲线和AUC计算

• 机器学习中几种常见的模型评价指标

• 图解机器学习 | 模型评估方法与准则

• 分类模型的评估方法-F分数(F-Score)

• 多分类模型Accuracy, Precision, Recall和F1-score的超级无敌深入探讨