基本概念首先,要记住的一些概念是加速、复制、回复、TP、FP、TN、FN
TP :真定位。 预测是正确的正样本
FP:false positive。 预测是错误的正样本
TN:true negative。 预测是正确的负样本
FP:false positive。 预测是错误的负样本
通常,我们会建立这样的混淆矩阵。
positivenegativepositivetruepositivefalsepositivenegativefalsenegativetruetruenegative
左边的positive,negative表示样本的真实值,表格上面的positive,negative表示样本的预测结果。
现在有这样的例子。 假设图中的TP、FP等为一个比例,共计有100个样本。 40个是TP,20个是FP……。 但是,混淆矩阵一般不需要除以总样本数)
现在我们有了
准确率Accuracy 准确率是指,对于给定的测试数据集,分类器正确分类的样本书与总样本数之比,也就是预测正确的概率。
对应于以上示例,可以得到Accuracy=0.7。
【准确率Accuracy的弊端】
精度作为我们最常用的指标,在出现样本不平衡的情况下,不能合理反映模型的预测能力。 举例来说,假设测试数据集具有90%的正样本和10%的负样本,且模型的所有预测结果都是正样本,则此时的精度为90%,但模型对负样本没有识别能力,此时的预测结果为正样本
准确率Precision 表示预测为正的样本中,实际的正样本的数量。
对应于上面的例子。
【个人理解】
Precision是针对预测结果的。 在预测结果中,预测为正的样本中预测正确的概率。 *类似于一个考生在试卷上写的答案中,有多正确。 *表示模型的精度,模型表示“要说哪个正确,就是正确的。
召回率Recall Recall表示实际为正的样本被判断为正样本的比例对应上述例子得到
【个人理解】
Recall是用于数据示例的。 在数据样本中,正样本预测了正确的概率。类似于一个考生在考卷上回答了多少题体现了一个模型的全面性,模型说:“都是正确的我能找到。
F1 score Precision和Recall是不一致的度量,通常,较高的Precision往往会导致较低的Recall值。 如果Precision值较低,则Recall值往往较高。 如果分类可靠,则Precision较高;如果分类不可靠,则Recall较高。 为了能够综合考虑这两个指标,提出了f-measure precision和Recall的加权调和平均),即
F1的核心思想是,在尽量提高Precision和Recall的同时,尽量缩小两者的差异。 F1-score适用于二分类问题,对于多分类问题,推广二分类的F1-score,有Micro-F1和Macro-F1两种度量。
【Micro-F1】
统计各类别的TP、FP、FN、TN,加上新的TP、FP、FN、TN构成,计算Micro-Precision和Micro-Recall得到Micro-F1。 具体来说,统计各类别的混淆矩阵,然后“相加”混淆矩阵得到多类的混淆矩阵,然后计算F1score
【Macro-F1】
我认为更常用的是Macro-F1。 统计各类别的TP、FP、FN、TN,计算各自的Precision和Recall,得到各自的F1值,取平均值得到Macro-F1
【总结】
从上述两者的计算方式可以看出,Macro-F1平等看待各个范畴,其值受稀有范畴的影响; Micro-F1容易受到一般类别的影响。
参考:
[1] 3358 ZJ MMF.com/2019/08/13/f1-score计算/
[2] https://珠兰.智惠.com/p/49895905
初学者人工智能入门课程和资料下载机器学习和深度学习笔记等资料印刷机器学习在线手册深度学习笔记专辑《统计学习方法》代码再现专辑AI基础下载机器学习数学基础专辑获得1折本站知识星优惠券,链接要加入微信群,请扫描代码进入群:
168飞艇6种不亏钱的方法了能够综合考虑这两个指标,提出了f-measure precision和Recall的加权调和平均),即
F1的核心思想是,在尽量提高Precision和Recall的同时,尽量缩小两者的差异。 F1-score适用于二分类问题,对于多分类问题,推广二分类的F1-score,有Micro-F1和Macro-F1两种度量。
【Micro-F1】
统计各类别的TP、FP、FN、TN,加上新的TP、FP、FN、TN构成,计算Micro-Precision和Micro-Recall得到Micro-F1。 具体来说,统计各类别的混淆矩阵,然后“相加”混淆矩阵得到多类的混淆矩阵,然后计算F1score
【Macro-F1】
我认为更常用的是Macro-F1。 统计各类别的TP、FP、FN、TN,计算各自的Precision和Recall,得到各自的F1值,取平均值得到Macro-F1
【总结】
从上述两者的计算方式可以看出,Macro-F1平等看待各个范畴,其值受稀有范畴的影响; Micro-F1容易受到一般类别的影响。
参考:
[1] 3358 ZJ MMF.com/2019/08/13/f1-score计算/
[2] https://珠兰.智惠.com/p/49895905
初学者人工智能入门课程和资料下载机器学习和深度学习笔记等资料印刷机器学习在线手册深度学习笔记专辑《统计学习方法》代码再现专辑AI基础下载机器学习数学基础专辑获得1折本站知识星优惠券,链接要加入微信群,请扫描代码进入群: