1、confusion matrix

confusion matrix發(fā)音

英：　　美：

confusion matrix中文意思翻譯

含混矩陣

[計]混淆矩陣

confusion matrix雙語使用場景

1、And precision evaluation was carried out for the classified image by confusion matrix which confirmed the feasibility of this method.───并且通過混淆矩陣的方法對分類結(jié)果進行精度評價，驗證該方法的可行性。

2、new block cipher is designed where the diffusion of matrix multiplication is combined with the confusion of specially designed matrix operation to encrypt information.───新的分組密碼算法，該算法利用矩陣乘法的擴散作用與專門設(shè)計的一種矩陣運算的混亂作用實現(xiàn)對信息的加密。

3、Finally, in the "Confusion Matrix, " it shows you the number of false positives and false negatives.───最后，在“ConfusionMatrix”中，顯示了假正和假負的數(shù)量。

4、The output from such a test in Mahout is a data structure called a confusion matrix.───這種測試在 Mahout 中輸出的數(shù)據(jù)結(jié)構(gòu)是混合矩陣。

5、Manchu Character Recognition Post-Processing Based on Bayes Rules and Substitution Set Confusion Matrix───基于貝斯準(zhǔn)則和待定詞集模糊矩陣的滿文識別后處理

6、A confusion matrix describes how many results were correctly classified and how many were incorrectly classified for each of the categories.───混合矩陣可以描述各類別有多少正確分類的結(jié)果和錯誤分類的結(jié)果。

7、Then a measurement of this relationship has been proposed by utilizing the confusion matrix.───進而提出了基于混淆矩陣度量模式間混淆關(guān)系的方法。

confusion matrix相似詞語短語

1、confusion───n.混淆，混亂；困惑

2、consolatrix───安慰

3、Boston matrix───波士頓矩陣

4、Boston matrixes───波士頓矩陣

5、Hermitian matrix───埃爾米特矩陣；厄密矩陣

6、confessionary───n.懺悔室；告解所；adj.告罪的

7、confusional───adj.精神混亂的

2、機器學(xué)習(xí)模型的衡量指標(biāo)有哪些？

我們傾向于使用精度，是因為熟悉它的定義，而不是因為它是評估模型的最佳工具！準(zhǔn)確率和召回率等指標(biāo)對衡量機器學(xué)習(xí)的模型性能是非常基本的，周志華教授的「西瓜書」就特別詳細地介紹了這些概念。

GitHub 地址：https://github.com/WillKoehrsen/Data-Analysis/blob/master/recall_precision/recall_precision_example.ipynb

為分類任務(wù)選擇正確的衡量指標(biāo)

倘若某人聲稱創(chuàng)建了一個能夠識別登上飛機的恐怖分子的模型，并且精度（accuracy）高達 99%。你相信嗎？好了，有這么一個模型：將從美國機場起飛的所有乘客簡單地標(biāo)注為非恐怖分子。已知美國全年平均有 8 億人次的乘客，并且在 2000-2017 年間共發(fā)現(xiàn)了 19 名恐怖分子，這個模型達到了接近完美的精度——99.9999999%。這聽起來確實令人印象深刻，但是我懷疑美國國土安全局不會在近期購買這個模型。盡管這個模型擁有接近完美的精度，但是在這個問題中精度顯然不是一個合適的度量指標(biāo)。

恐怖分子檢測是一個不平衡的分類問題：我們需要鑒別的類別有兩個——恐怖分子和非恐怖分子，其中一個類別代表了極大多數(shù)的數(shù)據(jù)點。另一個不平衡分類問題出現(xiàn)在當(dāng)疾病在公眾中的發(fā)病率很低時的疾病監(jiān)測。在這兩種情況下，正例類別——疾病或恐怖分子，遠遠少于負例類別的數(shù)量。這種問題是數(shù)據(jù)科學(xué)中比較常見的例子，其中精度并不是評估模型性能的很好的衡量標(biāo)準(zhǔn)。

直觀地說，我們知道在恐怖分子檢測的問題中宣布所有的數(shù)據(jù)點為負例（非恐怖分子）是毫無裨益的，相反，我們應(yīng)該聚焦于正例（恐怖分子）的識別。直覺告訴我們，我們應(yīng)該最大化的是統(tǒng)計學(xué)上稱為召回率或查全率（recall）的衡量指標(biāo)，或者是最大化模型找到數(shù)據(jù)集中所有相關(guān)案例的能力。召回率的準(zhǔn)確定義是：真正例除以（真正例+假反例）的和，如下圖所示。真正例（true positives）是被真確分類的正例數(shù)據(jù)點，假反例（false negatives）是被錯誤分類的負例數(shù)據(jù)點。在恐怖分子檢測的例子中，TP 是被正確識別的恐怖分子，F(xiàn)N 是模型誤分類為非恐怖分子的恐怖分子的數(shù)據(jù)點。召回率可以被理解為模型找到數(shù)據(jù)集中所有感興趣的數(shù)據(jù)點的能力。

你可能注意到了這個等式中的一些細節(jié)：如果我們將所有的個體都預(yù)測為恐怖分子，那么模型的召回率就是 1.0！這樣我們就得到了一個完美的模型嗎？當(dāng)然，不是！與數(shù)據(jù)科學(xué)中的絕大多數(shù)概念一樣，在我們想要最大化的指標(biāo)之間存在一個權(quán)衡。在召回率的例子中，當(dāng)召回率增大的時候，準(zhǔn)確率就會減小。同樣，直覺告訴我們，一個將 100% 的乘客標(biāo)記為恐怖分子的模型可能是不可用的，因為我們必須禁止每一個乘客的飛行。統(tǒng)計學(xué)為我們提供了表達直覺的詞匯：這個新的模型是低準(zhǔn)確率（precision）的，或者說較低的僅識別相關(guān)數(shù)據(jù)點的能力。

準(zhǔn)確率被定義為真正例除以（真正例+假正例）的和，如下圖所示。假正例（FP）指的是模型將實際上是反例的樣本誤判為正例的情況，或者說，在我們的例子中指的是那些被模型判斷為恐怖分子，而實際上不是恐怖分子的個體。召回率（查全率）表達的是模型找到數(shù)據(jù)集中相關(guān)實例的能力，而準(zhǔn)確率（查準(zhǔn)率）表達模型找到的數(shù)據(jù)點中實際相關(guān)的比例。

現(xiàn)在我們可以看到，第一個模型給所有的個體標(biāo)上了非恐怖分子的標(biāo)簽，這個模型是不能使用的。盡管它有著近乎完美的精度，但是它的準(zhǔn)確率和召回率都是零，因為沒有 TP（真正例）！假設(shè)我們輕微地修改一下模型，然后將一個個體正確地識別為恐怖分子。現(xiàn)在，準(zhǔn)確率是 1（沒有假正例，F(xiàn)P），但是召回率很低，因為實際上會有很多假反例（FN）。假設(shè)我們走到了另一個極端，將所有的乘客標(biāo)記為恐怖分子，召回率就會是 1——我們將抓住每一個恐怖分子，但是準(zhǔn)確率會特別低，我們最終會拘留很多無辜的人。換言之，隨著準(zhǔn)確率的增加，召回率會降低，反之亦然。

準(zhǔn)確率—召回率權(quán)衡

結(jié)合準(zhǔn)確率和召回率

在某些情況中，我們也許需要以犧牲另一個指標(biāo)為代價來最大化準(zhǔn)確率或者召回率。例如，在之前的例子中，在對患者進行隨訪檢查的初步疾病篩查中，我們可能希望得到接近于 1 的召回率—我們想找到所有實際患病的患者。如果隨訪檢查的代價不是很高，我們可以接受較低的準(zhǔn)確率。然而，如果我們想要找到準(zhǔn)確率和召回率的最佳組合，我們可以使用 F1 score 來對兩者進行結(jié)合。

F1 score 是對準(zhǔn)確率和召回率的調(diào)和平均：

我們使用調(diào)和平均而不是簡單的算術(shù)平均的原因是：調(diào)和平均可以懲罰極端情況。一個具有 1.0 的準(zhǔn)確率，而召回率為 0 的分類器，這兩個指標(biāo)的算術(shù)平均是 0.5，但是 F1 score 會是 0。F1 score 給了準(zhǔn)確率和召回率相同的權(quán)重，它是通用 Fβ指標(biāo)的一個特殊情況，在 Fβ中，β 可以用來給召回率和準(zhǔn)確率更多或者更少的權(quán)重。(還有其他方式可以結(jié)合準(zhǔn)確率和召回率，例如二者的幾何平均，但是 F1 score 是最常用的。) 如果我們想創(chuàng)建一個具有最佳的準(zhǔn)確率—召回率平衡的模型，那么就要嘗試將 F1 score 最大化。

可視化準(zhǔn)確率和召回率

我已經(jīng)向你拋出了幾個新術(shù)語，接下來我將通過一個例子向你展示它們在實際中是如何使用的。在使用之前，我們要簡單地談一談準(zhǔn)確率和召回率的概念。

首先要介紹一下混淆矩陣（confusion matrix），給定一個模型的預(yù)測標(biāo)簽時，它可以被用來快速計算準(zhǔn)確率和召回率。二分類的混淆矩陣總共包含四個不同的結(jié)果：真正例（TP）、假正例（FP）、真反例（TN），以及假反例（FN）。列表示真實值，行表示預(yù)測值。行和列的交叉點指的就是這四種結(jié)果。例如，如果我們將一個數(shù)據(jù)點預(yù)測為正例，但是它實際上是反例，那么這就是一個假正例。

用混淆矩陣計算準(zhǔn)確率和召回率需要找到矩陣中對應(yīng)的值，并應(yīng)用以下的等式進行計算。

其他的用來展示分類模型性能的可視化技術(shù)是受試者特征曲線（ROC 曲線，Receiver Operating Characteristic curve）。別被這個復(fù)雜的名詞嚇到！這個思想是相當(dāng)簡單的：ROC 曲線展示了當(dāng)改變在模型中識別為正例的閾值時，召回率和準(zhǔn)確率的關(guān)系會如何變化。如果我們有一個用來識別疾病的模型，我們的模型可能會為每一種疾病輸出介于 0 到 1 之間的一個分?jǐn)?shù)，為了將某個病人標(biāo)記為患有某種疾?。ㄒ粋€正例標(biāo)簽），我們?yōu)槊糠N疾病在這個范圍內(nèi)設(shè)置一個閾值，通過改變這個閾值，我們可以嘗試實現(xiàn)合適的準(zhǔn)確率和召回率之間的平衡。

ROC 曲線在 Y 軸上畫出了真正例率（TPR），在 X 軸上畫出了假正例率 (FPR)。TPR 是召回率，F(xiàn)PR 是反例被報告為正例的概率。這兩者都可以通過混淆矩陣計算得到。

下圖是一個典型的 ROC 曲線：

ROC 曲線

黑色對角線表示隨機分類器，紅色和藍色曲線表示兩種不同的分類模型。對于給定的模型，只能對應(yīng)一條曲線。但是我們可以通過調(diào)整對正例進行分類的閾值來沿著曲線移動。通常，當(dāng)降低閾值時，會沿著曲線向右和向上移動。在閾值為 1.0 的情況下，我們將位于圖的左下方，因為沒有將任何數(shù)據(jù)點識別為正例，這導(dǎo)致沒有真正例，也沒有假正例（TPR = FPR = 0）。當(dāng)降低閾值時，我們將更多的數(shù)據(jù)點識別為正例，導(dǎo)致更多的真正例，但也有更多的假正例 ( TPR 和 FPR 增加)。最終，在閾值 0.0 處，我們將所有數(shù)據(jù)點識別為正，并發(fā)現(xiàn)位于 ROC 曲線的右上角 ( TPR = FPR = 1.0 )。

最后，我們可以通過計算曲線下面積 ( AUC ) 來量化模型的 ROC 曲線，這是一個介于 0 和 1 之間的度量，數(shù)值越大，表示分類性能越好。在上圖中，藍色曲線的 AUC 將大于紅色曲線的 AUC，這意味著藍色模型在實現(xiàn)準(zhǔn)確度和召回率的權(quán)衡方面更好。隨機分類器 (黑線) 實現(xiàn) 0.5 的 AUC。

回顧

我們已經(jīng)介紹了幾個判斷模型性能的屬性，每個屬性的定義都不是很復(fù)雜，但是結(jié)合在一起就有點復(fù)雜了。讓我們通過一個例子做一個快速的回顧來鞏固一下這些思想。

對于二分類問題

真正例（TP）：實際上是正例的數(shù)據(jù)點被標(biāo)記為正例

假正例（FP）：實際上是反例的數(shù)據(jù)點被標(biāo)記為正例

真反例（TN）：實際上是反例的數(shù)據(jù)點被標(biāo)記為反例

假反例（FN）：實際上是正例的數(shù)據(jù)點被標(biāo)記為反例

召回率和準(zhǔn)確率衡量指標(biāo)

召回率（R）：分類模型識別所有相關(guān)實例的能力

準(zhǔn)確率（P）：分類模型僅僅返回相關(guān)實例的能力

F1 score：使用調(diào)和平均結(jié)合召回率和準(zhǔn)確率的指標(biāo)

召回率和準(zhǔn)確率的可視化

混淆矩陣：展示分類模型的真實和預(yù)測標(biāo)簽的對應(yīng)結(jié)果。

受試者特征曲線（ROC 曲線）：畫出真正例率（TPR）和假正例率（FPR），并將此作為模型歸類正例閾值的函數(shù)。

曲線下面積（AUC）：基于 ROC 曲線下方的面積，計算分類模型總體性能的指標(biāo)。

實例應(yīng)用

我們的任務(wù)是為 100 名病人診斷一種在普通人群中患病率是 50% 的疾病。我們將假設(shè)一個黑盒模型，我們輸入關(guān)于患者的信息，并得到 0 到 1 之間的分?jǐn)?shù)。我們可以改變將患者標(biāo)記為正例 (有疾病) 的閾值，以最大化分類器性能。我們將以 0.1 為增量從 0.0 到 1.0 評估閾值，在每個步驟中計算 ROC 曲線上的準(zhǔn)確率、召回率、F1 score 以及在 ROC 曲線上的位置。以下是每個閾值的分類結(jié)果:

模型在每個閾值下的結(jié)果

我們將以閾值為 0.5 為例計算對應(yīng)的召回率、準(zhǔn)確率、真正例率、假正例率。首先我們得到混淆矩陣：

閾值為 0.5 時的混淆矩陣

我們可以利用混淆矩陣中的數(shù)值來計算召回率、準(zhǔn)確率和 F1 score：

然后計算真正例率和假正例率來確定閾值為 0.5 時，模型在 ROC 曲線上對應(yīng)的點。

為了得到整個 ROC 曲線，我們在每個閾值下都進行這個過程。你可能會想，這是相當(dāng)乏味的，所以，我們用 python 語言來代替手工計算。用來做這些計算的 Juoyter Notebook 放在了 github 上，每個人都可以看到。最終的 ROC 曲線如下所示，點上面的數(shù)字是閾值。

在這里我們可以看到，所有的概念都匯集到一起了！在閾值等于 1.0 的點，我們沒有將任何病人歸類為患病，因此模型的召回率和準(zhǔn)確率都是 0。隨著閾值的減小，召回率增加了，因為我們發(fā)現(xiàn)更多的患者患有該疾病。然而，隨著召回率的增加，準(zhǔn)確率會降低，因為除了增加真正例之外，還會增加假正例。在閾值為 0.0 的時候，我們的召回率是完美的——我們發(fā)現(xiàn)所有的患者都患有這種疾病——但是準(zhǔn)確率很低，因為有很多假正例。通過更改閾值并選擇最大化 F1 score 的閾值，我們可以沿著給定模型的曲線移動。要改變整個曲線，我們需要建立一個不同的模型。

在每個閾值下最終模型的統(tǒng)計量如下表：

基于 F1 score，整體最佳的模型出現(xiàn)在閾值為 0.5 的地方。如果我們想要在更大程度上強調(diào)準(zhǔn)確率或者召回率，我們可以選擇這些指標(biāo)上最佳時對應(yīng)的模型。

結(jié)論

我們傾向于使用精度，因為每個人都知道它意味著什么，而不是因為它是完成任務(wù)的最佳工具！雖然更適合的度量指標(biāo) (如召回率和準(zhǔn)確率) 看起來可能很陌生，但我們已經(jīng)直觀地了解了為什么它們在某些問題 (如不平衡的分類任務(wù)) 中有著更好的表現(xiàn)。統(tǒng)計學(xué)為我們提供了計算這些指標(biāo)的形式化定義和方程。數(shù)據(jù)科學(xué)是關(guān)于尋找解決問題的正確工具的學(xué)科，而且在開發(fā)分類模型時，我們常常需要超越精度（accuracy）的單一指標(biāo)。了解召回率、準(zhǔn)確率、F1 score 和 ROC 曲線使我們能夠評估分類模型，并應(yīng)使我們懷疑是否有人僅僅在吹捧模型的精度，尤其是對于不平衡的問題。正如我們所看到的，精度（accuracy）并不能對幾個關(guān)鍵問題提供有用的評估，但現(xiàn)在我們知道如何使用更聰明的衡量指標(biāo)！