Hata Matrisini (Confusion Matrix) Yorumlama

Erkan ŞİRİN 2 Temmuz 2017 Makine Öğrenmesi 3 30095 500 kelime - 3 dakika133

---

Bu yazıya puan ver

(3 votes, average: 5,00 out of 5)

Loading...

---

Makine öğrenmesinde kullanılan sınıflandırma modellerinin performansını değerlendirmek için hedef niteliğe ait tahminlerin ve gerçek değerlerin karşılaştırıldığı hata matrisi sıklıkla kullanılmaktadır. Her ne olursa olsun sınıflandırma tahminleri şu dört değerlendirmeden birine sahip olacaktır:

1. Doğruya doğru demek (True Positive – TP) DOĞRU
2. Yanlışa yanlış demek (True Negative – TN) DOĞRU
3. Doğruya yanlış demek (False Positive – FP) YANLIŞ
4. Yanlışa doğru demek(False Negative – FN) YANLIŞ

Benzer şekilde hipotez testlerinde de kullanılan Tip I (FP) ve Tip II (FN) hatalar bizim FP ve FN’ye benzer.

Aslına bakarsanız iki tane sonuç var. Ya sınıfı doğru tahmin edecek ya yanlış tahmin edecek. Bu matrise dayanarak üretilen bazı kriterleri aşağıda görelim ve yukarıdaki örnek matrise dayanarak çözelim. Problemimiz de şöyle olsun: bazı nitelikleri kullanarak bir hastada X rahatsızlığı var veya yok diyelim. Eğer hasta olmayanlara hasta değil demişsek TN (gerçekte var olmayan bir şeye biz de yok demişsek), hasta olmayana hasta demişsek FP (gerçekte olmayan bir şeye biz var demişsek), hasta olana hasta değil demişsek FN (gerçekte var olan bir şeye biz yok demişsek), hasta olana hasta demişsek TP (gerçekte var olan bir şeye biz de var demişsek).

Doğruluk (Accuracy): Doğru sınıflandırmanın toplama bölümüdür. Yani; doğrular / toplam. Yani yoka yok vara var dediklerimizin toplama oranı. Ayrıca esas köşegenin toplama oranı da diyebiliriz.

Doğruluk =  TN + TP / TOPLAM = 100+200 / 330 = 0,91

Hata Oranı (Error Rate / Misclassification Rate): Yanlışların toplama oranıdır. Bu aynı zamanda 1’den doğruluk oranını çıkararak da elde edilir. Ayrıca yedek köşegenin toplama oranıdır da diyebiliriz.

Hata Oranı = FN + FP / TOPLAM = 10 + 20 / 330 = 0,09
Hata Oranı = 1 - Doğruluk = 1 - 0,91 = 0,09

Doğru Pozitif Oranı/Duyarlılık/Hassasiyet (True Positive Rate – Sensivity): Doğru olarak tahmin edilen varların (TP) gerçek varlara oranı. Modelin doğruları bilme konusundaki etkinliği de denilebilir.

Duyarlılık = TP / Gerçek Varlar = 200 / (200+10) = 0,95

Yanlış Pozitif Oranı (False Positive Rate): Yok’a var deme oranı. Gerçekte yok olan ancak var diye tahmin edilen hastaların gerçekten hasta olmayanlara oranı. FP / Gerçek Yok Toplamı.

Yanlış Pozitif Oranı = FP / Gerçek Yoklar = 20 / (100+20) = 0,17

Yukarıdaki iki metrik (True Positive Rate ve False Positive Rate) Receiver Operating Characteristic (ROC) grafiği çizimi ve Area Under Curve (AUC) hesaplamada kullanılır.

Seçicilik/Özgüllük (True Negative Rate – Specifity): Yok’u tahmin etme etkinliği. Yok’a ne derece yok diyebilmiş yani.  TN/ Gerçek Yok toplamı.

Seçicilik = TN / Gerçek Yoklar = 100 / (100+20) = 0,83

Precision: Doğru var olarak tahmin edilenlerin, toplam var tahminlere oranı. TP / (FP+TP)

Precision = TP/(FP+TP) = 200/220 = 0.91

Prevalence: Gerçekten varların toplama oranı. (FN+TP)/Toplam

Prevalence = (FN+TP) / Toplam = (10+200) / 330 = 0.64