در شکل زیر مقدار واقعی و مقدار پیش بینی شده نمایش داده شده است. ( حالتی که دو برچسب داریم: صفر و یک یا 2 class label)
1- زمانی که مقدار pred با مقدار actual برابر باشد، به آن True گویند.
2- زمانی که مقدار Pred با مقدار actual برابر نباشد ، به آن false گویند.
مقدارAcuuracy :
نسبت تمام مقادیر True به همه مقادیر را دقت میگوییم که از رابطه زیر بدست می آید:
صورت رابطه فوق همان قطر اصلی ماتریس بالا است. این قطر اصلی در حالتی که multi label باشیم هم کاربرد دارد.
در شکل زیر به ردیف اول مقادیرpositive گویند. زیرا TP که مثبت است و FN به اشتباه منفی است(یعنی مثبت است). و ردیف دوم هم به دلیل مشابه nagetive است.
حال با توجه به نکته قبلی مقدار TPR به معنای true positive rate را به صورت زیر تعریف میکنیم:
یعنی نسبت Tp ها به کل مثبت ها. به طور مشابه برای مقادیر منفی داریم TNR که برابر با Tn تقسیم بر (Fp+Tn)
به طور مشابه برای FPR و FNR نیز میتوان روابطی تعریف نمود.
سناریو:
فرض کنید که یک دیتاست imbalanced داریم. و همچنین مدلی داشته ایم که نتایج آن به صورت زیر بوده است:
مشکل این سیستم یا مدل این است که فقط مقادیر positive تولید میکند و مقادیر negative ندارد.
در این حالت اگر مقدار Accuracy را حساب کنیم ، عدد 90 درصد را بدست می آوریم:
در صورتی که میدانیم سیستم ما مشکل دارد. بنابراین زمانی که مدل ما imbalanced باشد ، شاخص accuracy ناکارآمد خواهد بود. بنابراین باید شاخص دیگری (4 مورد بیان شده) داشته باشیم. در این مثال 4 شاخص معرفی شده را محاسبه میکنیم:
هرچه مقدار TPR و TNR بیشتر باشد، مقادیر مثبت و صحیح ما بیشتر خواهد بود.
هرچه مقادیر FPR و FNR ما کمتر باشد ، مقادیر غلط ما کمتر خواهد بود.
مورد معرفی شده بالا TPR بالایی دارد. برای مثال این مورد برای تشخیص سرطان که در ادامه معرفی میشود ، مورد مناسبی است.
سناریو سرطانی:
فرض کنید میخواهیم پیش بینی کنیم که یک فرد سرطان دارد یا نه. دیتاست سرطانی نمونه ای از یک دیتا ست imbalanced است.
TPR ما باید خیلی بالا باشد. (به درستی اعلام شود که فرد بیمار سرطان دارد.)
همچنین TNR باید خیلی بالا باشد. (به درستی اعلام شود که سرطان ندارد.)
همچنین FNR باید خیلی کم باشد. (تا حد ممکن این مورد را نداشته باشیم (به اشتباه بگوییم که سرطان ندارد.))
FPR کم باشد.– به اشتباه بیان شود که سرطان دارد(نسبت مورد قبلی اندکی حساسیت کمتری دارد.) در این مورد ممکن است دوباره تست بدهد و واقعیت (که سرطان ندارد) مشخص شود.
نتیجه :
در این درس متوجه شدیم که هر شاخصی برای هر مسئله ای نمیتواند به کار برود. برای مثال شاخصacuracy برای مسئله تشخیص سرطان ، شاخص مناسبی نیست. زیرا جان انسان ها در میان است. و به همین دلیل 4 شاخص دیگر را معرفی کردیم.