ACCURACY | МЕТРИКИ КЛАССИФИКАЦИИ В МАШИННОМ ОБУЧЕНИИ

Описание

Поддержать канал можно оформив подписку на
🎉 https://boosty.to/machine_learrrning
🎉 https://vk.com/machine_learrrning
🎉 А можете скидывать монеты на https://www.donationalerts.com/r/machine_learrrning

💻 Мои курсы на платформе Stepik:
https://stepik.org/users/4802047

Метрики качества позволяют оценивать способность моделей машинного обучения восстанавливать закономерности из данных. В этом видео рассмотрим, какие есть метрики для задачи классификации - задача машинного обучения, где предсказывается номинативная величина.


Метрики помогают понять, когда модель начинает переобучаться, про это явление можете посмотреть в видео (https://rutube.ru/video/30b4b02eebcf58ffa0b171a0eb9f6ee8/)

Остальные метрики классификации:
1. Accuracy - https://rutube.ru/video/3639420d45f844004dab67b41f0adf86/
2. Precision. Recall. Confusion Matrix - https://rutube.ru/video/a319e0e0c14290f7f35d3dd3c9f6bb0e/
3. F-score - https://rutube.ru/video/0d821fb9e2dc484ceff2e85d61c37338/
4. Micro, Macro, Weighted - https://rutube.ru/video/c5f44428eb746c1892456ff5861fc118/


Ноутбук из видео:
https://colab.research.google.com/drive/1RSIGFmdzTLYEPCcZUWcWvO9-UW23Bm-K


0:00 Задача классификации
0:33 Получение данных
1:06 Обучение модели
1:17 Предсказание и оценка качества

1:47 Доля правильных ответов
2:29 Визуализация ошибок

3:11 Проблема метрики Accuracy. Дисбаланс классов
3:24 Задача с дисбалансом классов. Fraud Detection
4:25 Константная модель
4:44 Очень высокая метрика Accuracy
5:10 Визуализация ошибок константной модели

5:30 Проблема метрики Accuracy. Разные цены ошибок
5:38 Задача кредитного скоринга. Credit Default

6:10 Сравнение двух моделей
7:40 Одинаковая метрика Accuracy
8:04 Ошибки первой модели. Выдача кредита плохим людям
8:23 Ошибки второй модели. Невыдача кредита хорошим людям

8:50 Резюме