[LAB] Model Training and Improvement - уточняване на условията

dim4o 288 Точки

[LAB] Model Training and Improvement - уточняване на условията

Здравейте,

Направих втория ЛАБ, но някои от условията не мога да разтълкувам еднозначно и затова не съм сигурен дали съм извършил правилните действия. Въпросите са два:

Задача 6: "...Evaluate the algorithm once again, using a standard scoring method which combines precision and recall." - Не разбирам коя мярка трябвая точно да се използва тук, защото f1_score или average_precision_score? И двете метрики обединяват по някакъв начин precision и recall. Предполагам, че е F1, защото беше споменат на лекцията, но все пак искам да съм сигурен. Има разлика между резултатите в двете метрики.
Задача 7: "Save the grid search result in the grid_search variable. Don't forget to use the better scoring model that you obtained in the previous task." - Тук не разбирам за този scoring model какво точно се има на предвид. В предната задача се получава единствено да речем f1_score и не се прави модел. Как това може да се използва в контекста на задачата, в която се изизква да се намери grid_search = GridSearchCV(...)? Функцията приема модел и речник като параметри. Нито моделът е 'по-добър' модел, нито се използва някакъв тип метрика.

Тагове:

21/03/2018 08:58:41 Machine Learning 21/03/2018 09:07:24

Виж всички отговори

Petat 2 Точки

И от мене едно допълнение към задача 7 на същия лаб: има грешка в един от параметрите, които трябва да се въведат във GridSearchCV- fit_itercept трябва да бъде променен на fit_intercept, иначе GridSearchCV не го разпознава и дава грешка.

03/04/2018 19:58:42

bamse 2 Точки

Отговарям ти, както аз съм ги разбрал, дали е вярно не знам.

1. - на 6. и аз използвах f1

2. мисля има предвид ''по-удачния'' score, който си използвал в 6. Тоест именно ''f1_score''

grid_search = GridSearchCV(log_reg, param_grid, scoring = 'f1')

04/04/2018 19:59:42

dim4o 288 Точки

И аз мисля, че е това. Просто, когато правих ЛАБ-а нямах поглед върху цялата картина и много се чудих какво може да е.

07/04/2018 10:56:00

bdimov 6 Точки

Здравейте,

Аз не успях да разбера само как да намеря precision и recall?

Гледах лекцията, търсих и в интернет, но нещо не мога да се ориентирам как да ги намеря двете, от което след това вече да продължа с F1 Score?

Ако някой може да ми помогне ще съм много благодарен :)

08/04/2018 21:54:34

dim4o 288 Точки

from sklearn.metrics import precision_score, recall_score, f1_score

precision_score(labels_test, model.predict(att_test))
recall_score(labels_test, model.predict(att_test))
f1_score(labels_test, model.predict(att_test))

Аз го правя по този начин.

Просто импортваш функцията, която ти трябва от metrics и после като аргументи подаваш тестовите лейбъли и предвидените лейбъли. Функцията изчислява по формулите, които ги имаше на лекцията. Можеш и да си принтираш confusion_matrix лесно, за по-наглено:

from sklearn.metrics import confusion_matrix

cnf_matrix = confusion_matrix(labels_test, model.predict(att_test))

09/04/2018 10:04:39 09/04/2018 10:16:31

seandi 38 Точки

Няма нужда да намираш precision и recall отделно.

Директно използваш метриката f1_score.

from sklearn.metrics import f1_score

10/04/2018 10:13:46

bdimov 6 Точки

Благодаря Ви за отговорите.

Мисля, че успях да направя нещо, а дали е вярно вече ще стане ясно на по - късен етап.

10/04/2018 19:52:08

Виж всички отговори