- Здравейте, спомням си че Данчо беше предлагал начин за справяне с "curse of dimensionality" т.е. имаме повече колкони от колкото записи в данните. Прегледах видеата от последния ML курс, но не мога да намеря точно тази част. Някой може ли да помогне по темата?
Благодаря и поздрави!
Здравей,
Доколкото знам Curse of Dimensionality имаш, когато data от по-ниско измерение е разположена в пространство от по-високо измерение. По този начин search space-а ти се увеличава многократно. Например представи си, че търсиш модел, който да предвижда кой ще победи в някаква игра. Събираш различни параметри - годините опит на играча, процента победи в предните 6 месеца, вида на използваните защити и похвати и т.н. Можеш да имаш 1000 параметъра. Но в релността се оказва, че ако например играта ти е някава логическа и детермистична - винаги този който почва първи да побеждава или да има най-голям шанс за победа. Има примери за такива игри. Така релано имаш само един важен параметър който е разположен в 1000-мерно пространство и търсиш решението като луд.
Не съм напълно съгласен с твърдението, че имаш Curse of Dimensionality обезателно, когато броят на колонките надвишава броят на записите в таблицата, защото интуитивно може да се преположи, че ако увеличим достатъчно броя на записите(съберем повече data) ще се отървем от проклятието. А това не е точно, защото изчисленията ще станат още по-бавни и пак ще имаме да търсим по-прост модел, който е разположен в по-сложен. Ако все броя на записите е под броя на колоните най-вероятно имаш доста по-сериозни проблеми от Curse of Dimensionality.
Естествено решение на проблема е да се направи feature selection и/или да се използват dimensionality reduction техники като PCA. Има една много интересна тема в Quora, в която всички тези неща са обяснени от много различни хора по различни начини: https://www.quora.com/What-is-the-curse-of-dimensionality Обяснението за търсенето на penny например е доста нагледно.