Какво е проучвателен анализ на данни и за какво служи?
Какво си представяш, когато чуеш за анализ на данни? Моята първа асоциация са безкрайни таблици с данни, но всеки знае, че става дума за много повече от ровичкането в тях. Курсът Data Science - юни 2024 ще ти помогне да преоткриеш света на данните, включително чрез подходи за тяхното събиране, почистване, подготовка и, разбира се, анализ и визуализация:
Ако обмисляш кариера в света на науката за данни, курсът е точно за теб. А по повод предстоящото му издание, днес съм ти подготвила статия на тема анализ на данни и по-точно – какво е това проучвателен анализ. В обучението ще навлезеш в материята в детайли, а в следващите редове повдигам завесата.
Какво е проучвателен анализ на данни?
В контекста на анализа на данни, проучвателният анализ е техника за опознаване и обобщение на характеристиките на набор от данни. На английски ще го срещнеш като exploratory data analysis, EDA. Data science експертите го използват в комбинация с различни методи за визуализация.
Интересното е, че от IBM определят проучвателния анализ като търсенето на заровено съкровище:
И въпреки че може да бъде осъществен във всеки етап от процеса по анализ на данни, проучвателният анализ обикновено се осъществява преди сформирането на твърди хипотези. Това е и сред основните причини за създаването на exploratory data analysis подхода.
Днес EDA и техниките, които се използват, намира приложение в т.нар. data mining или сондиране на данните. Подходът осигурява и инструменти за сформиране на статистическо мислене, независимо дали ще се използва в професионален контекст или не.
А за какво всъщност служи, ще видим в следващите редове.
5 резултата от проучвателния анализ на данни
Когато осъществяваш проучвателен анализ на данни, можеш:
- Да прецениш какви методи за обработка на данните са най-удачни, за да постигнеш основните цели пред основния анализ;
- Да забележиш т.нар. outliers или пък липсващи/сгрешени данни само с един поглед, когато данните се визуализират;
- По-лесно да откриваш скрити тенденции и възможни отклонения, така че по-цялостно да тълкуваш данните и връзките между тях;
- Да намериш най-важните променливи за анализа ти и да видиш как всъщност е структуриран наборът от данни;
- Като резултат от подбора на удачни методи и откриването на повече зависимости, по-ефективно и цялостно да тестваш хипотези и предположения.
Източник: Open data initiative of the Government of Spain
Всичко това трябва да ти подскаже, че когато говорим за проучвателен анализ на данни, говорим за качествен анализ. Чрез него не се правят изчисления и не се извличат конкретни, финални изводи.
Затова и наборът от данни се представя визуално. В крайна сметка, това е най-лесният начин да се забележат с просто око зависимости, тенденции и отклонения.
В предстоящия курс Йордан Даракчиев ще те запознае с основните концепции и ще ти даде конкретни насоки за прилагането на проучвателния подход в цялостния процес по анализ на данни. А освен това ще направиш първите си стъпки в моделирането на данни и изграждането на цялостни приложения.
Ако си решил да се впуснеш в интригуващия свят на данните, от полза ще ти бъде предишен опит в програмирането на Python и работата с Jupyter Notebook, както и познаването на основните математически концепции. След това остава само да се запишеш за Data Science - юни 2024. Очакваме те!