Методы анализа данных

Введение
Методы анализа данных
Решение аналитических задач
Проверка моделей

Анализ данных используется во всех сферах человеческой деятельности как основа для проведения исследований, принятия управленческих решений и т.д. От правильности принимаемых решений (получаемых результатов) зависит развитие той или иной научной области, конкурентоспособность организации. Таким образом, проведение эффективного анализа данных является актуальной задачей для любой сферы человеческой деятельности.
Методы анализа данных
Методы, используемые для анализа данных из любой сферы человеческой деятельности, имеют статистическую природу. Существует большое количество различных методов для анализирования данных, опирающихся на различные гипотезы, параметры данных, такие как распределение, среднее значение и т.д.
Как правило, для анализа выбирается некоторый объем данных, называемый выборкой. Выборка – это часть большой группы данных, полностью описывающей свою предметную область. В статистике такую группу называют генеральной совокупностью.
Как правило, для решения конкретной задачи исследователю или аналитику нет необходимости работать со всей группой данных, ему нужна лишь определенная часть. К тому же, чем больший размер имеет выборка данных, тем сложнее ее обрабатывать и хранить на технических устройствах.
Решение аналитических задач
Большая часть статистических методов для анализа данных предполагает наличие у группы данных нормального распределения. Распределение выборки определяет ее поведение, позволяет определять значения элементов выборки.
К сожалению, огромное количество практических задач требует от аналитика работать с наборами данных, чье распределение не соответствует нормальному, либо вообще неизвестно. В таком случае, классические статистические методы оказываются бесполезными, так как результаты анализа данных, полученные с их помощью, не являются достоверными и не позволяют охарактеризовать выборку.
Для решения указанной проблемы, начиная примерно с 1960-х годов, многими специалистами разрабатываются методы анализа данных, не зависящие от распределения и прочих параметров данных. К этим методам относится так называемый «data mining», что переводится как «добыча данных».
Цель этих методов – поиск скрытых закономерностей в массивах данных, которые невозможно корректно исследовать с помощью классических статистических методов.
Проверка моделей
Стоит отметить, что не все выборки для реальных задач не могут быть обработаны с помощью классических методов. Более того, сильной стороной классических методов является оценка достоверности результатов. Если параметры метода показывают, что полученный результат является достоверным, то сомневаться в полученном результате не приходится.
Методы, относящиеся к группе «data mining», напротив, далеко не всегда имеют достаточную базу для оценки достоверности полученного результата. Основным способом проверки моделей, построенных с помощью указанных методов, является использование так называемой тестовой выборки.
Выборка, используемая для создания модели, называется обучающей. Выборка, не совпадающая по содержанию с обучающей, но имеющая значения в аналогичном диапазоне, называется тестовой в случае, если она используется для проверки модели, построенной на основе обучающей выборки.