Выбор числа кластеров на основе анализа последовательности итеративных аномальных кластеров

Содержание




1 Аннотация ........................................................................................................... 3
2 Annotation ............................................................................................................ 4
3 Введение............................................................................................................... 5
4 Обзор литературы.............................................................................................. 7
5 Метод аномальных кластеров и Intelligent K-means ................................... 8
5.1 Метод аномальных кластеров .................................................................. 8
5.2 Intelligent K-means ....................................................................................... 9
6 Метод Локтя...................................................................................................... 11
7 Метод разнородности ...................................................................................... 13
8 Данные ............................................................................................................... 14
9 Оценка качества............................................................................................... 17
10 Результаты ..................................................................................................... 19
11 Заключение .................................................................................................... 21
11.1 Выводы........................................................................................................ 21
11.2 Дальнейшая работа................................................................................... 21
12 Список источников ...................................................................................... 23
13 Приложения................................................................................................... 24

3 Введение

Кластеризация является одним из самых главных методов анализа данных, основная задача которого заключается в разбиении объектов на группы, называемые кластерами. Каждая группа должна содержать в себе "похожие" объекты, следовательно объекты разных групп должны быть как можно более разными, основываясь на их признаках. Основное различие между кластеризацией и классификацией заключается в том, что список групп четко не определен, данная задача решается в процессе работы алгоритма. Применение кластерного анализа в целом сводится к следующим этапам:
1 Выбор набора объектов для кластеризации.

2 Определение набора переменных, которые будут использоваться для оценки объектов в выборке. При необходимости значения переменных стандартизируются.

3 Расчет расстояний между объектами множества с использованием оптимальной метрики.

4 Использование метода кластерного анализа для создания групп похожих объектов (кластеров).

5Представление результатов анализа.

После получения и анализа результатов можно скорректировать

выбранную метрику и метод кластеризации для получения оптимального результата.

Для этой работы ключевым алгоритмом является K-means, популярный алгоритм кластеризации, основная суть которого заключается в итеративном пересчете центра масс для каждого кластера на каждом шаге, после чего объекты снова делятся на кластеры в соответствии с тем, какой из новых центров был ближе к обновленному центру. Однако количество кластеров не всегда известно заранее, поэтому некоторые алгоритмы кластеризации необходимо модифицировать для решения задач, в которых не указано количество кластеров, на которые должны быть разделены эти объекты.


Главной целью ВКР является реализация и оценка качества метода аномальных кластеров, который итеративно находит в исходном множестве кластеры, рассматривая удаленность объектов от опорной точки. Также были рассмотрены метод локтя, рассматривающий инерцию кластеров, diversity method, рассчитывающий для каждого числа кластеров энтропию, и метод I-nice.

В качестве результата данной работы представлена реализация методов выбора оптимального числа кластеров для улучшения алгоритма K-means и сравнение результатов их работы на реальных данных для оценки качества их работы.

Для реализации методов и алгоритмов использовался язык программирования Python 3.7 в среде Google Colaboratory.

Добрый день! Уважаемые студенты, Вашему вниманию представляется дипломная работа на тему: «Выбор числа кластеров на основе анализа последовательности итеративных аномальных кластеров Choosing the right number of clusters using the sequence of iterative anomalous clusters.»

1 Аннотация

Одной из главных проблем алгоритмов кластерного анализа является выбор числа кластеров, на которые будет разбиваться множество объектов. Данная работа посвящена изучению возможности использования для этой цели метода аномальных кластеров, который выводит центры аномальных кластеров

в качестве входных данных популярного алгоритма K-средних. Также в рамках проекта были рассмотрены прочие методы для определения оптимального числа кластеров и их сравнение с вышеупомянутым методом аномальных кластеров.


Ключевые слова — выбор числа кластеров, кластеризация, K-means, Аномальные кластеры