Технология хранения, доступа и анализа Data Mining

Целью данной работы является понятие принципов Data Mining и использование технологии хранения, доступа и анализа Data Mining для выявление мошенничества (fraud detection) на базе Data Miner. ...

Введение ………………………………………………………………….……….4
ГЛАВА 1. Методы интеллектуального анализа данных ………....………..…..6
1.1. Интеллектуальный анализ данных как процесс …..…....….……...........6
1.2. Инструменты интеллектуального анализа данных …………………….8
1.3. Основные методы ……………………………………………….………..9
1.4. Получение и подготовка данных …..…………….………….…………16
1.5. Документальные базы данных и MapReduce ……………….…………20
ГЛАВА 2. Технологии хранения и анализа данных …………………………..25
2.1. Хранилища данных………..…………………………………………….25
2.1.1. Многомерные хранилища данных ……….……………………….26
2.1.2. Реляционные хранилища данных ………..……………………….27
2.1.3. Гибридные хранилища данных ……….…………………………..33
2.2. Преимущества и недостатки использования хранилищ данных ...…..35
2.3. Подготовка данных к анализу ……….…………………………………37
2.4. Основные задачи консолидации данных ………..……………………..40
2.5. Загрузка данных в хранилище ……….…………………………………45
ГЛАВА 3. Практическое применение Data Mining …………………………...47
3.1. Структура данных ………..……………………………………………...48
3.2. Основные подходы обнаружения мошенничества ……….…………...50
3.3. Причины выбора технологии Data Mining ………..…………………...51
3.3.1 Анализ баз данных на месте (In-Place Database Processing) ….….51
3.3.2. Причина большой скорости IDP………..…………………………52
3.4. Алгоритмы кластеризации ……….……………………………………..52
3.5. Описательный анализ ………..………………………………………….53
3.6. Кластеризация K-средних ……….……………………………………...54
3.6.1. Анализ результатов - вкладка Quick ………..…………………….54
3.6.2. Результаты анализа: Описание кластеров ……….……………….55
3.6.3. Выявление потенциальных мошенников ………..……………….61
3.7. EM-алгоритм ……….……………………………………………………65
3.7.1. Анализ результатов – вкладка Quick ………..……………………65
3.7.2. Выявление потенциальных мошенников ……….………………..70
3.8. Автоматизация ………..…………………………………………………74
Заключение…..………………………………………………………..………….83
Список использованной литературы………………………………..………….85
Приложения……………………………………………………………………....87

Data Mining переводится как "добыча" или "раскопка данных". Нередко рядом с Data Mining встречаются слова "обнаружение знаний в базах данных" (knowledge discovery in databases) и "интеллектуальный анализ данных". Их можно считать синонимами Data Mining. Возникновение всех указанных терминов связано с новым витком в развитии средств и методов обработки данных.
До начала 90-х годов, казалось, не было особой нужды переосмысливать ситуацию в этой области. Все шло своим чередом в рамках направления, называемого прикладной статистикой [1]. Теоретики проводили конференции и семинары, писали внушительные статьи и монографии, изобиловавшие аналитическими выкладками.
Вместе с тем, практики всегда знали, что попытки применить теоретические экзерсисы для решения реальных задач в большинстве случаев ок азываются бесплодными. Но на озабоченность практиков до поры до времени можно было не обращать особого внимания - они решали главным образом свои частные проблемы обработки небольших локальных баз данных.
И вот прозвенел звонок. В связи с совершенствованием технологий записи и хранения данных на людей обрушились колоссальные потоки информационной руды в самых различных областях. Деятельность любого предприятия (коммерческого, производственного, медицинского, научного и т.д.) теперь сопровождается регистрацией и записью всех подробностей его деятельности. Что делать с этой информацией" Стало ясно, что без продуктивной переработки потоки сырых данных образуют никому не нужную свалку.
Специфика современных требований к такой переработке следующие:
• Данные имеют неограниченный объем
• Данные являются разнородными (количественными, качественными, текстовыми)
• Результаты должны быть конкретны и понятны
• Инструменты для обработки сырых данных должны быть просты в использовании
Целью данной работы является понятие принципов Data Mining и использование технологии хранения, доступа и анализа Data Mining для выявление мошенничества (fraud detection) на базе Data Miner.
Кроме теоретической части данная работа будет иметь еще и практическую часть. В главе посвященной практической части будет рассмотрено применение данной технологии для решения конкретных задач. В данной главе будет приведен пример на котором и будет рассматриваться технология, также будет приведена пошаговая инструкция реализации и работы с Data Mining.

e