Разработка рекомендательной системы на основе анализа данных социальных сетей

Введение 2
1. Литературный обзор 3
1.1 Обогащение данных пользователей. Методы веб-скреппинга для получения данных из социальных сетей 3
1.1.1 Получение веб-страниц с использованием библиотеки urllib 5
1.1.2 Разбор HTML и извлечение информации из веб-страниц (Web scraping) 6
1.1.3 Разбор HTML-страниц с помощью регулярных выражений 7
1.1.4 Разбор HTML-страниц с помощью библиотеки BeautifulSoup 9
1.2 Методы data mining для анализа данных в социальных сетях 11
2.1 Общие сведения о СУБД MongoDB 22
2.2 Алгоритм сбора данных и написание скрэппера с помощью BeautifulSoup . 23 3. Разработка рекомендательной системы 31
3.1 Постановка задачи и обзор проблематики 31
3.2 Описание разработанного модуля 33
4. Построение модуля рекомендательной системы 38
4.1 Выбор метода построения рекомендательной системы 39
4.2 Реализация модуля рекомендаций 40
Заключение 43
Список литературы 45

Основной целью магистерской работы является разработка рекомендательной системы, которая, обрабатывая данные из страницы
пользователя в социальной сети, могла бы с высокой точностью выделять основные предпочтения и давать рекомендации. Идея такой системы заключается в подборе персонализированного списка товаров, которые можно было бы подарить анализируемому пользователю и которые бы отвечали его вкусам и потребностям.
Разработка такой рекомендательной системы требует решения ряда задач. На первом этапе основной акцент построения рекомендательной системы был сделан на исследованиях технологий извлечения, обработки и анализа данных в социальных сетях, а также алгоритмов построения рекомендаций.
Второй этап был посвящен разработке модулей сбора и обработки данных из интернет источников, а также сбору базы данных пользователей и их желаний.
На третьем этапе написания работы были решены задачи разбиения желаний пользователей (большинство из которых являются уникальными) на категории, а самих пользователей – на группы.
На четвертом этапе был разработан модуль рекомендаций, включающий в себя сбор и обработку информации о новом пользователе, а также построение рекомендаций с использованием алгоритма групповых рекомендаций.

Дипломная работа выполнена по всем требованиям и защищена на "отлично".