Вход

Разработка рекомендательной системы на основе анализа данных социальных сетей

Рекомендуемая категория для самостоятельной подготовки:
Дипломная работа*
Код 524832
Дата создания 2020
Мы сможем обработать ваш заказ (!) 9 декабря в 12:00 [мск]
Файлы будут доступны для скачивания только после обработки заказа.
1 780руб.
КУПИТЬ

Описание

Основной целью магистерской работы является разработка рекомендательной системы, которая, обрабатывая данные из страницы

пользователя в социальной сети, могла бы с высокой точностью выделять основные предпочтения и давать рекомендации. Идея такой системы заключается в подборе персонализированного списка товаров, которые можно было бы подарить анализируемому пользователю и которые бы отвечали его вкусам и потребностям.

Разработка такой рекомендательной системы требует решения ряда задач. На первом этапе основной акцент построения рекомендательной системы был сделан на исследованиях технологий извлечения, обработки и анализа данных в социальных сетях, а также алгоритмов построения рекомендаций.

Второй этап был посвящен разработке модулей сбора и обработки данных из интернет источников, а также сбору базы данных пользователей и их желаний.

На третьем этапе написания работы были решены задачи разбиения желаний пользователей (большинство из которых являются уникальными) на категории, а самих пользователей – на группы.

На четвертом этапе был разработан модуль рекомендаций, включающий в себя сбор и обработку информации о новом пользователе, а также построение рекомендаций с использованием алгоритма групповых рекомендаций.

Содержание

Введение............................................................................................................... 2

1. Литературный обзор....................................................................................... 3

1.1 Обогащение данных пользователей. Методы веб-скреппинга для получения данных из социальных сетей............................................................................... 3

1.1.1 Получение веб-страниц с использованием библиотеки urllib.................... 5

1.1.2 Разбор HTML и извлечение информации из веб-страниц (Web scraping) 6

1.1.3 Разбор HTML-страниц с помощью регулярных выражений.................... 7

1.1.4 Разбор HTML-страниц с помощью библиотеки BeautifulSoup................. 9

1.2 Методы data mining для анализа данных в социальных сетях.................. 11

2.1 Общие сведения о СУБД MongoDB............................................................ 22

2.2 Алгоритм сбора данных и написание скрэппера с помощью BeautifulSoup . 23 3. Разработка рекомендательной системы...................................................... 31

3.1 Постановка задачи и обзор проблематики................................................. 31

3.2 Описание разработанного модуля.............................................................. 33

4. Построение модуля рекомендательной системы........................................ 38

4.1 Выбор метода построения рекомендательной системы............................. 39

4.2 Реализация модуля рекомендаций.............................................................. 40

Список литературы

I. Специальная литература:

1. Горчинская, Ольга. Анализ данных социальных сетей,Открытые системы. СУБД [Электронный ресурс] / Горчинская, Ольга, Ривкин, Андрей.

– науч.-метод. журн. – 2015.— № 03. – Режим доступа www.osp.ru. – (Дата обращения: 01.11.2017).

2. Кириченко К.М. Обзор методов кластеризации текстовой информации [Электронный ресурс]/ Кириченко К.М, Герасимов М.Б. - электрон. текст. дан. - Режим доступа http://www.dialog- 21.ru/digest/2001/articles/kirichenko/. - (Дата обращения: 01.10.2018)

3. Коршунов, Антон. Анализ социальных сетей: методы и приложения

/ Антон Коршунов, Иван Белобородов, Назар Бузун, Валерий Аванесов, Роман Пастухов, КириллЧихрадзе[и др.]. - электрон. текст. дан. - Режим доступа http://www.ispras.ru/proceedings/docs/2014/26/1/isp_26_2014_1_439.pdf. - (Дата обращения: 10.10.2017)

4. Коршунов, Антон.Определение демографических атрибутов пользователей микроблогов / Антон Коршунов, Иван Белобородов, Андрей Гомзин, Кристина Чуприна [и др.]. - электрон. текст. дан. - Режим доступа

https://cyberleninka.ru/article/v/opredelenie-demograficheskih-atributov- polzovateley-mikroblogov. - (Дата обращения: 10.10.2017)

II. Интернет-ресурсы:

1. Северенс, Чарльз. Лекция «Введение в программирование на Python», Интуит , национальный открытый университет / Чарльз Северенс. - электрон. текст. дан. - Режим доступа – (Дата обращения 21.02.2018)

2. Чубукова, Ирина. Курс «Datamining», Интуит, национальный открытый университет/ Ирина Чубукова. - электрон. текст. дан. - Режим доступа (Дата обращения 25.03.2018)

3. Обзор алгоритмов кластеризации данных / andreycha / - электрон. текст. дан. - Режим доступа https://habr.com/ru/post/101338/ – (Дата обращения 16.11.2018)

4. Документация scikit-learn // - электрон. текст. дан. - Режим доступаhttps://scikit-learn.org/stable/ – (Дата обращения 03.12.2018)

5. Кантор, Виктор. Кластеризация текстов по теме / Виктор Кантор, Евгений Рябенко, Евгений Соколов, EmeliDral, Константин Воронцов /- электрон. текст. дан. - Режим доступаhttps://www.coursera.org/lecture/unsupervised-learning/primier- klastierizatsiia-tiekstov-po-tiemie-bVVzw – (Дата обращения 15.11.2018)

6. Рекомендательная система: введение в проблему холодного старта

/ vleskin / - электрон. текст. дан. - Режим доступаhttps://habr.com/ru/company/surfingbird/blog/168733/ – (Дата обращения 16.11.2018)

7. WebScraping с помощью python/ miptgirl / - электрон. текст. дан. - Режим доступа https://habr.com/ru/post/280238/ – (Дата обращения 16.11.2018)

8. Документация NLTK // - электрон. текст. дан. - Режим доступаhttps://www.nltk.org/ – (Дата обращения 03.12.2018)

Очень похожие работы
Найти ещё больше
Пожалуйста, внимательно изучайте содержание и фрагменты работы. Деньги за приобретённые готовые работы по причине несоответствия данной работы вашим требованиям или её уникальности не возвращаются.
* Категория работы носит оценочный характер в соответствии с качественными и количественными параметрами предоставляемого материала. Данный материал ни целиком, ни любая из его частей не является готовым научным трудом, выпускной квалификационной работой, научным докладом или иной работой, предусмотренной государственной системой научной аттестации или необходимой для прохождения промежуточной или итоговой аттестации. Данный материал представляет собой субъективный результат обработки, структурирования и форматирования собранной его автором информации и предназначен, прежде всего, для использования в качестве источника для самостоятельной подготовки работы указанной тематики.
bmt: 0.00469
© Рефератбанк, 2002 - 2024