Разработка персонифицированного агрегатора новостей. Серверная часть

ВВЕДЕНИЕ 4
ГЛОССАРИЙ 6
1. ПОСТАНОВКА ЗАДАЧИ 10
1.1. Цель работы. 10
1.2. Задачи 10
1.3. Принцип работы приложения 11
2. УСТРОЙСТВО НОВОСТНОГО АГРЕГАТОРА 14
2.1. Принцип работы новостных агрегаторов. 14
2.2. Преимущества агрегаторов новостей 16
2.3. Агрегатор новостей как мобильное приложение 16
3. MICROSOFT AZURE ПЛАТФОРМА ДЛЯ ПОСТРОЕНИЯ СИСТЕМЫ. 18
3.1. Azure Mobile App - решение для мобильных приложений 19
3.2. Rest архитектура. 20
3.3. JSON как язык для передачи данных между сервером и клиентом.
.......................................................................................................................... 20 3.4. База данных SQL Azure. ................................................................. 22
3.4.1. Устройство базы данных в Microsoft Azure 22
3.4.2 Entity Framework - работа с базой данных. 23
4. ПАРСИНГ ДАННЫХ 27
4.1. Парсинг RSS и Atom каналов. 27
4.2. Парсинг HTML 28
5. ПРИМЕНЕНИЕ МАШИННОГО ОБУЧЕНИЯ 30
5.1. Microsoft Cognitive Services 31
6. РАЗРАБОТКА НОВОСТНОГО АГРЕГАТОРА - KZNNEWS 33
6.1. Начало разработки 33
6.2. Создание моделей и базы данных. 34
6.3 Пользовательская регистрация, аутентификация и авторизация. 35
6.4 Реализация парсера новостного контента. 37
6.5. Добавление алгоритмов машинного обучения. 39
6.6. Реализация необходимых API контроллеров. 41
6.7. Настройка концентратора Push-уведомлений 42
6.8. Проблемы, с которыми пришлось столкнуться. 43
ЗАКЛЮЧЕНИЕ 46
СПИСОК ЛИТЕРАТУРЫ. 48
ОБЗОР ЛИТЕРАТУРЫ. 50
ПРИЛОЖЕНИЕ 63
Исходный код 63

В современном мире существует актуальная проблема, связанная с избыточностью информации, которую возможно решить с применением информационных технологий.
На сегодняшний день предлагается множество сервисов, которые частично решают эту проблему. Многие новостные порталы ввели каталогизацию новостей по различным категориям, имеют функцию поиска по словам и фильтрацию по геолокации. А новостные агрегаторы предлагают подбор статей, по встречающимся словам, совершают подбор по множеству порталов одновременно.
На данный момент при разработке таких сервисов упор делается на технологии поиска и фильтрации, а главными показателями являются дата и популярность статьи. Но при таком подходе очень часто поиск имеет низкую точность попадания в запрос. Не было предложено ни одного сервиса с полной автоматизацией процесса по поиску ключевых (для пользователя) новостей, которые могли бы существенно уменьшить время подбора и повысить точность совпадения с интересами пользователя.
В рамках данной научной работы, необходимо разобраться с процессом создания агрегатора новостей, возможностями применения новых решений и технологий при разработке алгоритмов поиска и фильтрации новостного контента, а также при построении системы взаимодействия, в первую очередь с клиентскими приложениями на мобильных устройствах, приблизиться к максимально точному попаданию в запросы и интересы пользователя. В работе применяются технологии машинного обучения для выявления подробной информации о пользователе и последующего поиска статей, связанных с его интересами, а также алгоритмы автоматического понимания текстов, в частности алгоритмы синтаксического и семантического анализа для выявления ключевой информации в статье.
Сам новостной агрегатор представляет собой систему подбора ключевых статей из списка источников. Основное отличие от новостных порталов в том, что агрегатор не имеет собственных статей, а лишь заимствует их. Зачастую имеет большую, чем портал, точность попадания в запросы и функционал.
Разработка новостного агрегатора сводится к решению задач, связанных именно с подбором статей по различным ключевым запросам, а значит, к созданию технологии, позволяющей совершать поиск по базам различных новостных порталов, фильтрацию найденных результатов и отображению их в удобном формате для пользователя.

Дипломная работа выполнена по всем требованиям и защищена на "отлично".