Разработка системы автоматизации деятельности SEO-специалистов

В процессе выполнения выпускной квалификационной работы был проведен анализ предметной области, дано определение понятия SEO, был проведен выбор автоматизируемых задач.В проектной части работы был проведен выбор языковых средств и среды разработки, построена общая структура разрабатываемой системы. Было проведено описание основных методов и принципов работы анализатора текста и запросов.
Особое внимание было уделено работе с методами «Яндекс» API.
Было проведено описание логики диалога с пользователем и интерфейса программы.
Работа была защищена в ОГУ, направление подготовки "Прикладная информатика", оценка "отлично".
...

Введение 5
1 Анализ предметной области и постановка задачи разработки системы автоматизации деятельности SEO-специалистов 7
1.1 Понятие SEO. Поисковая оптимизация как основной элемент продвижения интернет-ресурсов 7
1.2 Выбор автоматизируемых задач 18
1.3 Анализ аналогов разрабатываемой системы автоматизации деятельности SEO-специалистов 21
1.4 Определение спецификаций разрабатываемой системы автоматизации деятельности SEO-специалистов 27
1.5 Постановка задачи разработки системы автоматизации деятельности SEO-специалистов 34
2 Проектирование системы автоматизации деятельности SEO- специалистов 36
2.1 Выбор языковых средств и среды разработки 36
2.2 Общая структура системы автоматизации деятельности SEO-специалистов 40
2.3 Описание принципов работы анализатора запросов 42
2.4 Основныевозможности «Яндекс» API 45
2.5 Описание методов и принципов работы анализатора текста 54
3 Реализация системы автоматизации деятельности SEO-специалистов 61
3.1 Описание логики диалога с пользователем 61
3.2 Разработка пользовательского интерфейса 64
Заключение 67
Список использованных источников 69
Приложение А – Фрагменты листинга программы 72

В современном мире важную роль в жизни общества играет сеть Интернет. Веб-сайты выступают основным источником информации в сети. Их количество неумолимо растет с каждым днем, а вместе с этим высокую актуальность приобретает проблема поиска нужной информации в Интернете. Именно эта проблема стала причиной для создания специальных механизмов поиска и поисковых систем.
В настоящее время невозможно представить, насколько бы усложнился процесс поиска информации в сети Интернет, если бы не существовало таких систем как Яндекс, Google, Rambler. У создателей веб-ресурсов стала появляться необходимость привлечения внимания пользователей путем демонстрации веб-страницы в поисковых системах. Особую актуальность обрело умение повышать рейтинг сайта в глазах поисковой системы. Вместе с этим зародилось такое понятие, как поисковая оптимизация, чаще называемая – SEO.
Процесс поисковой оптимизации веб-ресурса требует большого количества времени и трудозатрат. Поэтому возникает необходимость автоматизации деятельности специалистов, занимающихся SEO.

NET. Эти компоненты в дальнейшем могут сами выступить в роли базовых для программ на других языках.Код на промежуточном языке MSIL не интерпретируется, а компилируется в машинный код с помощью JIT-компилятора. Вследствие этого, приложения созданные с помощью C#, выполняются быстрее, чем те, что написаны на Java. Сходства и различия между языками С# и С++ приведены ниже. В С# сохранены основные возможности языка C++, которые не были включены в Java. Это касается, например, перечислений. Более того в C# для перечислений обеспечивается безопасность типов.С# заимствовал из С++ понятия операторов и ключевых слов. Обеспечивается перегрузка операторов.В C# реализована возможность добавления блоков ненадежного кода.В C# использован комплексный метод программирования. При использовании C++ программистам приходилось объявлять классы в заголовочном файле и реализовывать классы в отдельном файле. В С# заголовочные файлы и сложные интерфейсы не являются необходимыми.В C++ переменные экземпляров объектов должны быть явно инициализированы в конструкторе. В C# это делается заранее.С++ поддерживает множественное наследование классов. Это приводит к определенному усложнению коду. C# не поддерживает множественного наследования. Оно может быть реализовано посредством интерфейсов.В C# все классы имеют единый базовый класс. Если класс не является производным от другого класса, он автоматически наследует свойства и члены из System.Object.Код программ на С/С++ компилируется в формат машинного языка, который будет выполнятся на определенном процессоре и в определенной ОС. Для C# предусмотрена компиляция программ на промежуточный язык IL (Intermediate Language). Код IL может запускаться на любой платформе при использовании среды .NET. С помощью JIT-компилятора он может быть преобразован в машинно-зависимый код для выполнения на платформе .NET.Таким образом, на основании проведенного сравнения, был сделан выбор в пользу языка С#. Данный язык и связанная с ним среда .NET Framework может по праву считаться самой значительной из предлагаемых в настоящее время технологий для разработчиков. Среда .NET была создана для того, чтобы в ней можно было разрабатывать практически любое приложение для запуска в Windows, а C# является языком программирования, специально созданнным для использования в .NET Framework. Например, с применением C# и .NET Framework можно создавать динамические веб-страницы, приложения Windows Presentation Foundation, компоненты для распределенных приложений, веб-службы XML, компоненты для доступа к базам данных, классические десктопные приложения Windows и даже клиентские приложения нового интеллектуального типа, обладающие возможностями для работы в оперативном и автономном режимах.Важно отметить, что C# это язык, который предназначен не только для написания приложений, способных работать в Интернете и в сети. С# предоставляет средства для кодирования практически любого типа программного обеспечения или компонентов для платформы Windows. Язык C# и среда .NET привели к важным изменениям способа написания разработчиками программ и сделали программирование приложений для Windows более простым, чем когда-либо.В качестве среды разработки была выбрана бесплатная IDE Microsoft Visual Studio Express 2015. Язык C#, оптимизированный для программирования в Windows, вместе с Visual Studio позволяет сфокусироваться на непосредственных задачах. Встроенные в С# .NET Framework и IDE Visual Studio структуры избавляют от рутинной работы. Язык C# и Visual Studio позволяют без дополнительных усилий выполнять следующие задачи.1.Быстро создавать приложения. Программировать на C# достаточно просто. Это мощный, легко осваиваемый язык, а Visual Studio позволяет автоматизировать большинство процессов.2.Разрабатывать красивый пользовательский интерфейс. При создании приложений на C# инструмент Visual Designer в Visual Studio позволяет быстро разрабатывать красивые пользовательские интерфейсы, не тратя время на написание графических элементов с нуля.3.Фокусироваться на решении реальных задач. IDE позволяет концентрироваться на глобальных вещах, взяв на себя:слежение за всеми проектами;упрощенное редактирование кода;отслеживание графики, аудиофайлов, значков и прочих ресурсов;управление данными.2.2 Общая структура системы автоматизации деятельности SEO-специалистовСледующим этапом проектирования системы автоматизации деятельности SEO-специалистов является создание общей структуры системы.На рисунке 15 показана общая структура системы автоматизации деятельности SEO-специалистов. Рисунок 15 – Общая структура системы автоматизации деятельности SEO-специалистовВзаимодействие пользователя с системой осуществляется при помощи пользовательского интерфейса, реализованного возможностями Windows Forms библиотеки. Система автоматизации деятельности SEO-специалистов условно разделена на две части. Первая часть включает в себя анализатор запросов по заданной ключевой фразе. В нее входит модуль взаимодействия с Яндекс API. При помощи этого модуля приложение может устанавливать связь с Яндекс сервером и получать от него необходимые данные, а именно: статистику по запросу, введенному пользователем и запросам, похожим на него, количество показов в месяц, список запросов, которые являются синонимами введенного запроса пользователем. Вторая часть реализует анализатор текста. В нее включается модуль расчета параметров и определения семантического ядра текста. К данному модулю подключена внешняя библиотека, в которой реализован алгоритм выделения словарных основ (стеммер). В программе присутствует возможность сохранения полученных данных в отчет. Отчет может быть сохранен в текстовый документ или в excel-файл.2.3 Описание принципов работы анализатора запросовВ разрабатываемой система представлена работа с поисковой системой Яндекс. Выбор в пользу неё сделан по причине того, что она является крупнейшим поставщиком поисковых услуг Интернета в России на данный момент.Для вывода результатов анализа на форме имеется три таблицы. В них выводятся полученные результаты. В первую таблицу заносится информация о запросах, в которых встречается заданное пользователем ключевое слово или словосочетание, а также количество их показов в месяц. Во вторую таблицу выводится информация по запросам, похожим на ключевое слово или фразу, введенную пользователем и информация о количестве показов в месяц. Третья таблица заполняется списком синонимов указанного ключевого слова. У пользователя есть возможность сохранения полученных данных в текстовый или в excel-файл. В разрабатываемой системе реализуется работа с API поисковой системы Яндекс. API – Application Programming Interface, представляет собой интерфейс программирования приложений или, как ещё говорят, интерфейс прикладного программирования. Это набор готовых функций, процедур, классов, структур и констант, предоставляемых сервисом для использования во внешних программных продуктах. API используется во многих cферах информационных технологий, в том числе и в сфере поисковых систем. Доступ к API предоставляется поисковиками, чтобы повысить удобство работы с их данными для программистов.Для обмена данными с Яндексом используются POST запросы. Запросы к API выполняются по протоколу HTTPS. Автoризационный токен и другие специальные параметры передаются в HTTP-заголовке. Входные и выходные структуры данных передаются в теле запроса и ответа.Все запросы осуществляются в нотации JSON. Данный формат обмена данными является текстовым. Он основан на языке JavaScript и обычно используется вместе с ним. JSON обладает языковой независимостью, лаконичностью. Он совместим с большинством языков программирования. Синтаксис данного формата имеет два вида.1.Набор пар «key:value». В разных языках программирования это может быть объект, словарь, структура и т.д. Ключ является исключительно строкой, а значением может быть любая форма.2.Упорядоченный набор значений. В большинстве языков программирования это массив, список значений, вектор или последовательность.Ниже приведен пример структуры JSON объекта: { "orderID": 14684, "shopperName": "Jon Snow", "shopperEmail": "[email protected]", "contents": [{      "productID": 12,      "productName": "Widget",      "quantity": 2    },    {      "productID": 31,      "productName": "Iphone",      "quantity": 1    }  ],  "orderCompleted": true}JSON имеет много преимуществ:он компактный;он понятен для людей и легко считывается компьютером;его легко можно преобразовать в программные форматы: числовые значения, строки, булевый формат, нулевое значение, массивы и ассоциативные массивы;почти все программные языки имеют функции, позволяющие считывать и создавать JSON формат данных.В программе использованы стандартные библиотеки платформы .NET Framework версии 4.5, а также библиотека Json.NET – Newtonsoft. Результаты тестов, взятые с официального сайта разработчиков Json.NET показали, что эта библиотека позволяет выполнять сериализацию/десериализацию гораздо быстрее, чем библиотеки DataContractJsonSerializer и JavaScriptSerializer [18].Результаты сравнения времени выполнения процессов сериализации / десериализации при использовании различных библиотек представлены на рисунке 16.Сериализация – это процесс перевода структуры данных в последовательность битов, или же в другую структуру данных, которую удобно хранить, передавать.Десериализация – это обратный процесс. Процесс преобразования сериализованных данных в структуру данных.Процесс сериализации происходит при обмене данными между клиентом и сервером. Перед осуществлением запросов, приложение устанавливает связь с Яндекс сервером, используя специальный токен. Этот токен нужен для установления интерфейса между сервером поисковика и программой.Рисунок 16 – Сравнение времени выполнения процессов сериализации/десериализации при использовании различных библиотекДанный метод, помимо непoсредственного способа связи, являет собой ещё и эффективный способ контроля нагрузки на серверы системы Яндекс. Тем самым, отчёты «играют роль бесплатных билетов» на запросы к серверу, которые не позволяют излишне перегружать систему.2.4 Основные возможности «Яндекс» APIAPI Яндекс Директа дает возможность использовать инструмент подбора ключевых фраз. Благодаря ему не требуется ждать загрузки страниц, как в веб-интерфейсе. Данный инструмент позволяет по заданным ключевым словам получить статистику поисковых запросов, а также статистику других запросов пользователей, выполнявших запросы с этими словами. Полученные данные можно использовать для формирования семантического ядра. Для получения доступа к функциям Яндекс API была проведена регистрация приложения. Она включала два этапа:1)регистрация на OAuth-сервере;2)создание заявки на доступ к Яндекс API.В результате регистрации OAuth-сервер Яндекса сгенерировал идентификатор и пароль приложения. Идентификатор приложения был указан при создании заявки на доступ к API. Также идентификатор и пароль приложения необходимы для получения автoризационного тoкена, разрешающего приложению доступ к данным конкретного пользователя.В форме создания заявки были выполнены следующие действия:выбран из списка идентификатoр прилoжения, полученный при регистрации на OAuth-сервере;указан актуальный адрес электронной почты;указаны сведения о приложении и его спецификация; подтверждено согласие с пользовательским соглашением.После одобрения заявки был выдан автoризационный тoкен. OAuth-тoкен – это специальный код, разрешающий доступ к данным конкретного пользователя. Для каждого пользователя (логина в Яндекс.Директе, от имени которого осуществляются запросы к API) необходимо получить отдельный токен, который следует указывать при вызове методов.Токен, полученный для пользователя, необходимо указывать в параметре token при каждом запросе к API Яндекс Директа.Если указан неверный токен, возвращается сообщение об ошибке с кодом 53.Взаимодействие с API Яндекс Директа осуществляется в формате JSON. Преимущество JSON по сравнению с SOAP/XML в большей компактности, а также в скорости анализа запросов на стороне Яндекс.Директа. Запросы в формате JSON передаются методом HTTP POST на следующий адрес: «https://api.direct.yandex.ru/v4/json/». Запрос всегда содержит ключ method с именем вызываемого метода и в большинстве случаев ключ param. Некоторые методы не имеют входных параметров и для них ключ param не требуется. При возникновении ошибок обработка запроса прекращается и возвращается сообщение об ошибке в формате JSON. Пример сообщения показан ниже.{ "error_detail":"Метод HTTP запроса должен быть POST", "error_str":"Неверный метод запроса", "error_code":512}Параметр error_code содержит код ошибки, error_str – краткое описание ошибки, error_detail – дополнительные пояснения, если имеются. Краткое описание и дополнительное пояснение могут выводиться на разных языках, что определяется параметром locale, указанным при вызове метода.При работе с API Яндекс Директа использовались следующие методы, представленные в таблице 5. Таблица 5 – Описание используемых методов API Яндекс ДиректаНазвание методаПараметрыОписаниеВозвращает1234CreateNewWordstatReportPhrasesGeoIDЗапускает на сервере формирование отчета о статистике поисковых запросовВозвращает идентификатор будущего отчетаDeleteWordstatReportParamУдаляет отчет о статистике поисковых запросовПри успешном удалении отчета возвращается число 1Продолжение таблицы 51234GetWordstatReportОбъект WordstatReportInfo:PhraseGeoIDSearchedWithSearchedAlsoОбъект WordstatItem:PhraseShowsВозвращает отчет о статистике поисковых запросов.Возвращает массив объектов WordstatReportInfo. Каждый объект содержит статистику поисковых запросов по одной фразе.GetWordstatReportListReportIDStatusReportВозвращает список сформирован-ных и формируемых отчетов о статистике поисковых запросов.Возвращает массив объектов WordstatReportStatusInfo, каждый из которых содержит сведения об одном отчете.GetKeywordsSuggestionKeywordsВозвращает подсказки к ключевым словамМетод возвращает подсказки к ключевым словам (до 20 фраз)CreateNewWordstatReport – запускает на сервере формирование отчета о статистике поисковых запросов. Метод возвращает идентификатор будущего отчета. По идентификатору можно узнать о готовности отчета (метод GetWordstatReportList) и скачать отчет (метод GetWordstatReport). Формирование отчета обычно занимает до одной минуты. Статистика рассчитывается за прошедший месяц. Ниже показана структура входных данных в формате JSON. { "method": "CreateNewWordstatReport", "param": { /* NewWordstatReportInfo */ "Phrases": [ (string) ... ], "GeoID": [ (int) ... ] }}Параметр «Phrases» – массив фраз, по которым требуется получить статистику поисковых запросов (не более десяти фраз в кодировке UTF-8). Фразы могут состоять из нескольких слов и включать минус-слова. Например, по фразе [огу -орел] будет получена статистика запросов, в которых присутствует слово «огу» во всех словоформах и отсутствует слово «орел».Параметр «GeoID» – Массив идентификаторов регионов. Позволяет получать статистику поисковых запросов, сделанных только в указанных регионах. Если регионы не указаны, то статистика выдается по всем регионам. Метод возвращает идентификатор будущего отчета:{ "data": 481516}DeleteWordstatReport – удаляет отчет о статистике поисковых запросов. Ниже показана структура входных данных в формате JSON.{ "method": "DeleteWordstatReport", "param": (int)}В параметре «param» указывается идентификатор удаляемого отчета. Идентификатор можно получить с помощью метода GetWordstatReportList.При успешном удалении отчета возвращается число 1, как показано в следующем примере.{ "data": 1}GetWordstatReport – возвращает отчет о статистике поисковых запросов. Ниже показана структура входных данных в формате JSON.{ "method": "GetWordstatReport", "param": (int)}В параметре «param» указывают идентификатор сформированного отчета. Идентификатор можно получить с помощью метода GetWordstatReportList.Метод возвращает массив объектов WordstatReportInfo. Каждый объект содержит статистику поисковых запросов по одной фразе. Ниже показана структура результирующих данных в формате JSON.{ "data": [ { /* WordstatReportInfo */ "Phrase": (string), "GeoID": [ (int) ... ], "SearchedWith": [ { /* WordstatItem */ "Phrase": (string), "Shows": (int) } ... ], "SearchedAlso": [ { /* WordstatItem */ "Phrase": (string), "Shows": (int) } ... ] } ... ]}Описание параметров объекта WordstatReportInfo.«Phrase» – фраза, для которой приведена статистика (указана при формировании отчета).«GeoID» – массив с идентификаторами регионов (указаны при формировании отчета).«SearchedWith» – статистика поисковых запросов, соответствующих фразе.«SearchedAlso» – статистика других поисковых запросов, которые также делали потребители, искавшие фразы из массива SearchedWith.Описание параметров объекта WordstatItem:«Phrase» – в массиве SearchedWith: поисковый запрос, которому соответствует фраза (все слова фразы входят в поисковый запрос, а минус-слова фразы отсутствуют в поисковом запросе). В массиве SearchedAlso: поисковый запрос, который также делали потребители.«Shows» – количество поисковых запросов за прошедший месяц.GetWordstatReportList – Возвращает список сформированных и формируемых отчетов о статистике поисковых запросов.Метод используют для проверки готовности отчета с интересующим идентификатором. Также с помощью метода получают идентификаторы отчетов, чтобы затем удалить отчеты (метод DeleteWordstatReport). Формирование отчетов занимает в среднем одну минуту, поэтому достаточная частота вызовов для проверки готовности отчета — раз в 10-20 секунд.Ниже показана структура входных данных в формате JSON. Метод не имеет входных параметров.{ "method": "GetWordstatReportList"}Метод возвращает массив объектов WordstatReportStatusInfo, каждый из которых содержит сведения об одном отчете. Всего в массиве может присутствовать до пяти объектов. Массив отсортирован по убыванию ReportID.Ниже показана структура результирующих данных в формате JSON.{ "data": [ { /* WordstatReportStatusInfo */ "ReportID": (int), "StatusReport": (string) } ... ]}Описание параметров объекта WordstatReportStatusInfo.«ReportID» – идентификатор отчета о статистике поисковых запросов.«StatusReport» – состояние отчета:Done — отчет сформирован;Pending — отчет формируется;Failed — сформировать отчет не удалось.GetKeywordsSuggestion – возвращает подсказки к ключевым словам.Ниже показана структура входных данных в формате JSON.{ "method": "GetKeywordsSuggestion", "param": { /* KeywordsSuggestionInfo */ "Keywords": [ (string) ... ] }}Описание параметров объекта KeywordsSuggestionInfo.«Keywords» – массив фраз, для которых требуется получить подсказки (кодировка UTF-8). Фразы могут состоять из нескольких ключевых слов. Метод не возвращает подсказки, если слова относятся к предметным областям, которые не связаны друг с другом, например [биология, треугольник].Метод возвращает подсказки к ключевым словам (до 20 фраз). Ниже показана структура результирующих данных в формате JSON.{ "data": [ (string) ... ]}2.5 Описание методов и принципов работы анализатора текстаЧасть программы, отвечающая за анализ текста, подсчитывает количество символов в тексте, количество символов без пробелов, общее количество слов и количество уникальных слов. Кроме этого, ведётся подсчёт стоп-слов. Стоп-слова представляют из себя слова, которые пропускает поисковая система при индексировании (частицы, предлоги, союзы).Одними из параметров, рассчитываемых в анализаторе текста, являются показатели классической и академической тошноты.