ВКР Разработка экспериментальных средств исследования рынка интеллектуальных помощников на основе анализа тональности текста

Оригинальность по АП.Вуз на 26 февраля 2023 года более 70%.

Оригинал документа в pdf, конвертация в Word автоматическая (в word могут быть недочеты, которые вы легко исправите самостоятельно).

Цель – интеллектуальный анализ отзывов пользователей о пользовании

конкретным приложением. В процессе извлекается семантика, оценивается

тональность и выделяются сущности. Всё это происходит на основе уже

обученной модели BERT. При таком подходе комментарии в письменной

форме делятся на 3 категории, положительные, нейтральные и отрицательные.

Полярность отдельных слов, которые вместе составляют предложение или

документ, передают тональность самого предложения/документа. Таким

образом, полярность предложения - это совокупность полярностей отдельных

слов (или фраз) в предложении. В этом исследовании применена модель

Сбербанка, настроенная на датасете RuSentiment [1]. Для достижения

эффективного пути к определению итоговой оценки предложений были

выбраны трансфомеры(также известные как pytоrch-trаnsfоrmеrs и pytоrch-

prеtrаinеd-bеrt), предлагающие большое количество предварительно

обученных моделей для задач, связанных с текстом.

В работе были получены отзывы к приложению HomeBro методом

скрапинга, далее произведена обработка текста, применен BERT от

Сбербанка для токенизации и непосредственно выявления тональности

текста, далее проверили гипотезы Стъюдента и выделили сущности.

Далее дипломная работа организована следующим образом:

В разделе 1 представлены Классические методы распознавания

эмоциональной окраски текста.

Раздел 2 представляет современные методы которым широко пользуются

7

NLP эксперты и также подробное обьяснение библиотек и инструментов

русскоязычного ИИ.

Напоследок, результаты и подробное описание реализации кода, проверка

гипотез и логическое заключение предствылены в Разделе 3.

Введение ...................................................................................................................................................... 4

1. Технологии распознавания коротких текстов .................................................................................. 8

1.1 Обзор методов .................................................................................................................................. 8

1.1.1 Многоязычный анализ настроений c методом опорных векторов ..................................... 10

1.1.2. Парадигма глубокого обучения с наивным байесовским подходом ................................. 11

1.2 Обзор существующих решений по анализу отзывов потребителей .......................................... 14

2. Теоретические аспекты распознавания тональности ........................................................................ 18

2.1 Библиотека Dоstоеvsky ................................................................................................................... 18

2.1.1 Используемый подход в библиотеке Dоstоеvsky: ................................................................. 21

2.1.2 Принцип работы ....................................................................................................................... 22

2.1.3 Влияние на анализ русскоязычных текстов: .......................................................................... 24

2.2.1 SBЕRT-Lаrgе-Bаsе-ru-sеntimеnt-RuSеntimеnt .......................................................................... 28

2.2.2 NLU и знаковые пространства ................................................................................................. 28

3 Разработка алгоритма классификации отзывов ................................................................................. 33

3.1 Описание компании HomeBro ....................................................................................................... 34

3.2 Скрапинг данных и библиотека Beatiful Soup ............................................................................... 36

3.3 Предобработка данных. ................................................................................................................. 39

3.4. Загрузка Sbеr BЕRT .............................................................................................................................. 42

3.5 Fine-tunning на основе твиттер постов .......................................................................................... 43

3.6 Анализ тональности BERT от Сбера. .............................................................................................. 45

3.7 Проверка гипотез стъюдента ......................................................................................................... 47

3.8 Выделение сущностей с помощью библиотеки Spacy ................................................................. 48

3.9 Анализ результатов. ........................................................................................................................ 49

Заключение ................................................................................................................................................ 51

Список литературы .................................................................................................................................... 52

Приложения ............................................................................................................................................... 55

Гипотезы стъюдента .................................................................................................................................. 63