Сервис для классификации категории по описанию товара на основе применения методов машинного обучения

Одни используют принцип одна карточка товара для одного именования товара, но с множеством продавцов внутри каждой карточки. Что требует сотни и тысячи моделей машинного обучения для ранжирования, рекомендации, систематизации и иерархического представления товаров разных продавцов. Модели машинного обучения, которые помогают в корректной работе большого количества аспектов сайта электронной коммерции. А именно помогают точнее выводить вперед нужные, подходящие и выгодные для бизнеса товары, которые увидит пользователь. Другие сайты электронной коммерции, в том числе маркетплейсы располагают все карточки товаров на одной странице. Также применяя методы машинного обучения для хранения и представления товаров в иерархической структуре, ранжирования и рекомендации. В том числе разделение всех товаров на категории дает возможность настраивать, различные фильтры, признаки и атрибуты товаров, в автоматическом или управляемом режиме.

Хотя несмотря на обширность иерархии категорий и преимущества такого представления товаров, становится трудно выводить карточки товаров для клиентов сайта. Так как во всех системах электронной коммерции число категорий достигает тысяч и десятков тысяч, что приводит к сильному затруднению выбора правильной, подходящей категории товара к каждой карточке товара. Это настоящие трудности, с которыми приходится сталкиваться при работе с сервисом, негативно отражаются на удовлетворенности продавца и качестве контента на сайте, следовательно, значительно падают продуктовые метрики.

Использования всех имеющихся категорий сайта и иерархичного отношения для определения категории нового, добавляемого товара. Что позволит упростить категоризацию, уменьшить ошибки и автоматизировать получение правильной категории в любой среде через интеграции. Для этого вводиться задача классификация категорий товара с поставкой предсказаний через сервис с единым интерфейсом (API). Для сервиса необходима модель машинного обучения учитывающая разрозненность, зашумленность данных и сильный дисбаланс категорий.

Цель работы – разработать сервис для классификации категории по описанию товара с применением моделей машинного обучения. Сервис, который будет использовать модель и функционал по предобработке описания товаров для дальнейшей передачи в модель.

Для достижения поставленной цели необходимо выполнить следующие задачи:

1) разработать модель классификации,

2) разработать функционал сервиса по обработке запросов,

3) настроить промышленное окружение для модели и сервиса,

4) провести тестирование кода и инфраструктуры.

ВВЕДЕНИЕ..................................................................................................... 3

1. Обзор литературы по существующим методикам решения задачи.... 5

1.1. Метрики для задачи иерархической классификации............................ 8

1.2. Иерархические модели........................................................................... 9

1.3. Локальный классификатор на каждый узел (lcn)................................ 10

1.4. Локальный классификатор на родительский узел (lcpn).................... 11

1.5. Локальный классификатор на уровень дерева (lcl)............................ 14

1.6. Дополнительные признаки................................................................... 17

1.7. Выбор модели...................................................................................... 20

2. Реализация сервиса.............................................................................. 24

2.1. Система по переобучению моделей..................................................... 25

2.2. Микросервисное взаимодействие через api gateway.......................... 28

2.3. Контейнеризация и подготовка приложения к развертыванию......... 30

ЗАКЛЮЧЕНИЕ............................................................................................. 34

СПИСОК ЛИТЕРАТУРЫ............................................................................. 38

ПРИЛОЖЕНИЕ............................................................................................. 40