Контент анализ сайта

Сегодня большинство информации (контента), полученного системами электронной коммерции, от пользователей, прорабатывается модераторами. Например, большие текстовые массивы комментариев к продукции, представленной на сайте, или массивы контента на форуме, фильтруются в большинстве случаев модераторами или определенным кругом доверенных лиц. Для повышения спроса на продукцию необходимо выкладывать на сайте только отфильтрованные комментарии пользователей, где отсутствуют нецензурная лексика (такие комментарии блокируются) и реклама продукции конкурентов. Кроме того, детальный анализ совокупности комментариев на продукцию дает возможность производителю анализировать ситуацию на рынке и корректировать спрос на собственную продукцию. Изучение информационных потребностей для функционирования ана ...

Содержание

Введение
I. ОСНОВНЫЕ СВЕДЕНИЯ О КОНТЕНТ-АНАЛИЗЕ И ЕГО ПРИМЕНЕНИИ
1.1. История развития и понятие контент-анализа
1.2. Основные проблемы, связанные с быстрыми темпами роста объема производства контента
1.3. Механизмы и этапы обработки текстовой информации на базе контент-анализа
1.4. Основные операции контентного поиска
1.5. Этапы качественного контент-анализа сайта

I. ОСНОВНЫЕ СВЕДЕНИЯ О КОНТЕНТ-АНАЛИЗЕ И ЕГО ПРИМЕНЕНИИ

1.1. История развития и понятие контент-анализа
Одним из известных методов анализа текстовой информации является контент-анализ (от англ. Contens содержание) – стандартная методика исследования в области общественных наук, предметом которой является анализ содержания текстовых массивов и продуктов коммуникативной корреспонденции (например, комментарии, форумы, электронная переписка, статьи и т.п.).
Особенность контент-анализа заключается в изучении документов по их социальным контекстом. В то же время его можно использовать как основной метод исследования (контент-анализ текста при исследовании политической направленности периодического издания), параллельный, в сочетании с другими методами (в исследовании эффективности функционирова ния средств массовой информации), вспомогательный или контрольный (в педагогике при классификации ответов на открытые вопросы анкет).
Контент-анализ начинался как количественно-ориентированный метод анализа текстов для исследования массовых коммуникаций [6]. Впервые он был применен в 1910 году социологом Максом Вебером (Max Weber) для оценки охвата печати политических акций в Германии. Американский исследователь средств коммуникации Гарольд Лассвелл (Harold Lasswell) в 30-40-е годы использовал подобную методику для получения содержания пропагандных сообщений во время войны. С появлением средств автоматизации, текстов в электронном виде, начиная с 60-х годов ХХ века, начальное развитие получил контент-анализ информации больших объемов - баз данных и интерактивных медиа источников. Традиционное политическое использование современных информационных технологий контент-анализа было дополнено неограниченным списком рубрик и тематик, которые охватывают производственную и социальные сферы, бизнес и финансы, культуру и науку. Этот процесс сопровождался большим количеством различных программных систем. Понятие контент-анализа не имеет однозначного определения (табл. 1), что порождает проблему: системы, построенные на основе различных подходов к контент-анализу, в общем случае несовместимы.

Охват и обобщение больших динамических контентных потоков, которые непрерывно генерируют в Интернет-пространстве, требует качественно новых подходов для решения поставленных задач и решения проблем. Выход из такой ситуации – применение средств автоматизации нахождения наиболее важных составляющих в контентных потоках. Такое перспективное направление получило название контент-мониторинга. Его появление было вызвано задачами систематического отслеживания тенденций и процессов в контентной среде, которая постоянно обновляется. Контент-мониторинг – это содержательный анализ контентных потоков с целью постоянного получения необходимых качественных и количественных данных на протяжении не определенного заранее периода времени. Важной методологической составляющей контент-мониторинга является контент-анализ..1.3. Механизмы и этапы обработки текстовой информации на базе контент-анализаАнализ лексико-грамматического и семантико-прагматического построения текста используется прежде всего в модулях обработки текстовой информации. Разновидностью таких модулей является информационно-поисковая совокупность методов и средств, предназначенных для хранения и поиска документов, сведений о них или определенных фактах. Главная задача автоматизированных информационно-поисковых модулей заключается в том, чтобы из совокупности данных, которые относятся к системе, с помощью контент-анализа найти и выбрать те, которые больше всего соответствуют информационным потребностям потребителя. Выполнение этапов обработки текстовой информации приводит к формированию тематически подобранных массивов текстовой информации (табл. 4), в которых аккумулируется информация об освещении всех аспектов исследуемой проблемы, учитывая разнообразие мнений и взглядов.Таблица 4. Основные этапы обработки текстовой информации№Название этапаНазначение этапа1НачальныйОпределение тематики исследования, цели и объекта анализа, его хронологические и географические рамки, принципы отбора.2КлассификационныйФормирование классификатора для отбора ключевых цитат и составление инструкции для кодировщика..3КодирующийКодирование фрагментов текстовой информации.4АрхивныйСохранение фрагментов текстовой информации в базе данных.5АналитическийАвтоматическая обработка фрагментов текстовой информации..Контентный поиск – это совокупность заранее определенных операций (табл. 5), необходимых для отыскивания в системе документов, текстов, сведений, фактов и данных, которые отвечают на запрос пользователя. Для автоматизированного контентного поиска и обработки текстовой информации большое значение имеет наличие / отсутствие и частота появления той или иной категории лингвистической единицы в исследуемом контентном массиве. Количественный подсчет позволяет сделать объективные выводы относительно направленности материалов по количеству употреблений единиц анализа (ключевых цитат) в исследуемых контентных массивах, например, количество положительных / отрицательных отзывов на определенный вид продукции. Качественный анализ позволяет сделать объективные выводы о наличии в контентном массиве искомой лингвистической единицы и направление ее контекста. Операция поиска - это основная операция в автоматизированном модуле контентного поиска. Сущность контентного поиска заключается в идентификации сведений, хранящихся в таком модуле с информационным запросом.Таблица 5 Классификация механизмов контентного поискаТипКлассификацияХарактеристикаПо тематике и содержанию контентаОтраслевойНаличие словаря отраслевого направления, хранения контента заранее определенного образца, поиск с использованием словаря.ПолитематическийОтсутствие общего правила поиска.УскотематическийНаличие словаря тематического направления, хранения контента заранее определенного образца, поиск с использованием словаря.По типу контентаДокументальныйОбъектом хранения и поиска есть документы.ФактографическийХранение и поиск отдельных данных о каких-либо событиях, процессах или явлениях.По режиму автоматизацииВыборочныйПоиск по постоянному набору запросов для определенного контингента пользователей в массиве текущих поступлений контента через определенные интервалы времени, при этом изменяется содержание массивов модуля, а запросы остаются без изменений.РетроспективныйПоиск по всем массивами, хранящихся в модуле, согласно разовым запросам, которые меняются в зависимости от информационных потребностей пользователя.1.4. Основные операции контентного поискаСамый эффективный способ контентного поиска – это просмотр каждого контента и проверка его на соответствие информационному запросу. Однако хранение контента в полном объеме требует значительного объема памяти, а сам контентный поиск становится весьма длительным. Поэтому в контентный поиск выполняется не по тексту контента, а по его сжатым характеристикам (табл.6), то есть поисковыми образам (ПОб) – это представленное в терминах информационно-поискового языка (ИПЯ) основное содержание контента для хранения в автоматизированном модуле контентного поиска. Процедура определения ПОб – это индексирование, семантический анализ основного содержания контента и перевод его на ИПЯ. В модуле хранят не тексты контента, а его ПОб. Информационный запрос, переведеный на ИПЯ и дополненый для поиска вспомогательной информацией (серия, год издания и т.п.), является поисковым распоряжением (ПР). Решение об успешном окончании поиска не обязательно принимают в случае полного совпадения ПОб и ПР. Для принятия решения об успешном окончании поиска достаточно совпадения ПР и ПОб в пределах (0,7; 1] или (0,5; 1]. Все зависит от критерия поиска, который меняют по желанию пользователя. Результатом поиска текстовой информации может быть не один контент, а множество, с которой потребитель выбирает тот контент, который больше всего соответствует его информационной потребности.Таблица 6. Операции контентного поискаНазвание операцииХарактеристика операцииФормирование ПОбСоздание, ввод, хранение в модуле ПОб контента или ПОб с контентом;Формирование запросов и ПРСоздание, ввод и хранение в модуле запросов и ПР;Поиск контентаСравнение ПОб контента с ПР;Контент-анализКоличественный и качественный анализ текстовой информации;Принятие решенияПринятие решения о выдаче контента в соответствии с результатом применения контент-анализа текстовой информации в пределах (0,7; 1] или (0,5; 1];Представление контентаВыдача содержания, соответствующего информационному запросу.Процесс индексирования, семантического анализа и определения основного содержания контента выполняется вручную модератором или автоматически с помощью контент-анализа. Во время индексирования модератор изучает содержание контента, отделяет его центральную тему и описывает ее в терминах ИПЯ. Для некоторого контента их названия раскрывают центральную тему и предмет, но по названию не всегда можно идентифицировать контент. Степень детализации представления контента в ПОб его центральной теме или предмете, а также сопутствующих тем и предметов является глубиной индексирования. Каждый модератор один и тот же контент может индексировать субъективно, поэтому автоматизация этого процесса позволила бы обеспечить его унификацию, освободив часть персонала от тяжелого непроизводительного труда с индексирования контента. Каждый автоматизированный модуль поиска содержит в своем составе определенный набор семантических средств: ИПЯ, методы индексирования документов и запросов, методы поиска. Основу семантических средств составляет ИПЯ – это специализированный искусственный язык, предназначенная для описания центральных тем / предметов и формальных характеристик контента, а также для описания информационных запросов и дальнейшего выполнения поиска (табл. 7). Таблица 7. Требования к информационно-поисковому языкуНазвание требованияХарактеристика требованияОбеспечение достаточного набора лексико-грамматических средствДля точного выражения центральных тем или содержания любого контента и темы произвольного информационного запроса;ОднозначностьКаждая запись на этом языке имеет лишь одно семантическое толкование;Удобство и компактностьДля сопоставления и полного или частичного сравнения ПОб и ПР;Открытость и небольшая стоимостьДля возможного расширения и внесения изменений.Иногда в модулях контентного поиска один язык используют для индексации контента, а другой для индексации информационных запросов. Естественный язык не может быть использована как ИПЯ из-за недостаточной структуризации, многочисленные грамматические включения, неоднозначность и большой избыточности. В ИПЯ среди основных элементов (табл. 8) не используют характерные для естественного языка синонимы и омонимы путем предоставления языке семантической неоднозначности.Таблица 8. Основные элементы информационно-поискового языкаНазвание элементаХарактеристика элемента языкаАлфавитСистема графических знаков для фиксации слов и высказываний языка.ЛексикаСовокупность используемых в языке слов.ГраматикаСовокупность действенных средств языка и правил построения высказываний.Парадигматические (базовые, аналитические) отношениеОтношение между словами, не зависящих от контекста, в котором они используются, и порождены не языковыми, а логическими связями.Синтагматические отношенияЛинейные отношения между словами, которые непосредственно устанавливаются при объединении слов в словосочетания и фразы; например, когда к тому или иному понятие присоединяется еще одно, которое объясняет первое и указывает на то, что это понятие является собственным именем, определением или определенным видом деятельности (в контенте об изобретении понятия, связанные с изобретением, и понятия, связанные с изобретателем, имеют различные названия во избежание путаницы при поиске).ПарадигмамиОбъединения в лексико-семантические группы слов благодаря предметно-логическим связям на основе той или иной семантической признаки.Правила построения индексов и их идентификацияПарадигматика (лексика) языка опирается на определенную совокупность (перечень) связанных между собой языковых единиц; синтагматика (грамматика) языка требует определенных правил объединения этих единиц в словосочетание.При разработке ИПЯ надо обратить внимание на следующие моменты:• специфика отрасли или предмета, для которого этот язык разрабатывается;• особенности документов или текстов, которые образуют поисковый массив контента;• характер информационных потребностей пользователей модуля контентного поиска.Целесообразность использования того или иного языка во многом зависит от назначения автоматизированного модуля контентного поиска, уровня его оснащение техническими средствами, уровня автоматизации информационных процедур и звенья управления.Контент-анализ распределения текстовой информации пользователей дает возможность качественно оценить контентный поток в системах электронной коммерции для дальнейшего принятия решений соответствующим лицом. Диапазон основных методов и процедур контент-анализа, следующий:1) описание проблемной ситуации, поиск цели исследования;2) точное определение объекта и предмета исследования;3) предварительный анализ объекта;4) содержательное уточнения и эмпирическая интерпретация понятий;5) описание процедур регистрации свойств и явлений;6) определение общего плана исследования;1.5. Этапы качественного контент-анализа сайта.