Текстово-Ориентированные СППР

Заключение

Как указывалось выше, деятельность человека в практически во всех отраслях деятельности все более определяется стандартизацией, чему способствовало развитие систем поддержки принятия решений (СППР). Данные системы являются одними из самых актуальных информационных приложений.
Системы поддержки принятия решений – это компьютерные автоматизированные системы, помогающие людям принять наиболее оптимальное решение для указанных условий, найденное путем анализа предметной деятельности.
Одним из направления анализа в СППР является анализ и обнаружение необходимой информации в текстовых документах – Web-страницах, электронной почте, нормативных документах и т. п., – называемое Text Mining.
Анализ текстовых документов имеет следующую последовательность:
– поиск информации;
– предварител ...

Содержание

Введение 3
1. Система поддержки принятия решений. Определение. Характеристика 4
2. Текстово-ориентированные СППР 7
2.1. Анализ текстовой информации (Text Mining) 7
2.2. Средства анализа текстовой информации 9
Заключение 13
Список литературы 14

Введение
Стандартизация все больше определяет деятельность человека в профессиональной сфере. Это касается и информатики. В частности, в связи с развитием систем поддержки принятия решений (Decision Support Systems – DSS).
Системы поддержки принятия решений одни из самых актуальных информационных приложений. Это направление интенсивно развивается как в форме нетрудно интегрируемых обособленных программных решений, так и в форме внутрисистемных информационных средств. Внедрение СППР обеспечивает потребность перехода от задач автоматизации учета информации к задачам поддержки принятия управленческих решений на основании накапливаемых при этом учете данных. Выбор на конкретном предприятии вида и формы DSS-системы для конкретной сферы деятельности во многом определяется реальными внешними и вн утренними условиями.




 

Помогает автоматизировать управленческие процессы.2. Текстово-ориентированные СППР2.1. Анализ текстовой информации (Text Mining)Анализ структурированной информации, которая хранится в базах данных, требует предварительной обработки: проектирования БД, ввода информации по определенным правилам, размещения ее в специальных структурах (например, реляционных таблицах) и т.п. То есть для анализа этой информации и получения из нее новых знаний необходимо затратить дополнительные усилия, которые не всегда связаны с анализом и не обязательно дают желаемый результат. Из-за этого производительность анализа структурированной информации снижается. Кроме того, не все виды данных возможно структурировать без потери полезной информации. Например, текстовые документы практически невозможно структурироватьбез потери семантики текста и отношений между сущностями. Ввиду этого обстоятельства такие документы хранятся в базах данных без преобразований, как текстовые поля (BLOB-поля). В то же время в тексте скрыто огромное количество информации, но ее неструктурированность не позволяет использовать алгоритмы Data Mining. Эта проблема решается методами анализа неструктурированного текста, или Text Mining [1, 2].Методы анализа в неструктурированных текстах лежат на стыке нескольких областей, а именно: Data Mining, обработка естественных языков, поиск информации, извлечение информации и управление знаниями.В литературе по аналогии с термином Data Mining имеется следующее определение:Обнаружение знаний в тексте – это нетривиальный процесс обнаружения действительно новых, потенциально полезных и понятных шаблонов в неструктурированных текстовых данных.Под знаниями понимается набор документов, которые представляют собой логически объединенный текст без каких-либо ограничений на его структуру. Примерами таких документов являются: Web-страницы, электронная почта, нормативные документы и т. п. Такие документы бывают сложными и большими, могут включать в себя как текст, так и графическую информацию. Документы, использующие язык расширяемой разметки XML (eXtensible Markup Language), стандартный язык обобщенной разметки SGML (Standard Generalised Markup Language) и другие подобные соглашения по структуре формирования текста, принято называть полуструктурированными документами. Они также могут быть обработаны методами Text Mining [1].Рис. 2. Этапы Text MiningПроцесс анализа текстовых документов можно представить как последовательность нескольких шагов (рис. 2) [1, 2]:1. Поиск информации. На первом шаге необходимо идентифицировать документы, которые должны быть подвергнуты анализу, и обеспечить их доступность. Как правило, пользователи определяют набор анализируемых документов самостоятельно – вручную. Однако, при большом количестве документов необходим автоматизированный отбор по заданным критериям.2. Предварительная обработка документов. Выполнение простейших, но необходимых преобразований с документами для представления их в виде, с которым работают методы Text Mining. Цель таких преобразований – удаление лишних слов и придание тексту более строгой формы.3. Извлечение информации из выбранных документов, то есть выделение в них ключевых – анализируемых – понятий.4. Применение методов Text Mining – извлечение шаблонов и отношений, имеющихся в текстах – основной шаг в процессе анализа текстов.5. Интерпретация результатов – как правило, заключается или в представлении результатов на естественном языке, или в их визуализации в графическом виде.Визуализация также может быть использована как средство анализа текста. При этом происходт извлечение ключевых понятий, которые представляются в графическом виде. Такой подход помогает пользователю быстро идентифицировать главные темы и понятия, а также определить их важность.В настоящее время в литературе описано много прикладных задач, решаемых с помощью анализа текстовых документов. Это как классические задачи Data Mining (классификация, кластеризация), так и характерные только для текстовых документов (автоматическое аннотирование, извлечение ключевых понятий и др.) [1, 2].2.2. Средства анализа текстовой информацииВ настоящее время технологии СППР представлены целым рядом коммерческих и свободно распространяемых программных продуктов. Одни из самых известных поставщиков данных систем – это Oracle, Microsoft, IBM и SAS Institute, в том числе текстово-ориентированных. Рассмотрим продукты, разработанные Oracle и IBM.Средства Oracle – Oracle Text [1, 4].Начиная c версии Oracle 7.3.3, средства текстового анализа – неотъемлемая часть продуктов Oracle. В Oracle9i эти средства развились и получили новое название – Oracle Text – программный комплекс, позволяющий эффективно работать с запросами, которые относятся к неструктурированным текстам. При этом обработка текста сочетается с возможностями, предоставленными пользователю для работы с реляционными базами данных. В частности, при написании приложений для обработки текста стало возможным использование SQL. Данное средство входит в состав и последней версии Oracle 11g.Система Oracle Text обеспечивает решение следующих задач:поиск документов по их содержанию;классификация документов;кластеризацию документов;извлечение ключевых понятий;автоматическое аннотирование;поиск в документах ассоциативных связей.Основная задача, на решение которой нацелены средства Oracle Text, – задача поиска документов по их содержанию, то есть – по словам или фразам, которые при необходимости комбинируются с использованием булевых операций. Результаты поиска ранжируются по значимости, с учетом частоты встречаемости слов запроса в найденных документах. Для обеспечения полноты поиска в Oracle Text имеется ряд средств расширения поискового запроса, которые подразделить на три группы:1. Расширение слов запроса всеми морфологическими формами, что обеспечивается благодаря привлечению знаний о морфологии языка.2. Расширение слов запроса близкими по смыслу словами путем подключения тезауруса – семантического словаря.3.