Нейронные сети в обучении языку

СОДЕРЖАНИЕ

ВВЕДЕНИЕ. ПРОБЛЕМА ПОНИМАНИЯ ЕСТЕСТВЕННЫХ ЯЗЫКОВ
1. МОДЕЛИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ДЛЯ ПРЕДСТАВЛЕНИЯ ЕСТЕСТВЕННЫХ ЯЗЫКОВ
1.2 Семантические сети
1.2 Фреймовые модели
1.3 Нейросетевые модели
2 МАШИННОЕ ОБУЧЕНИЕ
2.1 Понятие интеллектуального агента
2.2 Обучающийся агент
3. ПРИМЕНЕНИЕ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ИЗУЧЕНИЯ ЯЗЫКОВ
3.1 Автоматическое распознавание и синтез речи
3.2 Машинный перевод на основе нейронных сетей
ЛИТЕРАТУРА

Нейронные сети в обучении языку

Если говорить о взаимосвязях рассмотренных выше моделей, то можно отметить следующее. Логические и продукционные модели отличаются достаточно выраженной процедурной формой, поэтому их часто используют для описания процедурных знаний. Вместо логического вывода, характерного для логических моделей, в продукционных моделях используется вывод, основанный на знаниях. Модели знаний, опирающиеся на семантические сети, используют для описания декларативных знаний.
В системах искусственного интеллекта могут использоваться и несколько моде лей представления знаний одновременно. Например, в качестве значений некоторых слотов во фрейме могут выступать продукции. Именно смешанные представления оказываются наиболее многообещающими. В продукционных системах используются некоторые элементы логических исетевых моделей. Поэтому они позволяют организовывать эффективные процедуры вывода (близость к логическим моделям) и наглядно отражать знания в виде сетей (близость к семантическим сетям). В них отсутствуют жесткие ограничения, характерные для логических исчислений, что дает возможность изменять интерпретацию элементов продукции. Кроме того, в результате применения правил вывода к фрагментам сетевого описания происходит трансформация сети за счет смены ее фрагментов, наращивание сети и исключение из нее ненужных фрагментов.
Фрейм можно рассматривать как фрагмент семантической сети, предназначенной для описания объекта (ситуации) проблемной области со всей совокупностью присущих ему свойств. Фреймовый подход к представлению знаний более жест кий, чем основанный на использовании семантической сети. Все то об объекте или ситуации, что важно с позиции решаемой задачи, не «размывается» в сети, а представляется во фрейме. В свою очередь, фрейм можно представить в виде сети, состоящей из вершин и дуг (отношений), так, что «нижние уровни» фрейма заканчиваются слотами, которые заполняются конкретной информацией при вызове фрейма.
1.3 Нейросетевые модели
Нейрон (формальный, искусственный) — элементарный преобразующий элемент, как составная часть нейросети, в свою очередь, состоит из элементов трех типов и выполняет две основные функции — взвешенное суммирование и нелинейное преобразование5. Элементы нейрона — умножители (синапсы), сумматор и нелинейный преобразователь. Синапсы осуществляют связь между нейронами, умножают входной сигнал ( xj ) на число, характеризующее силу связи, — вес синапса ( wj ). Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов и внешних входных сигналов. Нелинейный преобразователь выполняет нелинейную функцию одного аргумента — выхода сумматора. Таким образом, нейрон в целом реализует скалярную функцию векторного аргумента.
Функционирование нейрона можно разбить на два такта (в соответствии с двумя >его функциями):
1. В сумматоре вычисляется величина возбуждения, полученного нейроном, (для простоты смещение w0 не учитывается).
2. 2. Возбуждение пропускается через преобразующую (активационную) функцию, в результате чего определяется выходной сигнал
На рис. 1.1 представлена укрупненная схема нейрона. Наиболее часто используются следующие функции активации:
Пороговая (ступенчатая) функция где θ — порог срабатывания нейрона.
Рисунок 1.1 Структурная схема нейрона
Под нейронной сетью обычно понимается структура, состоящая из связанных между собой нейронов, аксиоматическое определение которых было дано ранее. К настоящему времени предложено большое количество способов объединения нейронов в нейросеть (при этом говорят о «топологии» нейросети ). Не ограничивая общности, можно считать, что нейроны в сети расположены слоями. Обычно выделяют входной слой, на который подается возбуждающий сигнал, выходной слой, с которого снимают переработанный сетью сигнал, а все остальные слои называют скрытыми (поскольку они не видны пользователю). Очевидно, что для адекватного решения задачи функционирования сети нужно правильно выбрать значения весов связей между нейронами — обучить сеть.
Многослойные однонаправленные сети называются также сетями прямого распространения, или многослойными персептронами. В дальнейшем (там, где это не может привести к неоднозначности) будем называть такие сети многослойными. Сети этого типа состоят из нескольких слоев нейронов: входного слоя, выходного и нескольких «скрытых слоев». На рис. 1.2 изображена сеть, у которой К слоев. Нейроны каждого слоя не связаны между собой. Выходной сигнал с каждого ней рона поступает на входы всех нейронов следующего слоя. Нейроны входного слоя не осуществляют преобразования входных сигналов, их функция заключается в распределении этих сигналов между нейронами первого скрытого слоя.
Функционирование многослойной сети осуществляется следующим образом: входной сигнал, подаваемый на сеть, поступает на нейроны входного слоя, прохо дит по очереди через все слои и снимается с выходов нейронов выходного слоя. По мере распространения сигнала по сети он претерпевает ряд преобразований, которые зависят от его начального значения, от преобразующих функций и вели­чин весов связей.
Пусть сеть состоит из К слоев: одного входного, одного выходного и ( K >-2) скрытых слоев, — каждый слой состоит из n ( k ) нейронов. Набор выходных сиг­налов нейронов k - ro слоя ( k = 1: K ) обозначим . Далее обозначим wk набор весов синаптических связей, соединяющих нейроны k - 1-го слоя с нейронами k -го слоя; — вес связи, соединяющий i - й нейрон k -1-го слоя c j -м нейроном k -го слоя Т огда прямое функционирование сети описывается следующими соотношениями: y 1 = x
  — выход нейронной сети.
Рис 1.2. Схема многослойной однонаправленной сети
В основе методов обучения многослойных нейросетей наиболее часто лежит так называемое дельта-правило. Дельта-правило используется при обучении с учите лем и реализуется следующим образом: где h — параметр (шаг обучения);
d — эталонное (требуемое) значение выхода элемента.
Таким образом, изменение силы связей происходит в соответствии с ошибкой выходного сигнала 5 = ( d — у) и уровнем активности входного элемента х.. Обобщение дельта-правила , называемое обратным распространением ошибки ( Back — propagation ), применимо к сетям с любым числом слоев.
Обучение сети в этом случае состоит из следующих шагов:
1. Выбрать очередную обучающую пару ( х , d ). Подать входной вектор на вход сети.
2. Вычислить выход сети у.
3. Вычислить разность между выходом сети и требуемым выходом (ошибку).
4. Подкорректировать веса сети так, чтобы минимизировать ошибку.
5.    Повторять шаги с 1-го по 4-й для каждой обучающей пары, пока ошибка не достигнет приемлемого уровня.
Обобщая анализ моделей представления знаний, можно сделать два основных вывода:
Невозможно дать универсальные рекомендации по выбору модели. Выбор конкретной модели определяется возможностью и удобством представления исследуемой проблемной области с учетом необходимости не только представления, но и использования знаний. Однако чаще используются эвристические, не логические модели представления знаний.
Наиболее мощными оказываются смешанные представления.
2 МАШИННОЕ ОБУЧЕНИЕ
2.1 Понятие интеллектуального агента
Понятие рационального агента является центральным в подходе к искусственному интеллекту концепция рациональности может применяться к самым различным агентам, действующим в любой среде, которую только можно себе представить..
Наблюдая за тем, что некоторые агенты действуют лучше, чем другие, можно вполне обоснованно выдвинуть идею рационального агента; таковым является агент, который действует настолько успешно, насколько это возможно. Успехи, которых может добиться агент, зависят от характера среды; некоторые варианты среды являются более сложными, чем другие.
Агентом является все, что может рассматриваться как воспринимающее свою среду с помощью датчиков и воздействующее на эту среду с помощью исполнительных механизмов. Эта простая идея иллюстрируется на рис. 2.1. Человек, рассматриваемый в роли агента, имеет глаза, уши и другие органы чувств, а исполнительными механизмами для него служат руки, ноги, рот и другие части тела. Робот, выполняющий функции агента, в качестве датчиков может иметь видеокаме­ры и инфракрасные дальномеры, а его исполнительными механизмами могут являться различные двигатели. Программное обеспечение, выступающее в роли агента, в качестве входных сенсорных данных получает коды нажатия клавиш, содержимое файлов и сетевые пакеты, а его воздействие на среду выражается в том, что программное обеспечение выводит данные на экран, записывает файлы и передает сетевые пакеты. Мы принимаем общее допущение, что каждый агент может воспринимать свои собственные действия (но не всегда их результаты).
Рисунок 2.1 Интеллектуальный агент взаимодействует со средой при помощи датчиков и исполнительных механизмов.
Мы используем термин восприятие для обозначения полученных агентом сенсорных данных в любой конкретный момент времени. Последовательностью актов восприятия агента называется полная история всего, что было когда-либо воспринято агентом. Вообще говоря, выбор агентом действия в любой конкретный момент времени может зависеть от всей последовательности актов восприятия, наблюдавшихся до этого момента времени. Если существует возможность определить, какое действие будет выбрано агентом в ответ на любую возможную последовательность актов восприятия, то может быть дано более или менее точное определение агента. Сточки зрения математики это равносильно утверждению, что поведение некоторого агента может быть описано с помощью функции агента, которая отображает любую конкретную последовательность актов восприятия на некоторое действие.
Может рассматриваться задача табуляции функции агента, которая описывает любого конкретного агента; для большинства агентов это была бы очень большая таблица (фактически бесконечная), если не устанавливается предел длины последовательностей актов восприятия, которые должны учитываться в таблице. Проводя эксперименты с некоторым агентом, такую таблицу в принципе можно сконструировать, проверяя все возможные последовательности актов восприятия и регистрируя, какие действия в ответ выполняет агент. Такая таблица, безусловно, является внешним описанием агента. Внутреннее описание состоит в определении того, какая функция агента для данного искусственного агента реализуется с помощью "2s. программы агента. Важно различать два последних понятия. Функция агента представляет собой абстрактное математическое описание, а программа агента— это конкретная реализация, действующая в рамках архитектуры агента.
2.2 Обучающийся агент
Выше были описаны программы агентов, в которых применяются различные методы выбора действий. Но до сих пор еще не были приведены сведения о том, как создаются программы агентов. В своей знаменитой ранней статье Тьюринг6 проанализировал идею о том, как фактически должно осуществляться программирование предложенных им интеллектуальных машин вручную. Он оценил объем работы, который для этого потребуется, и пришел к такому выводу: "Желательно было бы иметь какой-то более продуктивный метод". Предложенный им метод заключался в том, что необходимо создавать обучающиеся машины, а затем проводить их обучение. Теперь этот метод стал доминирующим методом создания наиболее современных систем во многих областях искусственного интеллекта. Как отмечалось выше, обучение имеет еще одно преимущество: оно позволяет агенту функционировать в первоначально неизвестных ему вариантах среды и становиться более компетентным по сравнению с тем, что могли бы позволить только его начальные знания.
Как показано на рис. 2.2, структура обучающегося агента может подразделяться на четыре концептуальных компонента. Наиболее важное различие наблюдается между обучающим компонентом, который отвечает за внесение усовершенствований, и производительным компонентом, который обеспечивает выбор внешних действий. Производительным компонентом является то, что до сих пор в данной книге рассматривалось в качестве всего агента: он получает воспринимаемую информацию и принимает решение о выполнении действий. Обучающий компонент использует информацию обратной связи от критика с оценкой того, как действует агент, и определяет, каким образом должен быть модифицирован производительный компонент для того, чтобы он успешнее действовал в будущем
Рисунок 2.2 Модель обучающегося агента
Проект обучающего компонента во многом зависит от проекта производительного компонента. Осуществляя попытку спроектировать агента, который обучается определенным способностям, необходимо прежде всего стремиться найти ответ на вопрос: "Какого рода производительный компонент потребуется моему агенту после того, как он будет обучен тому, как выполнять свои функции?", а не на вопрос: "Как приступить к решению задачи обучения его выполнению этих функций?" После того как спроектирован сам агент, можно приступать к конструированию обучающих механизмов, позволяющих усовершенствовать любую часть этого агента.
Критик сообщает обучающему компоненту, насколько хорошо действует агент с учетом постоянного стандарта производительности. Критик необходим, поскольку сами результаты восприятия не дают никаких указаний на то, успешно ли действует агент. Например, шахматная программа может получить результаты восприятия, указывающие на то, что она поставила мат своему противнику, но ей требуется стандарт производительности, который позволил бы определить, что это — хороший результат; сами данные восприятия ничего об этом не говорят. Важно, чтобы стандарт производительности был постоянным. В принципе этот стандарт следует рассматривать как полностью внешний по отношению к агенту, поскольку агент не должен иметь возможности его модифицировать так, чтобы он в большей степени соответствовал его собственному поведению.
Последним компонентом обучающегося агента является генератор проблем. Его задача состоит в том, чтобы предлагать действия, которые должны привести к получению нового и информативного опыта. Дело в том, что если производительный компонент предоставлен самому себе, то продолжает выполнять действия, которые являются наилучшими с точки зрения того, что он знает.
3. ПРИМЕНЕНИЕ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ИЗУЧЕНИЯ ЯЗЫКОВ
В ходе практического изучения иностранных языков возникает ряд концептуальных задач которые в настоящее время успешно решаются применяя математический аппарат нейронных сетей. Среди таких задач необходимо указать следующие:
- выбор необходимого и адекватного перевода слову, сочетанию, предложению;
- поиск антонимов и синонимов;
- автоматическое распознавание речи (при изучении произношения);
- автоматизированный синтез речи и др.
Остановимся на некоторых практических задачах возникающих при изучении иностранных языков и решаемых при помощи аппарата нейронной сети.
3.1 Автоматическое распознавание и синтез речи
Среди основных методов автоматизированного распознавания и синтеза речи являются является обработка сигнала путем применения аппарата искусственных нейронных сетей. Исследования по этому вопросу ведутся Российской академии наук начиная с 1960 г. Проводятся теоретические исследования по разработке новых методов акусто-фонетического анализа распознавания речи на базе использования искусственных нейронных сетей. Целью этих исследований является разработка программного обеспечения в следующих направлениях:
- построение эффективных численных процедур для кодирования и использования контекстно-зависимых параметров сигнала на уровне элементарных единиц речевого потока — фонов (компьютерных аналогов аллофонов);
- разработка процедур эффективного перебора на множестве гипотезируемых последовательностей фонов или слов языка в системах распознавания;
- реализация разработанных процедур и алгоритмов в виде программного продукта для сигнальных процессоров;
- интеграция программного обеспечения в прикладную систему распознавания слитной речи (слитно-произносимые названия цифр для телефонной сети).
В направлении исследований по сжатию речевого сигнала разработаны многофакторная модель, алгоритмы кодирования речевого сигнала и соответствующее программное обеспечение.
В Санкт-Петербургском государственном университете проводятся исследования, направленные на разработку методов извлечения дополнительной информации из знаний о языке и предметной области, а также создания механизма реализации этой информации для продвижения в решении проблемы распознавания слитной речи при ограниченном объеме проблемно ориентированного словаря. На примере создания речевой информационной системы (выбор городских пешеходных маршрутов) показано, что предполагаемый механизм реализации знаний эффективно работает как на низших (акустических) уровнях распознавания, так и на высших (лингвистических) путем отбора конкурирующих гипотез на базе использования сведений о грамматике, синтаксисе, семантике и прагматике языка и сообщений.