Расчет информационных характеристик источников сообщений, сигналов и каналов

В курсовой работе производится расчет информационных характеристик источников сообщений, сигналов и каналов.
Целью работы является выполнение предложенных задач по следующим темам: расчет информационных характеристик источников дискретных сообщений, расчет информационных характеристик дискретного канала, согласование дискретного источника с дискретным каналом, дискретизация и квантование.
Результатом выполнения курсовой работы является получение навыков по решению задач, связанных с информационными характеристиками источников сообщений, сигналов и каналов.
...

Задание……………………………………………………………………………....4
Введение……………………………………………………………………………..5
1. Расчёт информационных характеристик источников дискретных сообщений
1.1 Задача № 1.28……………………………………………………………6
1.2 Задача № 1.50……………………………………………………………7
1.3 Задача № 1.79……………………………………………………………8
2. Расчёт информационных характеристик дискретного канала
2.1 Задача № 2.22…………………………………………………………..10
2.2 Задача № 2.40…………………………………………………………..12
3. Согласование дискретного источника с дискретным каналом без шума. Эффективное кодирование
3.1 Задача № 3.12………………………………………………………......14
3.2 Задача № 3.47…………………………………………………………..16
4. Дискретизация и квантование.
4.1 Задача № 4.2..…………………………………………………………..19
4.2 Задача № 4.52………………………………………………………..…21
4.3 Задача № 4.69…………………………………………………………..27
Заключение………………………………………………………………………..29
Список использованных источников……………………………………………30

В основе теории информации лежит статистическое описание источников сообщений и каналов связи, а также базирующееся на этом описание измерения количества информации между сообщениями, определяемого только вероятностными свойствами сообщения.

1.3 Задача № 1.79
Дискретный источник выбирает сообщения из ансамбля
.
Длительности сообщений соответственно равны: tu1=0,4 c, tu2=0,2 c, tu3=0,6 c, tu4=0,17 c. Определить производительность источника.
Решение:
Производительность источника рассчитывается по формуле
где T – время, затрачиваемое в среднем на каждое сообщение при передаче, и определяемое в соответствии со следующим выражением:
а энтропия источника H(U) в соответствии с формулой (1.4) [1] равна:
Итак, производительность источника равна:
Ответ: производительность источника .
2 Расчёт информационных характеристик дискретного канала
2.1 Задача № 2.22
На вход дискретного симметричного канала без памяти поступают двоичные символы U1 =0 и U2 = 1 с априорными вероятностями P(U1) = 0,55 и P(U2) = 0,45. Переходные вероятности P(Zj / Ui) в таком канале задаются соотношением
,
где р – вероятность ошибки, р = 0,3. определить все апостериорные вероятности.
Решение:
Ситуация в канале характеризуется схемой, изображенной на рисунке:
Рисунок 1 – Дискретный симметричный канал
Так как р – вероятность ошибки, следовательно вероятность правильного приема – q, причем
.
Найдем переходные вероятности:
В таком канале каждый кодовый символ может быть принят с ошибочной вероятностью:
.
Но не все информация, переедающаяся по каналу, может быть ошибочной. Таким образом, правильно переданная информация описывается следующим распределением вероятностей:
.
По формуле Байеса определим апостериорные вероятности:
;
Ответ: апостериорные вероятности в данном канале равны: P(U1/Z1) = 0,74; P(U1/Z2) = 0,34; P(U2/Z1) = 0,26; P(U2/Z2) = 0,66.
2.2 Задача № 2.40
На входе дискретного канала действует источник сообщений U с энтропией H(U)=61 бит. Среднее количество информации, передаваемое по каналу, I(U,Z)=21 бит. Энтропия шума в канале H(Z/U)=87 бит. На вход канала от источника сообщений U поступает n=27 сообщений в секунду.
Определить производительность источника на входе канала, ненадежность канала в единицу времени, среднюю скорость передачи информации по каналу, скорость создания ложной информации в канале, производительность выхода канала.
Решение:
Производительность источника на входе канала рассчитаем по формуле:
Для дальнейшего нахождения характеристик канала найдем условную энтропию:
Нанадежность канала в единицу времени:
Средняя скорость передачи информации по каналу:
Скорость создания ложной информации в канале:
Производительность выхода канала:
, где - энтропия на выходе канала, которая определяется формулой:
Ответ: производительность источника на входе канала , ненадежность канала в единицу времени , средняя скорость передачи информации по каналу , скорость создания ложной информации в канале , производительность выхода канала.
3 Согласование дискретного источника с дискретным каналом без шума. Эффективное кодирование
3.1 Задача № 3.12
Закодировать двоичным кодом Фано ансамбль сообщений {ai}:
{0.08, 0.001, 0.06, 0.09, 0.017, 0.18, 0.4, 0.06, 0.003, 0.027, 0.014, 0.068}
Закодировать произвольную комбинацию, состоящую из 5 символов из ансамбля{ai}. Определить потенциальный минимум среднего количества символов кода, приходящихся на одно сообщение ансамбля {ai} и среднее количество символов, разработанного кода Фано, приходящихся на одно сообщение из ансамбля {ai}. Рассчитать эффективность разработанного кода.
Решение.
Кодируется кодом Фано заданный ансамбль сообщений следующим образом.
Таблица 1 - Кодирование ансамбля сообщений {ai} двоичным кодом Фано
Символ
Вероятность
Кодовая комбинация
a7
0,4
a6
0,18
10
a4
0,09
110
a1
0,08
11100
a12
0,068
11101
a3
0,06
111100
a8
0,06