Критерий наибольшего отклонения

Рисунок 1.1 - Обобщенная структурная схема канал связи

Введение способа измерения количества информации К. Шенноном в конце 40-х годов привело к формированию самостоятельного научного направления под названием “Теория информации”. Параллельно на основе работ В.А. Котельникова развивалось другое научное направление - теория помехоустойчивости.

Теория информации решала задачу максимизации средней скорости передачи. Главной задачей теории помехоустойчивости является отыскание таких способов передачи и приема, при которых обеспечивалась бы наивысшая достоверность принятого сообщения. Обе задачи являются, по сути различными сторонами одного и того же процесса обработки информации при ее передаче и приеме.

В 1946 и 1956 гг. В.А. Котельниковом были опубликованы работы по оптимальным методам приема и потенциальной помехоустойчивости. Использование результатов этих работ дало возможность судить о том, насколько данная конкретная аппаратура близка к идеальной по своей способности выделять сигнал из смеси его с помехами.

Первой серьезной работой по теории передачи информации следует считать труд Р.Хартли “Передача информации”, изданный в 1928г. Немало важное значение для теории передачи дискретных сигналов имела работа Найквиста “Некоторые факторы, воздействующие на скорость телеграфирования” (1924г.).

Существенным шагом в становлении новой теории передачи информации явилась “Математическая теория связи” К.Шеннона. В этой работе доказана теорема о пропускной способности канала связи. Оказалось, что при скоростях передачи, меньших пропускной способности канала, существуют методы передачи (кодирования) и приема (декодирования), позволяющие восстановить передаваемый сигнал со сколь угодно малой вероятностью ошибки, несмотря на наличие помех.

Работы В.А. Котельникова и К. Шеннона создали фундамент теории передачи сигналов, которая получила дальнейшее развитие благодаря работам многих ученых по отдельным ее разделам.

Данные о дисциплине:Название «Теория информации».

По данной дисциплине проводятся лекционные занятия, лабораторные работы, кроме того, предполагается выполнение курсовой работы, где собирается схема с применением пакета «System View» для моделирования телекоммуникационных систем, кодирующего и декодирующего устройства циклического кода, проведение самостоятельных работ с целью углубления общих знаний теории.

1 Лекция 1. Сигнал, информация и сообщение.

Цель лекции: ознакомление с основными понятиями информации, сообщении, сигналов и энтропией информации.

Содержание:

а) сообщение как случайный процесс;

б) формы представления детерминированных сигналов;

в) мера Хартли. Количественная оценка информации;

г) энтропия как мера неопределенности выбора;

д) связь энтропии Шеннона с энтропией Больцмана.

1.1 Сообщение как случайный процесс

Главное отличие случайных сигналов от детерминированных состоит в том, что после наблюдения их на конечном отрезке времени t_н нельзя предсказать их будущее. Все случайные сигналы являются непредсказуемыми. Таким образом, для случайных сигналов нельзя подобрать математическую формулу, по которому можно было бы рассчитать их мгновенные значения. Изменением основных закономерностей случайных сигналов занимается теория вероятностей, нахождение таких характеристик случайных явлений, которые были бы неслучайными и позволяли проводить математические расчеты случайных явлений. Исследование осуществляется статистическими методами.

Случайный процесс Х(t)- это такая функция времени t, значение которой при любом фиксированном значении аргумента t является случайной величиной. Из этого определения следует, что если будет производиться наблюдение изменения во времени любой случайной величины Х, то это уже будет случайный процесс Х(t). Гармонический сигнал ,у которого хотя бы один из параметров -случайная величина, также является случайным процессом.

Пусть ξ(t) есть случайный процесс. В некоторый фиксированный момент времени t₁ различные реализации процесса будут иметь различные значения ξ₁(t₁), ξ₂(t₁),…, ξ_n(t₁). Значение ξ(t₁) является случайной величиной.

Одномерная плотность вероятности случайного процесса {ξ_k(t)} для

t= t₁: . (1.1)

Двумерная плотность вероятности случайного процесса:

. (1.2)

Произведение выражает вероятность того, что в момент времени t₁ функция ξ(t) находится в интервале между х₁ и , а в момент времени t₂ - в интервале между х₂ и . Аналогично определяются трехмерный, четырехмерный и т.д. законы распределения. Наиболее полной характеристикой случайного процесса является n – мерный закон распределения, т.е. распределение значения ξ(t) для n произвольно выбранных моментов времени.

. (1.3)

1.2. Формы представления детерминированных сигналов.

1.2.1. Временная форма

В зависимости от структуры информационных параметров, сигналы могут быть:

- непрерывные (аналоговые)

- дискретные

- дискретные-непрерывные

.

1.3 Мера Хартли. Количественная оценка информации

Энтропия как мера неопределенности выбора

Дискретный источник – в некоторый момент времени случайным образом может принять одно из конечного множества возможных состояний U₁,…,U_n, т.к. одни состояния могут быть чаще, а другие реже, то информация характеризуется ансамблем U, т.е. полной совокупностью:

причем (1.4)

Необходимо ввести меру выбора.

Условия ввода меры:

1) монотонность возрастания с увеличением возможностей выбора

можно было бы взять число состояний. – Нельзя! т.к. при N=1 ® выбора нет. - не удовлетворяет требованиям аддитивности.

2) аддитивность: информация содержащаяся в 2-х источниках должна быть равна сумме информации в каждом из них: I_S=I₁+I_{2 ,}

с другой стороны: I_S=f(M×N) т.е. f(MN) = f(M) + f(N).

Эти условия можно выполнить, если

Логарифмическая мера информации была предложена американским ученым Хартли в 1928 г. Если основание log=log₂, то имеем единицу информации – бит (binary digit).

К сожалению, мера Хартли не учитывает вероятностные характеристики информации. Допустим: - источник ® p₁=1, p₂=0

- источник ® p₁=p₂=0,5

В 1-ом случае нет - вероятности и исход – заранее известен. т.о. получение сообщения от 1-го источника информации не прибавляет.

Во 2-ом случае – исход заранее неизвестен. Поэтому информация полученная от 2-го источника ® max, т.е. вероятностная мера информации должна удовлетворять следующим условиям:

- быть непрерывной функцией вероятности состояния источника p₁, p₂,…, p_N (Sp_i=1);

- max ее (меры) значения должен достигаться при равенстве вероятностей;

- мера информации должна зависеть только от функции распределения СВ и не зависеть от ее конкретных значений.

Вероятностная мера информации как мера неограниченности выбора состояния из ансамбля была предложена Клодом Шенноном:

- энтропия (1.5)

В данной системе с=1 , тогда:

(1.6)
1.4 Связь энтропии Шеннона с энтропией Больцмана.

Рассмотрим взаимосвязь меры Шеннона с мерой Хартли. Если в ИС имеется N состояний и они p вероятны, то

. (1.7)

В случае разности вероятностных состояний информация по Шеннону < информации по Хартли. Так для двух равновероятных событий по Хартли:

I=log 2 = 1 бит.

по Шеннону: H=-(p₁log₂p₁+p₂log p₂) H=1 бит Max достигается при p₁=p₂=0,5

Рис 1.1.

2 Лекция 2. Дискретный канал без помех

Цель лекции: ознакомление с дискретным каналом передачи информации без помех.

Содержание:

а) понятие информации;

б) дискретный канал передачи информации без помех;

в) пропускная способность канала;

г) теоремы для пропускной способности канала без помех;

д) математическая модель дискретного канала без помех;

2.1. Понятие информации

Термином “информация” с древнейших времен обозначали процесс разъяснения, изложения, истолкования. Позднее так называли и сами сведения и их передачу в любом виде.

Информация – не только сведения о свойствах объектов и процессов, но и обмен этими сведениями между людьми, человеком и автоматом, автоматом и автоматом, обмен сигналами в животном и растительном мире, передача признаков от клетки к клетке, от организма к организму. Под информацией нужно понимать не сами объекты и процессы, или их свойства, а представляющие характеристики предметов и процессов, их отражение или отображение в виде чисел, формул, описаний, чертежей, символов, образов и других абстрактных характеристик.

Под информацией понимают сведения о каком-либо явлении, событии, объекте. Информация, выраженная по определенной форме, представляет собой сообщение, иначе говоря, сообщение это то, что подлежит передаче, а сигнал является материальным носителем сообщения. В широком смысле информации – это новые сведения об окружающем нас мире, который мы получаем в результате взаимодействия с ним. Информация - одна из важнейших категорий естествознания.

Можно выделить 3 основных вида информации в обществе: личную, специальную и массовую. Личная информация касается тех или иных событий в личной жизни человека. К специальной информации относятся научно-техническая, деловая, производственная, экономическая и др. Массовая информация предназначена для большой группы людей и распространяется через средства массовой информации: газеты, журналы, радио, телевидение.

Информация в любой форме является объектом хранения, передачи и преобразования. В теории и технике связи в первую очередь интересуются свойствами информации при её передачи и под информацией понимают совокупность сведений о явлениях, событиях, фактах, заранее не известных получателю.

2.2 Дискретный канал передачи информации без помех

Отличительной особенностью рассмотренных каналов без помех является то, что при выполнении условия теоремы Шеннона количество принятой информации на выходе канала всегда равно количеству информации, переданной от источника сообщений. При этом, если на вход канала поступил сигнал u_i, то на выходе возникает сигнал _I, вполне однозначно определяющий переданный сигнал u_i. Количество информации, прошедшее по каналу без помех в случае передачи u_i и приема _I, равно количеству информации, содержащейся в сигнале u_i:

J(u_i , _i)=log 1/P(u_i) . (2.1)

Здесь величина вероятности P(u_i) характеризует ту неопределенность в отношении сигнала u_i которая существовала до его передачи. После приема _I в силу однозначного соответствия между u_i и _I неопределенность полностью устраняется.

2.3 Пропускная способность канала

Максимально возможная скорость передачи информации по каналу связи при фиксированных ограничениях называются пропускной способностью канала: C= max R= max H(u)/τ (дв.ед./сек). (2.2)

Пропускная способность канала характеризует его предельные возможности в отношении передачи среднего количества информации за единицу времени. Максимум скорости R в выражении (2.9) ищется по всем возможным ансамблям сигналов u.

Определим пропускную способность канала, в котором существуют 2 ограничения: число используемых сигналов не должно превышать m, а длительность их не может быть меньше τ, сек. Так как Н(u) и τ не зависимый, то согласно выражению (2.9) следует искать раздельно максимум Н(u) и минимум τ. Тогда:

С= max H(u)/min τ=( log m)/τ . (2.3)

Для двоичных сигналов m=2 и пропускная способность

, (2.4)

т.е. совпадает со скоростью телеграфирования в бодах. При передаче информации простейшими двоичными сигналами – телеграфными посылками – необходимая полоса пропускания канала зависит от частоты манипуляции F_m=1/2τ, которая по определению равна частоте первой гармонике спектра сигнала, представляющего собой периодическую последовательность посылок и пауз. Очевидно, минимальная полоса пропускания канала, при которой ещё возможна передача сигналов, F= F_m. Отсюда максимальная скорость передачи двоичных сигналов по каналу без помех равна:

C=V=2 F_m. (Предел Найквиста).

Понятие пропускной способности применима не только по всему каналу в целом, но и к отдельным его звеньям. Существенным здесь является то, что пропускная способность C’ какого- либо звена не превышает пропускной способности C’’ второго звена, если оно расположено внутри первого. Соотношение C’≤ C’’ обусловлено возможностью появления дополнительных ограничений, накладываемых на участок канала при его расширении и снижающих пропускную способность.

2.4 Теоремы для пропускной способности канала без помех

Для дискретных каналов без помех Шенноном была доказана следующая теорема: если производительность источника R_и C-ξ, где ξ- сколь угодно малая величина, то всегда существует способ кодирования, позволяющий передавать по каналу все сообщения источника. Передачу всех сообщений при R_и>С осуществить невозможно.

Смысл теоремы сводится к тому, что как бы не была велика избыточность источника, все его сообщения могут быть переданы по каналу, если R_и С-ξ . Обратное утверждение теоремы легко доказывается от противного. Допустим, R_и>С, но для передачи всех сообщений источника по каналу необходимо, чтобы скорость передачи информации R была не меньше R_и. Тогда имеем R R_и>С, что невозможно, так как по определению пропускная способность С=R_max .

Для рационального использования пропускной способности канала необходимо применять соответствующие способы кодирования сообщений. Статистическим или оптимальным называется кодирование, при котором наилучшим образом используется пропускная способность канала без помех. При оптимальном кодировании фактическая скорость передачи по каналу R приближается к пропускной способности С, что достигается путем согласования источника с каналом. Сообщения источника кодируются таким образом, чтобы они в наибольшей степени соответствовали ограничениям, которые накладываются на сигналы, передаваемые по каналу связи. Поэтому структура оптимального кода зависит как от статистических характеристик источника, так и от особенностей канала.

Рассмотрим основные принципы оптимального кодирования на примере источника независимых сообщений, который необходимо согласовать с двоичным каналом без помех. При этих условиях процесс кодирования заключается в преобразовании сообщений источника в двоичные кодовые комбинации.

Энтропия кодовых комбинаций равна энтропии источника:

. (2.5)

Скорость передачи информации в канале:

. (2.6)

Здесь числитель определяется исключительно статистическими свойствами источника, а величина τ₀ – характеристиками канала. Можно закодировать сообщения, чтобы скорость передачи R (2.6) достигла своего максимального значения, равного пропускной способности двоичного канала С=1/ τ₀, если выполняется условие:

. (2.7)

Одним из кодов, удовлетворяющих условию (2.7), является код Шеннона-Фано.

2.5 Математическая модель дискретного канала без помех

Постоянный симметричный канал без памяти определяется как дискретный канал, в котором каждый переданный кодовый символ может быть принят ошибочно с фиксированной вероятностью р и правильно с вероятностью 1-р, причем в случае ошибки вместо переданного символа b_i может быть рваной вероятностью принят любой другой символ. Таким образом, вероятность того, что принят символ b_j если был передан b_i,

. (2.8)

Вероятность любого n - мерного вектора ошибки в таком канале

(2.9)

где l- число ненулевых символов в векторе ошибки. Вероятность того что произошло l ошибок, расположенных как угодно на протяжении последовательности длины n, определяется формулой Бернулли

(2.10)

где - биноминальный коэффициент, равный числу различных сочетаний l ошибок в блоке длиной n.

Эту модель также называют биноминальным каналом. Она удовлетворительно описывает канал, возникающий при определенном выборе модема, если в непрерывном канале отсутствуют замирания, а аддитивный шум белый (или по крайней мере квазибелый). Нетрудно видеть, что вероятность появления ошибок в двоичной кодовой комбинации длины n (кратному l 1) согласно модели (2.10) при р <<1

. (2.11)

Вероятность переходов в двоичном симметричном канале схематически показана в виде графа на рисунке 2.2.

p

p

Рисунок 2.2

3 Лекция 3. Дискретный канал с помехами

Цель лекции: ознакомление c понятием помех

Содержание:

а) понятие помех;

б) виды помех;

в) искажения;

г) борьба с помехами.

3.1 Понятие помехи

Помеха – это любое воздействие, накладывающееся на полезный сигнал и затрудняющее его прием. Помехи весьма разнообразны как по своему происхождению, так и по физическим свойствам.

В проводных каналах связи основным видом помех являются импульсные шумы и прерывная связь. Появление импульсных помех часто связано с автоматической коммутацией и с перекрестными наводками. Прерывание связи есть явление, при котором сигнал в линии резко затухает или совсем исчезает.

Практически в любом диапазоне частот имеют место внутренние шумы аппаратуры, обусловленные хаотическим движением носителей заряда в усилительных приборах, сопротивлениях и других элементах аппаратуры. Этот вид помех особенно сказывается в диапазоне ультракоротких волн. В этом диапазоне имеют значение и космические помехи, связанные с электромагнитными процессами, происходящими на Солнце, звездах и других внеземных объектах.

Классификацию помех можно провести по следующим признакам:

- по происхождению (месту возникновения);

- по физическим свойствам;

- по характеру воздействия на сигнал.

3.2. Виды помех

К помехам по происхождению в первую очередь относятся внутренние шумы аппаратуры (тепловые шумы) обусловленные хаотическим движением носителей заряда в усилительных приборах, сопротивлениях и других элементах аппаратуры. Случайное тепловое движение носителей заряда в любом проводнике вызывает случайную разность потенциалов на его концах. Среднее значение напряжения равно нулю, а переменная составляющая проявляется как шум. Квадрат эффективного напряжения теплового шума определяется известной формулой Найквиста

(3.1)

где Т- абсолютная температура, которую имеет сопротивление R;

F- полоса частот; k=1,37*10 (-23) Вт.сек/град- постоянная Больцмана.

К помехам по происхождению, во вторую очередь, относятся помехи от посторонних источников, находящихся вне каналов связи:

- атмосферные помехи (громовые разряды, полярное сияние, и др.), обусловленные электрическими процессами в атмосфере;

- индустриальные помехи, возникающие в электрических цепях электроустановок (электротранспорт, электрические двигатели, системы зажигания двигателей, медицинские установки и другие.);

- помехи от посторонних станций и каналов, возникающих от различных нарушений режима их работы и свойств каналов;

- космические помехи, связанные с электромагнитными процессами, происходящими на Солнце, звездах, галактиках и других внеземных объектах.

По физическим свойствам помех различают:

- Флуктуационные помехи;

- Сосредоточеные помехи.

Флуктуационные помехи. Среди аддитивных помех особое место занимает флуктационная помеха, которая является случайным процессом с нормальным распределением (гауссов процесс). Этот вид помех практически имеет место во всех реальных каналах.

Электрическую структуру флуктуационной помехи можно представить себе как последовательность бесконечно коротких импульсов, имеющих случайную амплитуду и следующих друг за другом через случайные промежутки времени. При этом импульсы появляются один за другим настолько часто, что переходные явления в приемнике от отдельных импульсов накладываются, образуя случайный непрерывный процесс.

Так, источником шума в электрических цепях могут быть флуктуации тока, обусловленные дискретной природой носителей заряда (электронов, ионов). Дискретная природа электрического тока проявляется в электронных лампах и полупроводниковых приборах в виде дробового эффекта.

Наиболее распространенной причиной шума являются флуктуации, обусловленные тепловым движением.

Длительность импульсов, составляющих флуктуационную помеху, очень мала, поэтому спектральная плотность помехи постоянна вплоть до очень высоких частот.

К сосредоточенным по времени (импульсным) помехам относят помехи в виде одиночных импульсов, следующих один за другим через такие большие промежутки времени, что переходные явления в радиоприемнике от одного импульса успевают практически затухнуть к моменту прихода следующего импульса.

Сосредоточенные по спектру помехи. К этому виду помех принято относить сигналы посторонних радиостанций, излучения генераторов высокой частоты различного назначения и т. п. В отличие от флуктационных и импульсных помех, спектр которых заполняет полосу частот приёмника, ширина спектра сосредоточенной помехи в большинстве случаев меньше полосы пропускания приёмника. В диапазоне коротких волн этот вид помех является основным, определяющим помехоустойчивость связи.

По характеру воздействияна сигнал различают:

- аддитивные помехи;

- мультипликативные помехи.

Аддитивной называется помеха, мгновенные значения которой складываются с мгновенными значениями сигнала. Мешающее воздействие аддитивной помехи определяется суммированием с полезным сигналом. Аддитивные помехи воздействует на приемное устройство независимо от сигнала и имеют место даже тогда, когда на входе приемника отсутствует сигнал.

Мультипликативнойназывается помеха, мгновенные значения которой перемножаются с мгновенными значениями сигнала. Мешающее действие мультипликативных помех проявляется в виде изменения параметров полезного сигнала, в основном амплитуды. В реальных каналах электросвязи обычно имеют место не одна, а совокупность помех.

Под искажениямипонимают такие изменения форм сигнала, которые обусловлены известными свойствами цепей и устройств, по которым проходит сигнал. Главная причина искажений сигнала – переходные процессы в линии связи, цепях передатчика и приемника. При этом различают искажения: линейные и нелинейные возникающие в соответствующих линейных и нелинейных цепях. В общем случае искажения отрицательно сказываются на качестве воспроизведения сообщений и не должны превышать установленных значений (норм).

При известных характеристиках канала связи форму сигнала на его выходе всегда можно рассчитать по методике, изложенной в теории линейных и нелинейных цепей. Дальнейшие изменения формы сигнала можно скомпенсировать корректирующими цепями или просто учесть при последующей обработке в приемнике. Это уже дело техники.

ДРУГОЕ ДЕЛО ПОМЕХИ - ОНИ заранее не известны и поэтому не могут быть устранены полностью.

Борьба с помехами - основная задача теории и техники связи. Любые теоретические и технические решения, о выполнении кодера или декодера, передатчика и приемника системы связи должны приниматься с учетом того, что в линии связи имеются помехи. При всем многообразии методов борьбы с помехами их можно свести к трем направлениям:

- подавление помех в месте их возникновения. Это достаточно эффективное и широко применяемое мероприятие, но не всегда приемлемо. Ведь существуют источники помех, на которые воздействовать нельзя (грозовые разряды, шумы Солнца и др.);

- уменьшение помех на путях проникновения в приемник;

- ослабление влияния помех на принимаемое сообщение в приемнике, демодуляторе, декодере. Именно это направление для нас является предметом изучения.

4 Лекция 4. Дискретный канал передачи информации с помехами

Цель лекции: ознакомление с дискретным каналом передачи информации с помехами

Содержание:

а) дискретный канал передачи информации с помехами;

б) пропускная способность канала с помехами;

в) теоремы для пропускной способности канала с помехами;

д) математическая модель дискретного канала с помехами.

4.1 Дискретный канал передачи информации с помехами

Иное положение имеет место в каналах, где присутствуют различного рода помехи. Их воздействие на передаваемый сигнал приводит к разрушению и необратимой потере части информации, поступающей от источника сообщения. Поскольку в канале с помехами принятому сигналу _I может соответствовать передача одного из нескольких сигналов u, то после приема _I остается некоторая неопределенность в отношении переданного сигнала. Здесь соответствие между u и носит случайный характер, поэтому степень неопределенности характеризуется условной апостериорной вероятностью P(u_i/ _i), причем всегда P(u_i/ _i) <1. Количество информации, необходимое для устранения оставшейся неопределенности log 1/P(u_i/3_i), очевидно, равно той части информации и определяется как разность:

J(u_i , _i)= log 1/P(u_i) – log 1/P(u_i/ _i) = log P(u_i/ _i)/P(u_i). (4.1)

4.2 Пропускная способность канала с помехами

Пропускная способность канала с помехами определяется как максимально возможная скорость передачи при заданных ограничениях, накладываемых на передаваемые сигналы:

C=R_max.. (4.2)

Для каналов с сигналами одинаковой длительности, равной τ, пропускная способность

, (4.3)

где максимум ищется по всем возможным ансамблям сигналов u , Р.

Рассмотрим двоичный канал с помехами без памяти, по которому передаются дискретные сигналы, выбранные из ансамбля, содержащих два независимых сигнала u₁ и u₂ с априорными вероятностями Р(u₁) и Р(u₂). На выходе канала образуются сигналы υ₁ и υ₂ , при правильном приеме отражающие соответственно сигналы u₁ и u₂. В результате действия помех возможны ошибки, которые характеризуются при передаче u₁ условной вероятностью Р(υ_2/ u₁), при передаче u₂ - условной вероятностью Р(υ_1/ u₂).

Вычислим энтропию сигнала :

. (4.4)

И энтропию шума:

(4.5)

Будем полагать канал симметричным. Для такого канала вероятности переходов одинаковы: Р(υ_2/ u₁) = Р(υ_1/ u₂) = Р, а полная вероятность ошибки

(4.6)

Отсюда вытекают соотношения:

(4.7)

После их подстановки в (4.4) получаем:

. (4.8)

Для того, чтобы определить полную пропускную способность (4.3.), необходимо максимизировать J(u,v)=H(v)-H(v/u). При заданной вероятности ошибки, как следует из (4.8), величина H(v/u) постоянна, а максимум следует искать, изменяя H(v). Энтропия сигнала H(v), выраженная формулой (4.2), имеет максимальное значение H₀(v)=1 в случае равновероятных сигналов, когда P(v₁)= P(v₂)=0.5. Подставляя выражения (4.7) u (4.8) в формулу (4.2) получим следующее выражение для пропускной способности двоичного симметричного канала:

. (4.9)

Рисунок 4.1 - Зависимость пропускной способности двоичного канала от вероятности ошибки Р₀

На рисунке 4.1 приведена зависимость С от вероятности ошибки для двоичного канала (4.9). Увеличение Р₀ приводит к снижению пропускной способности, которая становится равной нулю при Р₀ =0,5. В этом случае в соответствии с (4.7) полностью исчезает какая-либо зависимость между передаваемыми и принятыми сигналами: Р(v₁/u₁)= Р(v₂/u₁)=1/2 и Р(v₁/u₂)= Р(v₂/u₂)=1/2. Значение Р₀=1/2 для бинарного канала является предельным.

4.3 Теоремы для пропускной способности канала с помехами

Для дискретных каналов с помехами Шеннон доказал теорему, имеющую фундаментальное значение в теории передачи информации. Эта теорема может быть сформулирована следующим образом.

Если производительность источника R_и C-ε, где ε- сколь угодно малая величина, то существует способ кодирования, позволяющий передавать все сообщения источника со сколь угодно малой вероятностью ошибки. При R_и>C такая передача невозможна. Количество типичных переходов каждой группы:

М_Г=2^nH(v/u) . (4.10)

В общем случае переходы перекрещиваются, т.е. одна и та же последовательность V_j может образоваться в результате передачи одной из нескольких последовательностей U.

Вероятность ошибки декодирования:

. (4.11)

М_И – число последовательностей, выбранные для переноса информации;

Р_пер – вероятность перекрещивания переходов.

Это оценка вероятности ошибки является грубым приближенным, однако она правильно указывает на характер зависимости Р_ОД от М_И.

Если энтропия источника равна Н_И, то:

(4.12)

.

Скорость передачи информации:

где . (4.13)

При максимальной скорости передачи сообщений по каналу maxR=C и

. (4.14)

Возможность одновременного установления сколь угодно малой вероятности ошибки декодирования Р_ОД и малой величины ε доказывает справедливость теоремы Шеннона.

Для обеспечения высокой достоверности передачи сообщений необходимо применять коды с избыточностью. Если R=C, то средняя взаимная информация . Тогда коэффициент избыточности:

. (4.15)

Иными словами, теорема утверждает, что для передачи сообщений со сколь угодно малой вероятностью ошибки декодирования P_ОД могут быть найдены коды с минимальной избыточностью, равной χ. При передаче бинарных сигналов минимальная избыточность равна:

. (4.16)

4.4 Математическая модель дискретного канала с помехами

Простейшей моделью двоичного канала с памятью является Марковская, определяемая матрицей переходных вероятностей

(4.17)

где Р₁ – условная вероятность принять (i+1)–й символ ошибочно, если предыдущий принят правильно; 1- Р₁ – условная вероятность принять (i+1)–й символ правильно, если предыдущий принят правильно; Р₂ - условная вероятность принять (i+1)–й символ ошибочно, если предыдущий принят ошибочно; 1- Р₂ – условная вероятность принять (i+1)–й символ правильно, если предыдущий принят ошибочно.

Безусловная вероятность ошибки р должна удовлетворять уравнению . Откуда . Это модель очень проста в использовании, однако она весьма неточно воспроизводит свойства реальных каналов.

Несколько более успешно используется модель Гильберта. Согласно этой модели канал может находиться в двух состояниях S₁ и S₂. В состоянии S₁ ошибок не происходит, в состоянии S₂ ошибки возникают независимо с вероятностью p₂. Переходы из одного состояния в другое образуют простую Марковскую цепь с матрицей переходов

(4.18)

где P(S₂/S₁) –вероятность перехода из состояния S₁ в S₂; P(S₁/S₂) - вероятность перехода из состояния S₂ в S₁. Вероятности нахождения канала в состоянии S₁ и S₂ соответственно

; . (4.19)

Безусловная вероятность ошибки

.

При использовании модели Гильберта обычно полагают р₂=0,5. Это хорошо согласуется с представлением о канале, в котором на некоторых временных интервалах из-за плохих условий прохождения или действия мощных помех связь пропадает.

5 Лекция 5. Принципы дискретизации и восстановление информации

Цель лекции: ознакомление c принципами дискретизации и восстановление информации.

Содержание:

а) представление информации в непрерывном виде;

б) принципы дискретизации и восстановление информации;

в) критерии качества восстановления.

5.1 Представление информации в непрерывном виде

Сигналы, существующие непрерывно во времени и принимающие любые значения из какого-то интервала, принято называть непрерывными.

Виды сигналов: Непрерывный сигнал непрерывного времени- наз. сокращенно непрерывными (аналоговыми). Они могут изменяться в произвольный момент принимая любые из непрерывного множества возможных значений. К таким сигналам относиться известная всем синусоида. Непрерывный сигнал дискретного времени – могут принимать произвольные значения, но изменяться только в определенные, наперед заданные (дискретные) моменты t₁,t₂,t₃

s s

t₁ t₂ t₃ t₄ t₅ t₆ t₁ t₂ t₃ t₄

а) б)

Рисунок 5.1- а) Непрерывный сигнал непрерывного времени

б) Непрерывный сигнал дискретного времени

5.2 Принципы дискретизации и восстановление информации

Под дискретизацией понимается преобразование непрерывных сообщений (сигналов) в дискретные. При этом используется дискретизация по времени и по уровню.

Дискретизация по времени выполняется путем взятия отсчетов функции u(t) в определенные дискретные моменты времени t_k. В результате непрерывная функция u(t) заменяется совокупностью мгновенных значений u_k={u(t_k)}. Обычно моменты отсчетов выбираются на оси времени равномерно, то есть t_k =k∆t. Выбор интервала ∆t производится на основании теоремы Котельникова, согласно которой функция с ограниченным спектром полностью определяется своими значениями, отсчитываемыми через интервалы ∆t=1/2F, где F – ширина спектра. Дискретизация по времени лежит в основе всех видов импульсной модуляции.

В некоторых случаях сообщение может представлять собой функцию не одного, а нескольких переменных. Примером такого сообщения является телевизионное изображение, которое можно представить как функцию u(x,y,t) двух пространственных координат x и y и времени t, где u – яркость изображения. Дискретизация по времени осуществляется с помощью кадровой развертки. Шаг дискретизации ∆t равен числу кадров в секунду. В результате строчной развертки дискретизируется координата у, координата х при этом остается непрерывной. Шаг дискретизации ∆у определяется числом строк развертки. Таким образом, получается функция

. (5.1)

Где - скорость развертки вдоль строки, i - номер строки, k - номер кадра.

Дискретизация значения функций носит название квантования. Операция квантования сводится к тому, что вместо данного мгновенного значения сообщений u(t) передаются ближайшие значения по установленной шкале дискретных уровней.

Дискретные значения по шкале уровней чаще всего выбираются равномерно: . Само собой разумеется, что при квантовании вносится погрешность, так как истинные значения функций u заменяются округленными значениями u_k. Величина этой погрешности не превосходит половины шага квантования ∆u и может быть сведена до допустимого значения. Погрешность является случайной функцией и проявляется на выходе как дополнительный шум наложенный на передаваемое сообщение.

Дискретизация одновременно по времени и уровню позволяет непрерывное сообщение преобразовать в дискретное, которое затем может быть кодировано и передано методами дискретной техники. Достоинствами систем связи дискретизации является возможность применения кодирования для повышения помехоустойчивости, удобства обработки сигналов и сопряжения устройств связи с цифровыми вычислительными машинами.

Воспроизведение сигнала посредством выборок можно производить как на основе ортогональных, так и неортоганальных базисных функций, которые определяют тип аппроксимирующего полинома и принцип приближения: интерполяционный, экстраполяционный, комбинированный.

При неортогональных представлениях сигнала наиболее часто используются степные алгебраические полиномы вида

, (5.2)

или

(5.3)

где a_j – действительные коэффициенты.

Если координаты сигнала представлены в виде разности выборок, то при его восстановлении, как правило, сначала проводят вычисление последовательности выборок и уже по ним строят аппроксимирующий полином u*(t).

Выбор системы базисных функций в составе аппроксимирующего полинома u*(t) во многом определяется требованием обеспечения простоты технической реализации аппаратных (программных) средств дискретизации и восстановления сигнала. Если базисные функции выбраны так, что значения аппроксимирующего полинома совпадают со значениями выборок в моменты их отсчета, то такой полином называют интерполирующим.

5.3 Критерии качества восстановления.

Существуют следующие критерии:

Критерий наибольшего отклонения

где: допускаемая погрешность восстановления, - max значение - текущая погрешность приближения.

При этом имеется уверенность, что любые изменения исходного сигнала, включая кратковременные выбросы будут зафиксированы.

2) Критерий СКЗ. где: - дополнительная СК погрешность приближения, - СК погрешность приближения.