русс | укр

Языки программирования

ПаскальСиАссемблерJavaMatlabPhpHtmlJavaScriptCSSC#DelphiТурбо Пролог

Компьютерные сетиСистемное программное обеспечениеИнформационные технологииПрограммирование

Все о программировании


Linux Unix Алгоритмические языки Аналоговые и гибридные вычислительные устройства Архитектура микроконтроллеров Введение в разработку распределенных информационных систем Введение в численные методы Дискретная математика Информационное обслуживание пользователей Информация и моделирование в управлении производством Компьютерная графика Математическое и компьютерное моделирование Моделирование Нейрокомпьютеры Проектирование программ диагностики компьютерных систем и сетей Проектирование системных программ Системы счисления Теория статистики Теория оптимизации Уроки AutoCAD 3D Уроки базы данных Access Уроки Orcad Цифровые автоматы Шпаргалки по компьютеру Шпаргалки по программированию Экспертные системы Элементы теории информации

Кодирование в отсутствии шумов


Дата добавления: 2013-12-23; просмотров: 1372; Нарушение авторских прав


С помощью введенных понятий можно рассмотреть многие информационные процессы. Начнем с дискретных систем без шумов. Здесь главное внимание привлекает проблема эффективности. Важно, чтобы данная информация заняла в запоминающем устройстве как можно меньше ячеек, при передаче желательно занимать канал связи на максимально короткий срок. В такой постановке задачи легко распознается проблема устранения всякой избыточности и эта проблема далеко не тривиальна.

Пусть алфавит системы состоит из m символов. Средствами этого алфавита требуется представить любой из М возможных сигналов {uk}, k = 1...m, вероятности которых {p(uk)} заданы. Обычно каждый из сигналов, подлежащих передаче, невозможно обозначить только одним символом и приходится ставить им в соответствие некоторые последовательности символов, которые называют «кодовыми словами». Так как возможна последовательная передачи разных кодовых слов, то они не только должны различаться для разных uk, но и не должны быть продолжением других, более коротких. Пусть сигналу uk cоответствует кодовое слово длиной lk символов. При стационарной передаче сигналов с вероятностями {p(uk)} средняя длина кодового слова равна cумме всех lk⋅p(uk). Возникает вопрос о том, как выбрать L и {lk}. Вопрос не имеет смысла, пока не задан критерий выбора этих величин. Определим этот критерий так: L и {lk} должны быть минимальными величинами, такими, при которых еще не происходит потери информации. Напомним, что в отсутствие шумов среднее количество информации на один элемент uk ансамбля {uk} равно энтропии этого ансамбля, т.е.

H(U) = -∑p(uk)⋅log(p(uk))

а индивилуальное количество информации есть

i(uk) = -log(uk).

С другой стороны, на один символ придется максимальное количество i информации, если символы равновероятны и независимы; при этом i = log(m). Поскольку кодирование должно вестись без потерь информации, сразу получаем



  [H(U)/log(m)] ≤ L, (4)
  [i(uk)/log(m)] < lk ≤ [i(uk)/log(m)] + 1. (5)

Так из общих соображений находим нижние границы для L и lk. В теории информации доказываются теоремы об условиях достижимости этих границ. Мы не будем приводить эти теоремы. Укажем лишь, что речь идет не только о принципиальной возможности: разработаны процедуры построения кодов, обеспечивающих безизбыточное кодирование (либо сколь угодно близкое к нему).



<== предыдущая лекция | следующая лекция ==>
Скорость передачи и пропускная способность | Кодирование при наличие шумов


Карта сайта Карта сайта укр


Уроки php mysql Программирование

Онлайн система счисления Калькулятор онлайн обычный Инженерный калькулятор онлайн Замена русских букв на английские для вебмастеров Замена русских букв на английские

Аппаратное и программное обеспечение Графика и компьютерная сфера Интегрированная геоинформационная система Интернет Компьютер Комплектующие компьютера Лекции Методы и средства измерений неэлектрических величин Обслуживание компьютерных и периферийных устройств Операционные системы Параллельное программирование Проектирование электронных средств Периферийные устройства Полезные ресурсы для программистов Программы для программистов Статьи для программистов Cтруктура и организация данных


 


Не нашли то, что искали? Google вам в помощь!

 
 

© life-prog.ru При использовании материалов прямая ссылка на сайт обязательна.

Генерация страницы за: 0.003 сек.