Основные сведения из теории вероятности

Теория вероятности

Литература по кодированию и декодированию

Вопросы к зачёту по курсу ТИ.

Содержание

Информационных технологий, механики и оптики

Санкт-Петербургский национальный исследовательский университет

Факультет Компьютерных технологий и управления Кафедра БИТ

Конспект лекций по дисциплине

"Теория информации"

Большаков Никита 2133

Санкт-Петербург, 2013

Теория вероятности
Основные сведения из теории вероятности
Введение
Вероятность. Случайные события и величины
Классическое определение вероятности
Свойства вероятности. Сложение и умножение случайных событий.
Условная вероятность.
Математическое ожидание случайной величины и его основные свойства
Определение математического ожидания
Формулы вычисления математического ожидания
Дисперсия случайной величины и её основные свойства.
Свойства дисперсии
Энтропия и информация
Энтропия как мера неопределённости
Энтропия сложных событий. Условная энтропия
Понятие об информации.
Определение энтропии перечислением её свойств
Процессы кодирования
Различные виды кодов и их характерные особенности
Основные понятия
Экономность кода
Метод двоичной системы счисления
Код Шеннона - Фано
Код Хаффмана
Основная теорема о кодировании
m-ичные коды
Энтропия и информация конкретных типов сообщений. Письменная речь.
Передача непрерывно изменяющихся сообщений. Телевизионные сообщения

Введение

Термин информация в курсе будет пониматься в узком научном смысле.

Теория информации–специальная математическая дисциплина.Её содержанием явля-ется абстрактно формулируемые теоремы и модели. ТИ имеет обширное применение к теории передачи сообщений, записывающих устройств, матлингвистике, компьютерной технике.

В самом общем виде теория информации понимается как теория передачи сигналов по линиям связи. Наиболее важное понятие ТИ –- сама информация. В нашей жизни боль-шую роль играет информация и связанные с ней операции: передача, получение, обра-ботка, хранение.

Информация имеет две стороны: количественную и качественную. Иногда важно полу-чение общего количества информации (количественная сторона), иногда важно конкрет-ное содержание самой ИИ. Отметим, что переработка ИИ является технически сложной процедурой, которая усложняет разработку общей теории информации.

Важнейшим этапом в открытии основных закономерностей ТИ были работы американ-ского инженера-связиста, математика Клода Шеннона (1947-49гг).

Для вычисления количества информации была предложена т.н. логарифмическая мера. Понятие количества информации тесно связано с понятием энтропии как меры степени неопределённости. Приобретение информации сопровождается уменьшением неопре-делённости, следовательно, количество информации можно измерять количеством ''ис-чезнувшей неопределённости'' (энтропии).

Теория информации является математической теорией, использующей понятия и методы теории вероятности.