Статистическая теория, в отличие от структурной, позволяет оценивать информационные системы в конкретных условиях их применения, например, при передаче сообщений по каналам связи с шумами.
Статистическая теория оперирует понятием энтропии, введенной американским ученым Шенноном и определяемой выражением:
(1.5)
где m – число возможных состояний объекта А; 
– вероятность нахождения объекта А в i-ом состоянии, 
; 
– энтропия объекта А.
В (1.5) предполагается, что имеет место ансамбль событий, т.е. полная группа событий 
с известным распределением вероятностей.
Если в (1.5) основание логарифма 
, то единицей измерения энтропии является бит.
Энтропия характеризует неопределенность состояния объекта А и использована Шенноном в статистической теории для определения количества информации 
, получаемое об объекте А в результате информационного обмена:
(1.6)
где 
– априорная энтропия объекта А, т.е. неопределенность состояния объекта А, имеющаяся у получателя информации до информационного обмена; 
– апостериорная неопределенность объекта А, т.е. остающаяся у получателя после информационного обмена.
Единицы измерения те же, что и для энтропии . Энтропия определяет среднее количество информации, приходящееся на 1 знак сообщения.
