Розрахунок ентропії складних періодичних, хаотичних і шумових реалізацій.

При описанні відкритих систем певну роль відіграє баланс ентропії. В результаті необоротних дисипативних процесів (дифузії, в’язкості, теплопровідності, фазових процесів, хімічних процесів) в будь-якій реальній системі зростає ентропія. Єдина функція стану, яка розрізняється в необоротних та в оборотних системах, - це ентропія: по-перше, вона зростає, а по-друге – змінюється.

Для розрахунку значення ентропії Шенона Sнеобхідно діапазон зміни змінної стану системи розділити на Kінтервалів довжини . Потім необхідно розрахувати імовірність знаходження траєкторії системи в k-ом інтервалі. Тоді ентропія Шенона визначається виразом

Числові помилки при визначенні ентропії виникають через те, що довжина послідовності даних, яка розглядається, - кінцева, а також із-за довільного вибору довжини інтервалу . Для того, щоб уникнути неточності у визначенні S, пов'язаної з вибором довжини інтервалу, використовують нормовану ентропію Шенона

де довжина послідовності даних, - середнє.