Алфавитный подход к определению количества информации

YOUTUBE · 16.11.2025 05:21

Ключевые темы и таймкоды

Алфавитный подход к определению количества информации

0:00

Содержательный подход рассматривает информацию с точки зрения человека.
В вычислительной технике используется алфавитный подход, который отвлекается от содержания информации.
Информационное сообщение рассматривается как последовательность знаков определенной знаковой системы.

Алфавит и его мощность

0:57

Алфавит включает все символы языка, включая буквы, знаки препинания, цифры и пробелы.
Мощность алфавита обозначается буквой "н" и равна полному количеству символов в алфавите.
Пример: мощность алфавита из русских букв равна 33, из латинских букв - 26, из текста на клавиатуре - 256.

Формула Хартли

2:18

В простейшем случае длина кода сообщения составляет один знак.
Формула Хартли: "н" равно два в степени "и", где "н" - количество знаков в алфавите, а "и" - количество информации, которое несет каждый знак.
Пример: в двоичной системе мощность алфавита равна двум, поэтому информационная емкость знака составляет один бит.

Пример с русским алфавитом

3:57

В русском алфавите 32 знака, поэтому каждая буква несет пять битов информации.
Формула связывает количество возможных событий и количество информации в сообщении.
Если код сообщения содержит несколько знаков, количество информации вычисляется умножением информационной емкости одного знака на количество знаков в сообщении.

Решение задачи

5:22

Задача: найти количество информации в слове "привет" при алфавите из 32 букв.
Решение: количество знаков в сообщении равно шести, мощность алфавита - 32.
Используем формулу Хартли: количество информации в одном знаке равно пяти битам.
Умножаем количество информации в одном знаке на количество знаков в сообщении: 30 бит.