В плохих соседствах встречается, что через забор к недругу перекидывают дохлую кошку. Смысл послания вполне очевиден. Порода и масть кошки значения при этом не имеют. Странным образом, то, что сегодня понимается под "теорией информации" занимается не смыслом посланий, а криминалистическим анализом дохлой кошки.

Признаться, хороших определений понятия Информация в словарях нет.

Вики замечает:

"Несмотря на широкую распространённость, понятие информации остаётся одним из самых дискуссионных в науке, а термин может иметь различные значения в разных отраслях человеческой деятельности".

Одно, недавно предъявленное определение звучало так:

Написал - и задумался. Кажется, я уже слышал такое сочетание. И точно - вики выводит на Лучано Флориди, сделавшего если не состояние, то, по крайней мере, имя на спекуляциях вокруг понятия "Информация". (Основатель и директор IEG, исследовательской группы Оксфордского Университета в области философии информации, а также директор исследовательской группы философии информации в университете Хертфордшира).

Эксплуатируя ту же самую идею повторяющихся токенов, LZ2 отличается от LZ1 в двух важных аспектах: во-первых, словарь строк выделен теперь в отдельный объект и, во-вторых, сами словарные входы (паттерны) конструируются теперь по-другому.

Сам термин "сжатие", разумеется, неверен, но устоялся и общепринят. По крайней мере, визуально, это выглядит как сжатие, скажем, при замене регулярного шрифта петитом. И если с помощью подходящего кодирования при электрической связи удается обойтись передачей меньшего числа импульсов тока, то выигрывается и время и деньги.

Однажды Ходжу Насреддина спросили: - Как строятся самые высокие минареты - Очень просто, - ответил тот. - Роют глубокий колодец, а потом выворачивают его наизнанку.

Однажды Ходжу Насреддина спросили: - Как строятся самые высокие минареты? - Очень просто, - ответил тот. - Роют глубокий колодец, а потом выворачивают его наизнанку.

Алгоритм компрессии данных Давида Хаффмана ("Трансформатор Хаффмана") описан в сотнях (если не тысячах) статей, но я не знаю ни одной, где это было бы сделано правильно :-)

Трансформатор Хаффмана все еще остается важным классическим алгоритмом в техниках сжатия данных без потерь и достаточно поучителен для того, чтобы остановиться на нем подробнее.

Под текстом будем понимать все, что может быть представлено цепочкой (возможно, бесконечной) символов заданного алфавита. Иными словами, не только глифы обычного письма, но и, например, вокал или живопись или любой процесс, который может быть разложен в цепочку последовательных различимых состояний будем считать текстом в некотором алфавите.