Сам термин "сжатие", разумеется, неверен, но устоялся и общепринят. По крайней мере, визуально, это выглядит как сжатие, скажем, при замене регулярного шрифта петитом. И если с помощью подходящего кодирования при электрической связи удается обойтись передачей меньшего числа импульсов тока, то выигрывается и время и деньги.

Однажды Ходжу Насреддина спросили: - Как строятся самые высокие минареты? - Очень просто, - ответил тот. - Роют глубокий колодец, а потом выворачивают его наизнанку.

Алгоритм компрессии данных Давида Хаффмана ("Трансформатор Хаффмана") описан в сотнях (если не тысячах) статей, но я не знаю ни одной, где это было бы сделано правильно :-)

Трансформатор Хаффмана все еще остается важным классическим алгоритмом в техниках сжатия данных без потерь и достаточно поучителен для того, чтобы остановиться на нем подробнее.

Под текстом будем понимать все, что может быть представлено цепочкой (возможно, бесконечной) символов заданного алфавита. Иными словами, не только глифы обычного письма, но и, например, вокал или живопись или любой процесс, который может быть разложен в цепочку последовательных различимых состояний будем считать текстом в некотором алфавите.

На практике, мы всегда имеем дело с обменными процессами - взаимодействием, по крайней мере, двух объектов. Следует помнить, что такие, казалось бы, изолированные процессы как излучение или радиоактивный распад, не предполагающие явного участия "партнерского" объекта, на самом деле, всегда являются процессами обмена с "нулевым" объектом - окружающей средой. В последнем случае - обмен с окружающей средой - часто используется термин "диффузия", но точнее и правильнее говорить о процессе обмена.

Одна, связанная с понятием информации проблема, может показаться чисто терминологической. Но неверная терминология неизбежно ведет к неверному использованию.

Исторически сложилось так, что отсылка сообщения трактуется как "передача информации". Но информация неперемещаема, ее можно только клонировать. На самом деле, передается некоторый материальный объект (точный вид которого большей частью совершенно неважен), посредством которого достигается синхронизация состояний двух систем: источника и приемника.

В качестве провокации. Или информации к размышлению :-)

Неформально, устойчивость Текста к искажениям, то есть его пригодность к восстановлению, называется избыточностью.

По рзелульаттам илссеовадний одонго анлигйсокго унвиертисета, не иеемт занчнеия, в кокам пряокде рсапожолены бкувы в солве. Галвоне, чотбы преавя и пслоендяя бквуы блыи на мсете.

Всякое изменение тела, будь то болезнь или здоровье, сводится к перемещению веществ в пространстве… но демоны не могут произвести этого движения, так как это доступно только богу. Отсюда ясно, что демоны не могут произвести никакого, по крайней мере фактического телесного изменения, и что в силу этого, подобные превращения должны быть приписаны какой-либо тайной причине.

© Крамер, Генрих и Шпренгер, Якоб "Молот ведьм", 1486

Если у вас есть яблоко и у меня есть яблоко, и мы обменяемся этими яблоками, то у каждого из нас будет по яблоку. Но если у вас есть идея и у меня есть идея, и мы обменяемся этими идеями, то у каждого из нас будет по две идеи.

Б. Шоу

В аксиоматике Альберта Вейника, вещество обладает качеством и количеством. Точнее, набором качеств, но это, пока, несущественно. Например, качеством может быть "иметь массу", а количеством - сама эта масса, выраженная в каких-либо единицах.

Далее Вейник вводит понятие Заряд - как нечто, что можно переместить в пространстве. Для заряда формулируется закон сохранения: если переместить заряд из одного места в другое, то в прежнем его уже не будет.