Afinal, o que é informação?

A máquina que burla a segunda lei

Em 1867, James Clerk Maxwell imaginou uma caixa de gás dividida ao meio, com uma portinhola minúscula controlada por um ser microscópico. Ele olha cada partícula que se aproxima: rápida vindo da esquerda, ele abre; lenta vindo da direita, abre também; o resto, barra. Depois de muitas decisões, as rápidas estão de um lado e as lentas do outro. Apareceu uma diferença de temperatura sem pistão, sem trabalho aparente, sem mudar a energia total — e a entropia do gás diminuiu.

A solução não está na porta. Está numa parte que quase ninguém olha: para decidir, o demônio precisa distinguir rápida de lenta e guardar o resultado. Ele tem memória. Uma decisão cabe num registro; mas ele decide sem parar, e uma memória que só cresce não é uma máquina cíclica — é uma máquina que consome um recurso infinito. Para operar em ciclo, ele tem de devolver cada célula ao estado pronto para a próxima medição. Ele tem de apagar. E é exatamente aí que a informação entra na física. Mas antes do custo, falta uma pergunta: o que, exatamente, está sendo guardado?

Contar alternativas, não significados

Claude Shannon, em 1948, começou deixando o significado de lado. “SOCORRO” e sete letras sorteadas usam sete posições do mesmo alfabeto, atravessam o mesmo canal e custam o mesmo para transmitir — mesmo que só uma salve uma vida. Significado e quantidade de informação são grandezas diferentes, e separá-las foi o que fez a teoria funcionar.

A pergunta de Shannon é: quantas escolhas a fonte poderia ter feito? Se alguém escolheu uma entre oito mensagens, antes você tinha oito alternativas na cabeça; depois, uma. A observação informou porque eliminou sete. Isso exige um conjunto de alternativas e um modelo de probabilidades: sem saber o que poderia ter acontecido, não há quantidade para calcular. O mesmo símbolo informa muito a quem esperava outra coisa e quase nada a quem já sabia.

E dá para medir com perguntas de sim ou não. Oito alternativas iguais: “está na primeira metade?” corta oito em quatro; outra pergunta, quatro em duas; mais uma, e sobra uma. Três divisões equilibradas, três bits. Cuidado com o nome: bit é unidade, não desenho. Uma célula com dois estados pode guardar até um bit — mas se o valor dela era previsível, observá-la não informa nada.

Surpresa

Uma moeda justa: cara ou coroa elimina uma de duas alternativas iguais, um bit. Dois lançamentos: uma entre quatro sequências, dois bits. Quatro lançamentos: uma entre dezesseis, quatro bits. Dobrar as possibilidades acrescenta um bit.

Agora uma moeda que dá cara 90% das vezes. Cara você já esperava: elimina pouca incerteza. Coroa é rara e muda bastante o quadro. A medida precisa valer zero para o certo, crescer conforme a probabilidade cai e — para eventos independentes, cujas probabilidades se multiplicam — somar. A função que transforma produto em soma é, de novo, o logaritmo:

$$I(x)=-{\log }_{2}p(x).$$

Com os números: cara, a 90%, dá 0,15 bit; coroa, a 10%, dá 3,32 bits. Informação não é frequência: é surpresa, medida contra o seu modelo.

A entropia de Shannon

Uma fonte produz muitos símbolos. Em média, quanta informação por símbolo? A média ponderada das surpresas:

$$H(X)=-\sum _{x}p(x){\log }_{2}p(x).$$

Raros surpreendem muito mas aparecem pouco; comuns aparecem muito mas surpreendem pouco. A moeda justa tem $H=1$ bit, o máximo para duas alternativas. A de 90% tem 0,47 bit. A que sempre dá cara tem zero — não porque nada é gravado, mas porque o próximo símbolo já estava decidido antes de você olhar.

O nome “entropia” não é coincidência. A entropia de Gibbs é $S=-k_B{\sum }_i{p}_i\ln p_i$: a mesma estrutura, com $k_B$ e logaritmo natural. Com $\Omega$ microestados equiprováveis, Shannon dá ${\log }_2\Omega$ bits e Boltzmann dá $k_B\ln \Omega$ — uma é a outra vezes $k_B\ln 2$. Mas a ponte exige dizer quais estados físicos você está distinguindo e com que probabilidades. Sem isso, é semelhança de fórmula, não identidade.

Comprimir e proteger

Shannon montou o cenário: uma fonte escolhe mensagens, um codificador as transforma em sinal, um canal altera o sinal com ruído, um decodificador tenta reconstruir. Mensagem, sinal e suporte não são a mesma coisa — a palavra vira pulso elétrico, luz numa fibra, marca no papel. O que precisa sobreviver são as distinções entre as alternativas.

Compressão. Dê códigos curtos aos símbolos frequentes e longos aos raros — o Morse já fazia isso, com E em um ponto e Q em traço-traço-ponto-traço. O teorema de codificação da fonte diz até onde dá para ir: em blocos grandes, o comprimento médio de uma codificação sem perda pode se aproximar de $H$, e não pode ficar abaixo. Ele é um limite estatístico: não comprime todo arquivo individual, e não transforma significado em bits.

Ruído. Ruído apaga distinções: um 0 sai e chega como 1. A defesa é redundância estruturada. Repetir cada bit três vezes e votar troca um canal que erra 10% por um que erra 2,8%, ao custo de mandar o triplo. Shannon provou algo bem mais forte: qualquer taxa abaixo da capacidade do canal pode ser transmitida com erro tão pequeno quanto se queira. Para um canal que vira 10% dos bits, a capacidade é 0,53 bit por uso. A grandeza por trás é a informação mútua,

$$I(X;Y)=H(X)-H(X\mid Y),$$

a incerteza sobre a entrada menos a que sobra depois de ver a saída: zero se forem independentes, $H(X)$ se a saída determinar a entrada.

Um bit precisa de um corpo

Um bit abstrato precisa de um suporte: a direção de um ímã, uma tensão alta ou baixa, uma carga à esquerda ou à direita. Daí saem duas conclusões. Informação não é energia: os dois estados podem ter exatamente a mesma energia. Informação não é matéria: o mesmo objeto representa valores diferentes em momentos diferentes. Ela está na distinção e na correlação entre estados. Mas toda implementação pertence ao mundo físico — e mudar, copiar e descartar distinções obedece à termodinâmica do suporte.

Compare duas operações. Trocar 0 por 1 e 1 por 0 leva duas entradas a duas saídas distintas: olhando a saída, você sabe a entrada; em princípio, dá para fazer de forma reversível. Agora resetar: 0 vai para 0, e 1 também vai para 0. Olhando a saída, não há como saber o que existia antes. Duas alternativas físicas foram espremidas numa só — e encolher o espaço de estados é exatamente o que a termodinâmica não deixa acontecer de graça. Rolf Landauer, em 1961: apagar um bit dissipa pelo menos

$$kT\ln 2$$

de calor no ambiente. A 300 K, 2,87 × 10⁻²¹ J. Apagar um gigabyte inteiro no limite custaria uns 2,3 × 10⁻¹¹ J — chips reais gastam bilhões de vezes mais, mas o piso existe e já foi medido em laboratório (Bérut e colaboradores, 2012).

Volte ao demônio. Medir e correlacionar a memória com a partícula pode, em princípio, ser reversível — não é aí que ele perde. O problema é reutilizar uma memória finita: cada apagamento exporta entropia para o ambiente e, no limite ideal, o custo compensa exatamente o que ele ganhou ordenando o gás. A segunda lei sobrevive, desde que a conta inclua gás, memória, controlador e ambiente. A fronteira, de novo.

Uma memória limpa é um recurso físico fora do equilíbrio. Consumi-la sem contabilizar a restauração é esconder metade da máquina. Informação não é combustível gratuito.

O qubit

A física quântica muda as regras outra vez. Um qubit é descrito por amplitudes contínuas — parece guardar infinitos bits. Não guarda nada disso que se possa tirar: a medição devolve um resultado probabilístico, e medições incompatíveis perturbam o estado. Pelo teorema de Holevo, um qubit entrega no máximo um bit clássico. E pelo teorema da não clonagem, nenhuma máquina copia perfeitamente um estado quântico desconhecido — o que não impede o seu computador de copiar zeros e uns o dia inteiro; limita a cópia de superposições arbitrárias. A informação possível depende das leis que governam quem a carrega.

Informação, no sentido de Shannon, é a redução quantitativa da incerteza entre alternativas descritas por uma distribuição de probabilidades. Não é significado, embora possa representá-lo. Não é o sinal, embora precise de um. Não é energia nem matéria, embora todo registro use um suporte físico. E registrar é só o começo: máquinas recebem representações, aplicam regras e produzem representações novas — algumas preservando cada distinção, outras descartando o passado, como o reset. Isso é computação.

Os números do episódio

Desafios

Para ir além

• No laboratório: o demônio de Maxwell e quanto vale uma surpresa.
• Claude Shannon, “A Mathematical Theory of Communication” (1948) — o artigo que fundou a área, surpreendentemente legível.
• Antes: o que é temperatura. Depois: o que é computação.