Release #13 - Como Medimos a Informação e a Incerteza no Mundo

Poucas coisas no mundo são verdadeiramente aleatórias. Os pixels vizinhos de uma imagem tendem a ser parecidos; as palavras seguem um contexto; o clima de amanhã depende das condições de hoje; e assim por diante. A teoria da informação usa conceitos como entropia e cadeias de Markov para medir exatamente isso: quanta incerteza ainda existe em um processo. No novo texto do Substack, exploro como medimos informação, previsibilidade e surpresa — da compressão de arquivos até modelos usados em IA e previsão do tempo.