Aspectos matemáticos da entropia

Abstract

Com o presente trabalho pretende-se fazer uma abordagem ao desenvolvimento do conceito Entropia. Inicia-se esta dissertação com a apresentação de uma perspectiva histórica da evolução do conceito. Enunciam-se as propriedades mais importantes das entropias de Shannon, Rényi e de Tsallis, assim como do ganho de informação de Kullback-Leibler. Apresentam-se as demonstrações de algumas destas propriedades. São expostas e analisadas as definiçõpes axiomáticas da entropia de Shannon e de Tsallis. Menciona-se ainda a definição axiomática do ganho de informação de Rényi, que conduz à definição da entropia de Rényi.

ABSTRACT: This work intends to be an approach of the development of the concept of Entropy. We start with an historical perspective of the evolution of this concept. Several properties of the Shannon, Rényi and Tsallis entropies are presented, likewise Kullback-Leibler’s gain of information. Some of this properties are followed by it’s proof. We present and discuss the axiomatic definition of Shannon and Tsallis entropies. We also refer axiomatic definition of Rényi’s gain of information, which defines Rényi’s entropy.