Señales
El contenido total de información H(X) proporcionado por una fuente de informa-ción sin memoria de un conjunto X de símbolos será la suma ponderadas de las in-formaciones de cada símbolo:
A este valor, que representa la información ofrecida por una fuente, Shannon le quiso llamar entropía, pero fue convencido por colegas para llamarle información. El nombre entropía no era descabellado ya que al igual que en la entropía termodi-námica (que crecía a medida que aumentaba el desorden), aquí la información aumenta a medida que aumenta la incertidumbre sobre lo que recibimos.
Una vez fundamentada su teoría, Shannon fue más allá y dedujo que el valor H(X) era también el número mínimo de bits por símbolo que pueden utilizarse para enviar información con los símbolos de X y que la probabilidad de error en la deco-dificación sea despreciable. De esta forma sentó los límites teóricos de la compre-sión de señales. La mención a los límites teóricos se hace porque Shannon no se preocupa del algoritmo decodificador de símbolos, que en el caso de utilizar un nú-mero de bits H(X) será muy complejo.