Señales
Los símbolos se envían a un receptor de acuerdo con sus probabilidades respectivas y hacemos la suposición (no precisamente acertada), de que las probabilidades son independientes unos de otras (fuente de información sin memoria) . Es decir, envíar un símbolo ai no cambia la probabilidad de enviar el símbolo aj a continuación. Sa-bemos que, en general, esto no es cierto ya que por ejemplo si envíamos el caracter “q”, la probabilidad de que el siguiente símbolo sea el caracter “u” aumenta.
Cada uno de los símbolos ai tiene una probabilidad de ocurrir pj.
Los símbolos pueden ser caracteres del alfabeto, números, bits, puntos, rayas, etc.
Shannon defiende que en el caso de una fuente de información sin memoria, la in-formación proporcionada por el símbolo ai depende depende únicamente de su pro-babilidad pi. Y define que la información del símbolo ai es I(pi)=-log pi. Si se toma el 2 como base del logaritmo la unidad de información se denomina bit.
Se observa que la información es una función decreciente de la probabilidad, lo que implica que un símbolo proporciona más infomación cuanta más incertidumbre (menos probabilidad) tenga.