Función de Energía

Función de Energía de la red de Hopfield

• En otros tipos de redes, el proceso de aprendizaje consistía en la modificación de los pesos para tratar de minimizar el error producido por el sistema. Durante este proceso, los pesos formaban un sitema dinámico que cambiaban en función del tiempo y estos cambios se podían expresar en forma de un conjunto de ecuaciones diferenciables acopladas
• En la red de Hopfield, los pesos se calculan por adelantado y no forman parte de un sistema dinánimo. En esta situación los vectores de salida cambian en función del tiempo y SÍ forman parte de un sistema dinámico. En este sistema nos interesa contestar a las preguntas siguientes: ¿Existe solución?, ¿Convergerá el sistema en un tiempo finito?.
• En la teoría de sitemas dinánimicos se puede probar un teorma acerca de la exitencia de estados estables que emplea el concepto de una función llamada Función de Lyapuov o Función de Energía: "Si se pude hallar una función acotada de las variables de estado de un sistema dinánimo, tal que todos los cambios de estado den lugar a una disminución del valor de la función, entonces el sistema posee una solución estable".

En el caso de la Red de Hopfield esa función existe:

Como la red es recurrente, las salidas en un determinado instante representan el próximo conjunto de entradas y así tanto los pesos como las entradas están explícitamente representadas.

Propiedades de E:

1. Todo cambio de x da lugar a una disminución de E
2. E posee un límite inferior.
3. E cuando cambia lo hace en una cantidad finita.

Si se pueden probar los dos primeros apartados demostramos que la función posee una solución estable: El segundo punto es inmediato, centremos en el primero:

Partimos de la ecuación de energía y suponemos un cambio de una sola componente el k. Podemos volver a escribir dicha ecuación mostrando explícitamente el término que contienen el elemento k:

El elemento k cambia su estado de 1 a 2 por tanto:

Como la matríz de pesos es simétrica y por otra parte el umbral es normalmente cero ya que al tratar de minimizar el valor de E en algunos casos el término umbral puede incrementar dicho valor y en otros disminuirlos, de tal manera que para que no exista distinta influencia sobre diferentes entradas se le asigna un valor cero.

La equación queda entonces así:

Las ecuaciones que determinan el cambio de estado son:

Si permanece en el mismo estado E no cambia. Se puede hacer una generalización para el caso de que cambien más PE, el resultado sería el mismo. Con todo ello, se ha probado que E siempre decrece cuando se produce algún cambio en las salidas y que por otra parte se encuentra acotada, por lo tanto, existe solución estable para el sistema.

M. González Penedo