Cálculo de Pesos: Regla Delta

Existen diferentes métodos que se pueden utilizar para optener los pesos óptimos

• Buscar por todo el espacio de pesos hasta encontrar los que hiciesen el error mínimo.

• Realizar una búsqueda aleatoria.

• Realizar una búsqueda Dirigida.

En este caso tiene más sentido la utilización del tercero de los métodos. Dentro de éste tipo, el método utilizado se conoce con el nombre de la Regla Delta o método del Gradiente Descendente.

Método: Se inicializan los pesos aleatoriamente (pto. de partida). Se determina, la dirección de la pendiente más pronunciada en dirección hacia abajo. Se modifican los pesos para encontrarnos un poco más abajo en la superficie.

Sea W(t) el vector de pesos en el instante t. En t+1: W(t+1)=W(t) + *W(t)

Dirección opuesta y más pronunciada -> Dirección opuesta al gradiente de la Superficie

Para obtener la magnitud del cambio, se realiza la siguiente aproximación:

Algoritmo:

1. Inicialización de Pesos
2. Se aplica un patrón de entrada (entradas y salida deseada)
3. Se computa la salida lineal que se optiene de la red.
4. Se calcula el error cometido para dicho patrón.
5. Se actualizan las conexiones mediante la ecuación obtenida anteriormente.
6. Se repiten los pasos del 2 al 5 para todos los patrones de entrenamiento.
7. Si el error cuadrático medio es un valor reducido aceptable, termina el proceso. Sino se vuelve al paso 2.
8. Fin.

Otra variante consiste en calcular el error cuadrático medio sobre todos los patrones y actualizar los pesos en función de este error. Es decir, se produce la actualización de pesos una vez que se han introducido todos los patrones de entrenamiento.

M. González Penedo