|
Prinzipien Neuronaler Netze
Die Immitation menschlichen Denkens mit Computer-Systemen hat Wissenschaftler seit
langem beschäftigt. Vor ca. 50 Jahren entwickelten Forscher das erste elektronische Modell von Nervenzellen. Seitdem arbeitet eine große Zahl von Forschern an der Entwicklung mathematischer Modelle und
Algorithmen. Heutzutage ziehen "Neuronale Netze" die größte Aufmerksamkeit auf sich. Neuronale Netze verwenden eine große Anzahl an Bausteinen, sogenannten "Neuronen", die jeweils das
Verhalten eines einzelnen menschlichen Neurons immitieren. Im folgenden wird das Gehirn als "biologisches Neuronales Netz" und die Implementierung auf einem Computer einfach als
"Neuronales Netz" bezeichnet.
Die Darstellung enthält die Grundstruktur eines künstlichen Neuronalen Netzwerks. Jedes Neuron verarbeitet die Eingangswerte zu einem Ausgangswert. Die Ausgangswerte werden daraufhin an
anschließende Neuronen weitergeleitet. Einige dieser Neuronen bilden die beiden Schnittstellen des Neuronalen Netzes zur Außenwelt. Über eine Neuronenschicht werden die Eingangsdaten des Netzes
eingelesen, über die andere Schicht werden die im Neuronalen Netz verarbeiteten Daten ausgegeben.
Der Einsatz Neuronaler Netze verfolgt das Ziel der Informationsverarbeitung nach einer zuvor erlernten Form. Für das Training können Beispieldaten für die Netzein- und -ausgänge verwendet werden.
Für das Training verwenden die Neuronalen Netze sogenannte "Lern-Algorithmen". Vor dem Prozeß ist das Neuronale Netz nicht in der Lage, ein Verhalten wiederzugeben. Der Lernalgorithmus
modifiziert die individuellen Neuronen des Netzes und die Gewichte ihrer Verbindungen in der Weise, daß das Netz ein gewünschtes Ein- Ausgangsverhalten besitzt.
Wie können menschliche Nervenzellen imitiert werden?
Forscher haben auf dem Gebiet der Neuronalen Netze verschiedene Modelle menschlicher Gehirnzellen untersucht. Im folgenden wird lediglich das Modell beschrieben, welches in der Mehrzahl der
industriellen Anwendungen zum Einsatz kommt.
Das menschliche Gehirn besitzt mehr als 1011 Nervenzellen mit mehr als 1014 Verbindungen untereinander. Jede Zelle enthällt einen Kern und ist durch eine Membran mit der Außenwelt verbunden.
Jedes Neuron besitzt einen Aktivierungsschranke, die zwischen einem minimalen und einem maximalen Wert liegt.
Um die Aktivierung bzw. Deaktivierung von einem Neuron zum anderen zu übertragen, existieren sogenannte Synapsen. Über die Synapsen wird der Aktivierungsgrad vom sendenden zum empfangenen
Neuron übertragen. Ist die Synapse verstärkend, wird das Aktivierungssignal des sendenden Neurons das des empfangenden Neurons verstärken. Bei hemmenden Synapsen wird die Aktivierung des
empfangenden Neurons herabgesetzt. Die Synapsen unterscheiden sich nicht nur in der Tatsache, daß sie unterstützend bzw. hemmend wirken, sondern auch in der Ausprägung dieses Verhaltens.
Das Ausgangssignal jedes Neurons muß über ein sogenanntes Axon, dem Endpunkt der Synapsen geleitet werden.
Können Neuronale Netz menschliches Denken kopieren?
Den meisten Anwendungen liegt heute ein sehr einfaches neuronales Modell zugrunde. Dieses Modell ist eine sehr grobe Annäherung an die Realität. Ein einziges menschliches Neuron zu modellieren,
liegt außerhalb der Fähigkeiten des Menschen, Modelle aufzubauen. Daher ist kein Modell, daß auf diesem Neuronenmodell basiert für die exakte Kopie eines menschlichen Gehirns ausreichend. Es ist
lediglich durch die Natur inspiriert zu verstehen. Dennoch zeigen die vielen Anwendungen, die auf diesem einfachen Modell basieren, den großen Nutzen dieses einfachen Modells.
Einfaches mathematisches Modell eines Neurons
Auf diesem einfachen Modell basierend, existieren eine Vielzahl mathematischer Modelle. Das am weitesten verbreiteste Modell, die sogenannte Propagation-Funktion, kombiniert alle Eingangsgrößen Xi,
die von sendenden Neuronen stammen. Die Kombination erfolgt über eine gewichtete Summe, bei der die Gewichte wi das Synapsenverhalten wiederspiegeln. Unterstützende Synapsen werden durch
positive Gewichte dargestellt, hemmende Synapsen durch negative Gewichte. Zur Modellierung der Hintergrundaktivierung eines Neurons wird ein Offset (Bias) zu der gewichteten Summe addiert.
Die Darstellung zeigt das einfache mathematische Modell eines Neurons. Alle Eingangsgrößen werden über eine gewichtete Summe kombiniert (Propagation-Funktion). Aus der so aggregierten
Eingangsgröße wird der Aktivierungsgrad des Neurons durch die sogenannte Aktivierungsfunktion berechnet. Die Aktivierungsfunktion berechnet das Ausgangssignal Y des Neurons aus dem
Aktivierungsgrad f. Die Aktivierungsfunktion ist hier beispielhaft vom Sigmoid-Typ.
Training Neuronaler Netze
Es gibt eine Vielzahl verschiedener Methoden für den Aufbau Neuronaler Netze. Sie unterscheiden sich in ihrer Topologie und den Lernverfahren. In diesem Abschnitt werden Lernverfahren für
Neuronale Netze beschrieben, die auf dem einfachen Schichten-Netzwerk, wie es bereits dargestellt wurde, basieren.
Lern- und Arbeitsphase
Der erste Schritt bei der Entwicklung eines Neuronalen Netzes besteht darin, dem Netzwerk das gewünschte Verhalten anzutrainieren. Dies wird als Lernphase bezeichnet. Dies kann entweder durch
Beispieldaten oder einen "Lehrer" erfolgen. Ein Lehrer ist hier entweder eine mathematische Funktion oder ein Mensch, der die Leistung des Neuronalen Netzes überwacht. Da Neuronale Netze meistens
bei sehr komplizierten Anwendungen, für die keine mathematischen Funktionen existieren, angewandt werden und die Leistungsüberwachung durch einen Lehrer sehr aufwendig ist, erfolgt bei den
meisten Anwendungen ein Training an Beispieldaten.
Nachdem der Lernprozeß abgeschlossen wurde, kann das Neuronale Netz eingesetzt werden. Dies wird als Arbeitsphase bezeichnet. Als Ergebnis der Trainingsphase wird das Neuronale Netz auf
Eingangsdaten, die denen der Trainingsdaten ähneln, mit ähnlichen Ausgangsdaten reagieren. Für andere Eingangswerte werden die entsprechenden Ausgangswerte approximiert. Das Verhalten des
Neuronalen Netzes ist in der Arbeitsphase deterministisch. Dies bedeutet, daß für jede Kombination von Eingangswerten die ermittelten Ausgangswerte immer gleich bleiben. Während der Arbeitsphase
lernt das Neuronale Netz nicht mehr. Dies ist von großer Bedeutung, da für die meisten technischen Anwendungen Stabilität sichergestellt werden muß. Das Systemverhalten darf sich nicht ändern.
Die Hebb'sche Lernregel
Die Hebb'sche Regel wird als Ursprung aller Lernalgorithmen verstanden. Der heute am häufigsten eingesetzte Lernalgorithmus für Neuronale Netze, das sogenannte Backpropagation-Verfahren, basiert
auf dieser Hebb'schen Lernregel. Bei dem Backpropagation-Verfahren werden die Eingangsdaten aus dem Trainingsdatensatz an den Eingang des Neuronalen Netzes gegeben. Der durch das Netzwerk
berechnete Ausgangsvektor wird mit dem der Trainingsdatei verglichen. Der Fehler des Ausgangsvektors wird für die Justierung der Synapsengewichte herangezogen, so daß der Fehler des
Ausgangsvektors durch das Verfahren minimiert wird. Im Algorithmus wird dies auf alle Datensätze angewandt und so lange durchgeführt, bis der mittlere Fehler des Ausgangsvektors für alle
Datensätze unter einen zuvor festgelegten Schwellenwert sinkt. Beachten Sie, daß mit dieser Lernmethode der Fehler aller Ausgangsvektoren nie gleichzeitig auf Null reduziert werden kann. Dies liegt
daran, daß bei den meisten Anwendungen die Datensätze nicht vollständig unabhängig sind.
Quelle: Inform GmbH
|
