Deep Learning und Neuronale Netze – beides Begriffe die im Zusammenhang mit Maschinellem Lernen und Künstlicher Intelligenz immer wieder genannt werden und darauf verweisen sollen, dass selbstständiges Lernen möglich sei. Im Unterschied zu Algorithmen, die explizit von Menschen festgelegt werden, ist es möglich, mithilfe einer großen Menge Beispieldaten, ein sogenanntes (künstliches) neuronales Netz zu entwickeln, das selbst Regeln aus den Daten ableitet.
Die Forschung zu diesem Thema nahm bereits in den 1940er-Jahren ihren Anfang. Als einer der Pioniere gilt Marvin Minksy, der 1951 die erste Simulation eines neuronalen Netzwerks mit der Bezeichnung SNARC baute. (Minsky, 2006)
Diese Art des Machine Learning orientiert sich an Erkenntnissen der Neurowissenschaft, die davon ausgeht, dass mentale Vorgänge in Nervenzellen, den sogenannten Neuronen, stattfinden. Das menschliche Gehirn besteht aus (geschätzt) 86 Milliarden Neuronen, die mittels sogenannter Dendriten miteinander verbunden sind.
Diese Neuronen kommunizieren miteinander mittels elektrischer Signale und deren Übertragung durch Synapsen. Gelernt wird durch Verstärkung oder Abschwächung der Synapsen, wobei die in einem Neuron ankommenden Signale sich addieren und bei Überschreiten eines Schwellwertes das Neuron feuert. Dieser Vorgang führt zu dem, was als synaptische Plastizität bezeichnet wird. (Max-Planck-Gesellschaft, 2014) „Stärkung und Schwächung, Auf- und Abbau, die Stärke, mit der Signale zwischen Nervenzellen übertragen werden, wird laufend angepasst. Etwas vereinfacht könnte man sich also vorstellen, dass die Signalübertragung verstärkt wird, wenn das Gehirn etwas speichert – und abgeschwächt wird, wenn es vergisst. Viele Neurowissenschaftler sind heute der Ansicht, dass synaptische Plastizität die Grundlage von Lernen und Gedächtnis ist.“ (Max-Planck-Gesellschaft, 2014)
Ein künstliches neuronales Netz besteht aus mehreren Einheiten = Neuronen oder Perzeptronen, die jeweils Eingaben übernehmen, diese verarbeiten, die Gewichtung überprüfen und den Output weitergeben. Am Ende der Ausgabekette wird die tatsächliche Ausgabe mit der optimalen Ausgabe verglichen. Danach über eine Fehlerfunktion ein eventuell notwendiger Optimierungsvorgang aufgerufen, der die Anpassung der Gewichtung veranlasst – so wird gelernt. Einfache Probleme, wie die Unterscheidung in zwei Klassen lassen sich mittels linearer Funktion lösen. In solchen Single-Layer-Perzeptronen findet die Gewichtung als Reaktion auf den Input statt, weshalb dieser Vorgang als forward-propagation bezeichnet wird.
Komplexere Problemstellungen, wie sie in der realen Welt vorzufinden sind, sind nur mittels nichtlinearer Funktionen erfassbar und erfordern damit die Anordnung von Neuronen auf mehreren Ebenen, sogenannten Multi-Layer-Perzeptronen, so dass man von einem künstlichen neuronalen Netz spricht. Neuronen werden dazu in mehreren Schichten angeordnet. Die erste Ebene verarbeitet die Eingabedaten, die letzte Ebene liefert die Ausgabe, dazwischen können beliebig viele verdeckte Schichten von Neuronen liegen. Eine Anpassung der Gewichtung kann bei diesem Vorgang allerdings erst dann stattfinden, sobald die Informationen durch alle Layer mit den verdeckten Neuronen verarbeitet wurden. Dies erfolgt mit Hilfe der sogenannten back-propagation, eines Vorgangs bei dem in einer Art Rücklauf die Gewichtung der einzelnen Neuronen angepasst wird. (Füllsack, 2011, S 308ff)
Auch bei Multi-Layer-Perzeptronen werden zu Beginn der Aufgabe die Gewichtungen zufällig gewählt und erst im Laufe des Lernprozesses adaptiert. Das noch nicht trainierte = unkalibrierte Netzwerk wird mit Trainingsdaten konfrontiert und mittels Solldaten und Fehlerkorrektur werden die Gewichtungen optimiert. Mithilfe solcher neuronaler Netzwerke ist es möglich, in großen Datenmengen Muster zu finden, die bisher Menschen noch nicht aufgefallen sind. Der Begriff des Deep Learnings bezieht sich auf die Tiefe der Strukturen der vorhandenen Multi-Layer-Perzeptronen, d.h. auf die Anzahl der verwendeten verdeckten Schichten.
Deep Learning mit Multi-Layer-Perzeptronen braucht sehr viel Rechenzeit, folgt man den Ausführungen von Song Han, einem Assistenzprofessor am MIT, der sich mit der Entwicklung neuer Algorithmen im Kontext dieser Art des maschinellen Lernens beschäftigt. Er bezeichnet dies als kritisches Problem. (Knight, 2020)
Noch ein Aspekt des Deep Learnings mit neuronalen Netzen sorgt für kritische Kommentare. Je tiefer und damit komplexer das Netzwerk, desto größer die Wahrscheinlichkeit, dass die dargestellten Zusammenhänge für Menschen keine Entsprechung in der Realität erkennen lassen. In diesem Kontext wird von neuronalen Netzen oft als Black Boxes gesprochen.
Dies wird zunehmend als Kritik an dieser Art von AI/KI formuliert und wirft Fragen auf, in welchen Zusammenhängen neuronale Netzwerke genutzt werden sollen. Nicht zuletzt ergeben sich in diesem Zusammenhang auch ethisch begründete Fragen.
