Maschinelles Lernen mit Scaly

Kapitel 1

Ein erstes Modell

In diesem Kapitel wollen wir ein Programm entwickeln, das zwischen zwei Sorten von Punkten unterscheiden kann. Wir beginnen mit einem einzelnen Neuron und bauen dann aus Schichten von Neuronen ein kleines Netz, das seine Gewichte selbst findet.

Zwei Sorten von Punkten

Gegeben sei eine Ebene mit den Koordinaten x und y, jeweils von -6 bis +6. In diese Ebene setzen wir Punkte zweier Sorten: orange und blau. In den Programmen wird die Sorte eines Punkts durch eine Zahl dargestellt: 1 für orange und -1 für blau.

Ein Modell ist eine Funktion, die aus den Koordinaten x und y eines Orts in dieser Ebene eine Vermutung über die Sorte eines Punkts an diesem Ort berechnet, einen Wert zwischen -1 und +1. Bei -1 ist sich das Modell sicher, dass dort ein blauer Punkt liegt, bei +1 sagt es mit Sicherheit einen orangen voraus. Werte dazwischen drücken Unsicherheit aus: Das Vorzeichen sagt, welche Sorte das Modell eher vermutet, und je näher der Wert an 0 liegt, desto unsicherer ist es; bei 0 kann es sich nicht entscheiden.

Eine solche Funktion könnten wir beliebig formulieren, etwa

f⁡(x,y)=x6
Die Ebene, gefärbt nach f(x, y) = x / 6: links blau, rechts orange, in der Mitte blass.

Sie ist am rechten Rand +1, am linken -1 und auf der senkrechten Achse 0: Rechts vermutet sie orange, links blau, und je näher zur Mitte, desto unsicherer ist sie. Oder

f⁡(x,y)=1−x2+y236
Die Ebene, gefärbt nach f(x, y) = 1 − (x² + y²)/36: eine orange Scheibe in der Mitte, blaue Ecken.

Sie ist im Mittelpunkt +1, in den vier Ecken −1, denn dort ist x2+y2=36+36=72, und auf dem Kreis mit dem Radius 6 um den Mittelpunkt, wo x2+y2=36 ist, ist sie 0. Ob eine solche Funktion die Sorte der Punkte gut vorhersagen kann, hängt davon ab, wie sie liegen: Die erste passt zu Punkten, die rechts orange und links blau sind, die zweite zu einer orangen Scheibe in einem blauen Ring.

Maschinelles Lernen hingegen denkt sich die Formel nicht aus. Es legt nur ihre allgemeine Form fest, eine Formel mit offenen Zahlen, den Parametern. Im zweiten Beispiel könnte die 36 eine solche offene Zahl sein, f⁡(x,y)=1−(x2+y2)/c, und c gäbe an, wie groß die orange Scheibe ist; wo die Formel dabei unter −1 fällt, zählt sie als −1. Welche Werte die Parameter bekommen, findet ein Programm aus Beispielen heraus, aus Punkten, deren Sorte bekannt ist. Dieses Finden nennt dieses Buch Lernen, und eine Funktion mit gefundenen Parametern ein trainiertes Modell.

Ein Neuron

Die einfachste Form einer solchen Funktion ist ein Neuron. Es multipliziert jede seiner Eingaben mit einer eigenen Zahl, seinem Gewicht, zählt alles zusammen und addiert noch eine Zahl, seinen Bias:

z=w1x+w2y+b

Das Ergebnis z heißt die gewichtete Summe des Neurons. Wo sie positiv ist, vermutet das Neuron orange, wo sie negativ ist, blau. Die Punkte, an denen z genau 0 ist, bilden eine Gerade; ein Neuron teilt die Ebene also durch eine Gerade: Die Gewichte drehen sie, der Bias verschiebt sie.

Nun wollen wir versuchen, das Neuron so anzupassen, dass es die Farbe von sechs Punkten, die wir willkürlich in der Ebene verteilen, möglichst gut bestimmen kann: drei orange und drei blaue. Wir beginnen mit den Gewichten 1 und 1 und dem Bias 0:

z=x+y
Die Ebene, durch die Gerade x + y = 0 geteilt, oben rechts orange, unten links blau; sechs Punkte, um einen orangen auf der blauen Seite ein dunkler Ring.

Fünf der sechs liegen auf der richtigen Seite; der eingekreiste ist orange, liegt aber unterhalb der Geraden. Mit w2=0 dreht sich die Gerade zur senkrechten Achse, und alle sechs stimmen:

z=x
Die Ebene, durch die senkrechte Achse geteilt, rechts orange, links blau; alle sechs Punkte auf der Seite ihrer Farbe.

Die Gewichte und den Bias schrittweise zu verändern, bis die Vermutungen stimmen, ist das Wesen dessen, was wir als Lernen bezeichnen wollen.

Wie falsch

Um die Gewichte von selbst zu ändern, braucht ein Programm ein Maß dafür, wie falsch das Neuron liegt. Dieses Maß ist eine Zahl, die kleiner wird, wenn das Neuron besser wird. Die falschen Vermutungen zu zählen taugt dafür nicht: Eine kleine Änderung eines Gewichts ändert meist gar keine Vermutung, also sagt die Anzahl nicht, in welche Richtung zu drehen ist.

Deshalb bilden wir die gewichtete Summe z zuerst mit einer glatten Funktion auf eine Zahl zwischen −1 und 1 ab, hier mit dem Tangens hyperbolicus:

a=tanh⁡(z)
Die Kurve von tanh: links nahe −1, steigt durch den Ursprung und nähert sich rechts 1; gestrichelt die Linien bei 1 und −1.

Mit dieser Funktion kann das Modell so antworten, wie es zu Beginn des Kapitels verlangt war: nahe +1 oder -1, wo es sich sicher ist, nahe 0, wo nicht. Eine solche Funktion wollen wir die Aktivierungsfunktion des Neurons nennen und a seine Antwort für einen bestimmten Punkt der Ebene. Jetzt lässt sich die Antwort mit der Sorte t vergleichen, die der Punkt wirklich hat:

L=12(a−t)2

L ist der Fehler eines Punkts (englisch loss): 0, wo die Antwort genau die Sorte ist, größer, je weiter sie davon weg ist, und jede kleine Änderung eines Gewichts ändert ihn ein wenig. Der Mittelwert der Fehler aller Punkte ist der Fehler des Neurons, und das ist das Maß, das wir gesucht haben.

Der Tangens hyperbolicus ist nicht die einzige mögliche Aktivierungsfunktion. In großen Netzen nimmt man heute meist eine noch einfachere Funktion, ReLU: max⁡(0,z), also z selbst, wo z positiv ist, sonst 0. Ihre Steigung ist für positive z immer 1, während die von tanh weit außen fast 0 wird. Was das beim Lernen ausmacht, zeigt sich im nächsten Abschnitt.

Bergab

Der Fehler unseres Neurons ist also eine Funktion der drei Werte w1, w2 und b. Nun wollen wir die Werte finden, für die er möglichst klein wird. Alle Kombinationen auszuprobieren geht nicht: Jeder der drei Werte kann jede Zahl sein, es gibt also unendlich viele. Selbst wenn wir für jeden Wert nur 100 Zahlen durchprobierten, wären das 1003, eine Million Kombinationen, und für jede müssten wir den Fehler über alle Punkte ausrechnen. Für drei Werte schafft ein Rechner das noch, aber schon das Netz für XOR, das wir später bauen, hat 13 Zahlen und damit 10013=1026 Kombinationen, und große Netze haben Millionen von Gewichten. Deshalb beginnen wir mit irgendwelchen Werten und bewegen uns von dort Schritt für Schritt in die Richtung, in der der Fehler am stärksten abnimmt, mit allen drei Werten zugleich. Welche Richtung das ist, lässt sich für jeden Wert einzeln ablesen: Wie stark ändert sich der Fehler, wenn sich der Wert ein wenig ändert? Das ist die partielle Ableitung des Fehlers nach diesem Wert, für w1 geschrieben ∂L/∂w1. Partiell heißt sie, weil sich nur dieser eine Wert ändert und die anderen festgehalten werden; das runde ∂ statt eines d zeigt das an.

Der Fehler hängt nicht direkt von w1 ab. Er hängt von der Antwort a ab, die Antwort von der Summe z und die Summe von w1. Jedes Glied dieser Kette hat eine Ableitung, die sich leicht ausrechnen lässt:

  • Wie stark ändert sich der Fehler, wenn sich die Antwort ändert? ∂L∂a=a−t, die Ableitung von 12(a−t)2.

  • Wie stark ändert sich die Antwort, wenn sich die Summe ändert? ∂a∂z=1−a2, die Ableitung von tanh.

  • Wie stark ändert sich die Summe, wenn sich w1 ändert? ∂z∂w1=x, denn w1 wird mit x multipliziert.

Die Kettenregel sagt: Die Ableitung der ganzen Kette ist das Produkt der Ableitungen ihrer Glieder.

∂L∂w1=∂L∂a·∂a∂z·∂z∂w1=(a−t)(1−a2)x

Für w2 ist der letzte Faktor y, für den Bias 1. Über alle Punkte zusammengezählt und durch ihre Anzahl geteilt, sind diese partiellen Ableitungen der Gradient: die Richtung, in der der Fehler am schnellsten steigt. Ein Schritt des Gradientenabstiegs bewegt jeden der drei Werte ein wenig in die andere Richtung,

w1←w1−η∂L∂w1

wobei die kleine Zahl η die Lernrate ist.

Und wann hört man auf? Wenn der Fehler klein genug ist, oder wenn er kaum noch sinkt. Die Seiten dieses Kapitels hören auf, sobald der Fehler unter 0,02 liegt oder in hundert Schritten um weniger als 0,0001 gesunken ist. Eine solche Regel heißt Abbruchkriterium.

Probier auch die Startwerte w1=w2=−3 (die Seite mit diesen Werten): Dann rührt sich das Neuron kaum, und nach hundert Schritten hält die Seite an, weil der Fehler nicht mehr sinkt. Fast alle Punkte liegen auf der falschen Seite, und zwar weit weg von der Geraden, wo tanh fast ±1 ist und kaum noch steigt. Weil der Faktor 1−a2 dort fast 0 ist, ist es auch der Gradient: Ein Neuron, das sich sicher irrt, lernt kaum. Man nennt das Sättigung, und deshalb beginnt man mit kleinen Gewichten.

Bessere Eingaben

Unser Neuron teilt die Ebene durch eine Gerade. Manche Anordnungen von Punkten kann man aber nicht durch eine Gerade teilen, beispielsweise eine Scheibe oranger Punkte in einem Ring blauer: Jede Gerade hat dann Orange und Blau auf beiden Seiten.

Dem Neuron fehlt dabei nicht die Rechenkunst, sondern der richtige Blick auf die Punkte. Geben wir ihm statt x und y deren Quadrate als Eingaben:

z=w1x2+w2y2+b

Mit w1=w2=−1 und b=9 etwa ist z genau dort 0, wo x2+y2=9 ist, auf dem Kreis mit dem Radius 3 um den Mittelpunkt. Innen ist z positiv, außen negativ:

z=−x2−y2+9
Die Ebene mit einem orangen Kreis vom Radius 3 um den Mittelpunkt, sonst blau; die orangen Punkte der Scheibe liegen im Kreis, die blauen des Rings draußen.

Warum kann das Neuron das plötzlich? Nennen wir seine neuen Eingaben u=x2 und v=y2. Dann ist z=w1u+w2v+b wieder eine Gerade, nur nicht in der Ebene von x und y, sondern in der von u und v. Trägt man die Punkte dort ein, liegt die Scheibe nahe am Nullpunkt und der Ring weiter draußen, und eine Gerade trennt sie:

z=−u−v+9
Dieselben Punkte über u = x² und v = y²: die orangen nahe am Nullpunkt unterhalb einer schrägen Geraden, die blauen weiter draußen darüber.

Das Neuron zieht also noch immer eine Gerade, aber in den Eingaben, die es bekommt; auf der Ebene der Punkte wird daraus ein Kreis. Auszuwählen, was ein Modell sieht, heißt Feature Engineering, und gute Eingaben können ein schweres Problem leicht machen.

Verborgene Schichten

Für eine Scheibe sind die richtigen Eingaben leicht zu erraten, für die meisten Daten nicht. Deshalb überlassen wir es Neuronen, die Eingaben zu berechnen. Erst diese Idee macht neuronale Netze stark.

Nehmen wir statt eines Neurons mehrere. Jedes von ihnen bekommt dieselben Eingaben x und y, hat aber eigene Gewichte und einen eigenen Bias und zieht damit seine eigene Gerade; seine Antwort sagt, auf welcher Seite davon ein Punkt liegt. Neuronen, die so dieselben Eingaben lesen, bilden eine Schicht. Jetzt bilden wir eine weitere Schicht. Sie bekommt nicht x und y, sondern die Antworten der Neuronen der ersten Schicht, und besteht hier aus einem einzigen Neuron, der Ausgabe. Die Rechnung läuft also in zwei Stufen: Aus x und y berechnet die erste Schicht ihre Antworten, aus diesen Antworten berechnet die Ausgabe ihre. Von außen sieht man nur die Eingaben und die Ausgabe; die Schicht dazwischen heißt deshalb verborgene Schicht, ihre Antworten sind Zwischenergebnisse.

Am besten sieht man das an den Daten, die XOR heißen: orange oben rechts und unten links, blau in den beiden anderen Ecken. Keine einzelne Gerade teilt sie. Zwei Neuronen in einer verborgenen Schicht können es, wenn jedes eine der orangen Ecken abschneidet. Ihre Antwort sei hier einfach das Vorzeichen sgn ihrer gewichteten Summe, +1 oder −1. Das erste sagt +1 nur oben rechts:

h1=sgn⁡(x+y−3)
Die Ebene mit den XOR-Punkten, orange nur jenseits der Geraden x + y = 3 oben rechts, sonst blau.

das zweite nur unten links:

h2=sgn⁡(−x−y−3)
Die Ebene mit den XOR-Punkten, orange nur jenseits der Geraden x + y = −3 unten links, sonst blau.

Die Ausgabe liest die beiden Antworten. Sagt eines der beiden +1, ist z=h1+h2+1 gleich +1, also orange; sagen beide −1, ist es −1, also blau:

z=h1+h2+1
Die Ebene mit den XOR-Punkten: orange in den Ecken oben rechts und unten links, dazwischen ein blaues Band; jeder Punkt liegt auf der Seite seiner Farbe.

Wie die Ausgabe das schafft, sieht man, wenn man jeden Punkt dorthin setzt, wohin ihn die verborgene Schicht bringt. Die Ausgabe ist ein Neuron wie unser erstes, nur heißen ihre Eingaben h1 und h2 statt x und y. Sie sieht also nicht die Ebene der Punkte, sondern eine neue Ebene mit den Achsen h1 und h2, und darin hat jeder Punkt den Ort (h1,h2): Die drei orangen Punkte oben rechts landen bei (+1,−1), die drei unten links bei (−1,+1) und alle sechs blauen bei (−1,−1). In dieser Ebene trennt eine einzige Gerade die beiden Sorten, und genau diese Gerade zieht die Ausgabe:

h1+h2+1=0
Die Ebene der Antworten h1 und h2: ein oranger Punkt bei (+1, −1), einer bei (−1, +1), ein blauer bei (−1, −1); die Gerade h1 + h2 + 1 = 0 trennt den blauen unten links von den orangen.

Die Ausgabe verknüpft die beiden Geraden zu einem oder: orange, wenn das erste oder das zweite Neuron ja sagt. Zwei Geraden und ein Neuron, das sie verbindet, schaffen, was eine Gerade allein nicht kann. Mit mehr Neuronen und mehr Schichten lassen sich auf diese Weise beliebig verwickelte Grenzen bilden.

Dabei kommt es auf die Aktivierungsfunktion an. Gäbe jedes Neuron einfach seine gewichtete Summe weiter, dann würde die Ausgabe Summen von Summen addieren, und das ist wieder nur eine gewichtete Summe von x und y, also wieder nur eine Gerade. Erst die Aktivierungsfunktion, die die Summe jedes Neurons verbiegt, lässt die Schichten mehr können als ein einzelnes Neuron. In unserem Beispiel von Hand ist das das Vorzeichen, im Netz aus dem Kasten oben der Tangens hyperbolicus.

Rückwärtsrechnung

Wie lernt ein verborgenes Neuron? Seine Gewichte sind so weit vom Fehler entfernt wie nur möglich, hinter dem Ausgabeneuron. Die Kettenregel funktioniert trotzdem, mit einer Kette, die ein Glied länger ist. Der Kniff liegt in der Reihenfolge, in der sie gerechnet wird.

Zuerst wird alles vorwärts gerechnet, wie bisher: die Antwort hj jedes verborgenen Neurons, dann die Summe der Ausgabe und ihre Antwort a. Dann rückwärts. Der Anteil des Ausgabeneurons am Fehler, der Fehler nach seiner Summe, ist das bekannte

d=(a−t)(1−a2)

und die Ableitungen seiner Gewichte folgen daraus wie bei einem einzelnen Neuron: dhj für das Gewicht vj, das das verborgene Neuron j liest. Das verborgene Neuron j erreicht den Fehler über dieses Gewicht, also ist die Steigung nach seiner Antwort dvj, und durch sein eigenes tanh wird sein Anteil am Fehler zu

dj=dvj(1−hj2)

Von da an sind seine Gewichte wieder die eines einzelnen Neurons: djx, djy und dj für seinen Bias. Der Fehler wird Schicht für Schicht rückwärts durch das Netz gereicht, der Anteil jeder Schicht aus dem Anteil der Schicht nach ihr berechnet. Das ist die Rückwärtsrechnung (englisch backpropagation), und sie ist das ganze Geheimnis, wie Netze jeder Tiefe lernen.

Die verborgenen Neuronen auf der Seite beginnen mit Absicht bei verschiedenen Gewichten. Hätten alle gleich begonnen, würden sie gleich antworten, in jedem Schritt denselben Gradienten bekommen und für immer gleich bleiben, drei Kopien einer Geraden. Deshalb beginnt ein Netz meist mit zufälligen Gewichten.

Mehr braucht ein Netz zum Lernen nicht, ganz gleich, wie viele Schichten es hat: vorwärts rechnen, den Fehler rückwärts verteilen, jedes Gewicht ein Stück gegen seinen Gradienten schieben. Wie weit das trägt, zeigt das Spielfeld, eine Seite mit einem größeren Netz als in unseren Kästen: bis zu sechs verborgene Schichten mit bis zu acht Neuronen, sieben Eingaben zur Wahl, darunter die Quadrate, und vier Anordnungen von Punkten, darunter eine Spirale. Für jedes Neuron zeigt ein kleines Quadrat, was es über der ganzen Ebene antwortet, so wie unsere Bilder für XOR.

Was es nicht gesehen hat

Ein Modell, das seine Trainingspunkte kennt, nützt noch nichts. Die Frage ist, wie gut es Punkte errät, die es nie gesehen hat. Deshalb hält das Spielfeld die Hälfte seiner Punkte als Testpunkte zurück, umrandet gezeichnet: Das Netz lernt nie aus ihnen, und der Fehler über ihnen, der Testfehler, sagt, wie gut es verallgemeinert.

Wenn die Daten verrauscht sind und das Netz groß ist, gehen die beiden Fehler auseinander. Das Netz lernt die Trainingspunkte immer besser, das Rauschen eingeschlossen, und zieht Grenzen um einzelne verirrte Punkte; der Testfehler hört auf zu fallen und steigt. Das ist Überanpassung (englisch overfitting). Ein Mittel dagegen ist Regularisierung: ein zusätzlicher Fehler für große Gewichte, λw2 für jedes Gewicht. Seine Ableitung schrumpft jedes Gewicht in jedem Schritt ein wenig, und ein Netz mit kleineren Gewichten zieht glattere Grenzen.

Das Programm des Spielfelds

Die Seite führt ein einziges Scaly-Programm aus, field.scaly, für WebAssembly gebaut. Es sind die Programme dieses Kapitels, erwachsen geworden: bis zu sechs verborgene Schichten mit bis zu acht Neuronen, sieben Eingaben zur Wahl, vier Aktivierungsfunktionen, Regularisierung, und die Rückwärtsrechnung wie im letzten Abschnitt, nur in Schleifen über die Schichten statt ausgeschrieben. Alles, was die Seite zeigt, hält es in einem Vektor von Zahlen in seinem Speicher, den die Seite direkt liest, ohne Kopie; das Bild der Antwort des Netzes über der Ebene ist ein for über ihre 6400 Punkte, das Scaly von selbst auf die Kerne des Rechners verteilt. Der Quelltext liegt auf GitHub.

Alles, was dieses Kapitel von Hand hergeleitet hat, die Kettenregel durch jedes Glied und den Gradienten jedes Gewichts, kann auch ein Programm herleiten. Davon handeln die nächsten Kapitel: zuerst, wie Scaly viele Zahlen auf einmal hält, in Tensoren, dann ein Band, das die Rechnung vorwärts aufzeichnet und rückwärts abspielt, um jede Ableitung zu bekommen.