Backpropagation ist der Algorithmus, der es neuronalen Netzen ermöglicht, aus Daten zu lernen. Im Kern ist es lediglich die Kettenregel der Analysis, die wiederholt angewendet wird.
Zuerst die Intuition
Stell dir vor, du dreht die Abstimmknöpfe eines Radios, um das klarste Signal zu erhalten. Jede kleine Drehung gibt dir Rückmeldung. Backpropagation ist das mathematische Äquivalent.
Die Kettenregel
Wenn der Ausgang von Schicht 3 abhängt, die von Schicht 2 abhängt, die von Schicht 1 abhängt, dann ist die Änderungsrate des Ausgangs bezüglich Schicht 1 das Produkt all dieser einzelnen Raten.