Neuronale Netze

Was ist Deep Learning?

Deep Learning ist der Teil des maschinellen Lernens, der künstliche neuronale Netze mit vielen hintereinandergeschalteten Schichten einsetzt. Solche Netze lernen die entscheidenden Merkmale während des Trainings selbst aus den Daten, statt dass jemand sie vorher von Hand festlegt.

Hinter Spracherkennung, Bildprüfung und maschineller Übersetzung steckt fast immer dasselbe Verfahren, und wer Angebote dazu bewerten muss, sollte wissen, was ein Netz überhaupt lernt.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Gehört zu: Maschinellem Lernen
Kernidee: Merkmale entstehen im Training selbst
Braucht: Viele Beispiele und Rechenzeit
Verwechselt mit: Künstlicher Intelligenz insgesamt

Wie ein Netz lernt

Ein Netz besteht aus Schichten künstlicher Neuronen, die Eingaben gewichtet aufsummieren und durch eine Aktivierungsfunktion schicken. Beim Training läuft ein Datenpunkt durch das Netz, das Ergebnis wird mit dem gewünschten Wert verglichen, und eine Verlustfunktion beziffert den Fehler. Über die Fehlerrückführung wird dieser Fehler rückwärts durch die Schichten verteilt, und jedes Gewicht wird ein Stück in die Richtung verschoben, die den Fehler verkleinert.

Das passiert nicht einzeln, sondern in Stapeln, und ein vollständiger Durchlauf durch die Trainingsdaten heißt Epoche. Die Schichten bauen dabei aufeinander auf: Bei Bildern reagieren frühe Schichten auf Kanten und Farbverläufe, spätere auf Formen und ganze Objekte. Diesen Aufbau muss niemand vorgeben, er entsteht beim Training.

Wann es sich gegenüber klassischen Verfahren lohnt

Seine Stärke spielt Deep Learning bei unstrukturierten Daten aus: Bilder, Ton, Video, freier Text. Dort gibt es keine sauberen Spalten, aus denen sich Merkmale von Hand ableiten ließen, und genau diese Arbeit übernimmt das Netz.

Bei Tabellendaten sieht es anders aus. Für einige tausend Zeilen mit klar benannten Spalten liefern Verfahren wie Gradient Boosting oft bessere Ergebnisse, brauchen weniger Rechenzeit und lassen sich leichter erklären. Wer dort mit einem tiefen Netz startet, handelt sich Aufwand ein, ohne Genauigkeit zu gewinnen.

Was beim Training schiefgeht

Der häufigste Fall ist Überanpassung: Der Fehler auf den Trainingsdaten sinkt weiter, während er auf den Validierungsdaten wieder steigt. Das Netz hat Beispiele auswendig gelernt statt Muster. Gegenmittel sind mehr oder künstlich variierte Daten, Dropout, kleinere Netze und ein rechtzeitiger Abbruch des Trainings.

Tückischer ist ein Datenleck. Wenn Informationen aus der Zukunft oder Duplikate desselben Falls sowohl im Training als auch im Test landen, sieht das Ergebnis hervorragend aus und bricht im Betrieb ein. Deshalb wird nach Gruppen getrennt, etwa nach Kunde oder Zeitraum, nicht zufällig über alle Zeilen.

Bei ungleich verteilten Klassen taugt die Gesamttrefferquote nicht als Maß. Wenn ein Fehlerfall in einem von hundert Teilen auftritt, kommt ein Modell, das jedes Teil für in Ordnung erklärt, auf neunundneunzig Prozent und ist trotzdem wertlos. Aussagekräftig sind hier zwei Größen je Klasse: die Präzision, also wie viele der gemeldeten Fehlerfälle tatsächlich Fehler waren, und die Sensitivität, also wie viele der vorhandenen Fehlerfälle das Modell überhaupt gefunden hat.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

Nicht verwechseln

Deep Learning und was oft damit gleichgesetzt wird

Deep Learning gegen Maschinelles Lernen

Deep Learning ist ein Teilgebiet davon. Alle anderen Verfahren, von der Regression bis zum Entscheidungsbaum, gehören ebenfalls zum maschinellen Lernen, arbeiten aber mit Merkmalen, die vorher definiert werden.

Deep Learning gegen Large Language Model

Ein Sprachmodell ist ein bestimmtes tiefes Netz, meist mit Transformer-Architektur, das auf sehr großen Textmengen trainiert wurde. Deep Learning ist die Methode dahinter, nicht der Anwendungsfall.

Deep Learning gegen Neuronales Netz

Auch ein Netz mit einer einzigen verdeckten Schicht ist ein neuronales Netz. Von Deep Learning spricht man erst bei mehreren Schichten, die nacheinander abstraktere Darstellungen aufbauen.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt

In der Praxis

Über das Ergebnis entscheiden die Daten, nicht die Architektur des Netzes

In Projekten liegt der größte Aufwand fast nie im Modell, sondern darin, genügend Beispiele zusammenzubekommen und sauber zu beschriften. Bei einer optischen Bauteilprüfung heißt das: Für jeden Fehlertyp braucht es genügend Aufnahmen, und ausgerechnet der seltene Fehler, auf den es ankommt, ist im Bestand kaum vorhanden.

Der häufigste stille Fehler ist eine Vermischung von Trainings- und Testdaten. Stammen Aufnahmen derselben Serie in beiden Mengen, meldet die Auswertung eine hervorragende Trefferquote, und in der Halle versagt das Netz. Genauso kippt die Qualität, wenn sich die Umgebung ändert, etwa nach einem Wechsel der Beleuchtung oder der Kamera.

Ein solches System ist deshalb kein Projekt mit Enddatum. Es braucht jemanden, der die Fehlentscheidungen sichtet, neue Beispiele nachliefert und festlegt, wann nachtrainiert wird. Wer das nicht einplant, hat nach einem Jahr ein Modell im Einsatz, dem in der Fachabteilung niemand mehr traut.

Deep Learning lernen

Wie du ein Netz aufbaust, trainierst und gegen Überanpassung absicherst, vermitteln die Kurse zu neuronalen Netzen mit Python an eigenen Datensätzen.

Wie aus derselben Grundidee heutige Sprachmodelle geworden sind, greifen die Trainings rund um große Sprachmodelle auf.

Kurse, die Deep Learning behandeln

Häufige Fragen

Wie viele Daten brauche ich?

Das hängt weniger von einer festen Zahl ab als von der Schwankungsbreite deiner Daten. Für einen abgegrenzten Anwendungsfall mit vortrainiertem Modell reichen oft einige hundert bis wenige tausend gut beschriftete Beispiele. Ein Netz von Grund auf zu trainieren, verlangt ein Vielfaches davon.

Brauche ich eine GPU?

Zum Training in der Regel ja, weil die Rechenoperationen stark parallel laufen. Für die Anwendung eines fertigen Modells reicht je nach Größe eine CPU. Vieles lässt sich außerdem stundenweise in der Cloud rechnen, statt Hardware zu kaufen.

Muss ich immer bei null anfangen?

Nein, und das ist selten sinnvoll. Üblich ist es, ein vortrainiertes Modell zu nehmen und nur die letzten Schichten auf die eigene Aufgabe anzupassen. Das spart Rechenzeit und kommt mit deutlich weniger eigenen Daten aus.

Persönlich für dich da