Neuronale Netze

Was ist Deep Learning?

Deep Learning ist das Teilgebiet des maschinellen Lernens, bei dem künstliche neuronale Netze mit vielen versteckten Schichten auf großen Datenmengen trainiert werden. Solche Netze lernen die entscheidenden Merkmale während des Trainings selbst aus den Daten, statt dass jemand sie vorher von Hand festlegt.

Hinter Spracherkennung, Bildprüfung und maschineller Übersetzung steckt fast immer dasselbe Verfahren, und wer Angebote dazu bewerten muss, sollte wissen, was ein Netz überhaupt lernt.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
Gehört zu
Maschinellem Lernen
Kernidee
Merkmale entstehen im Training selbst
Braucht
Viele Beispiele und Rechenzeit
Verwechselt mit
Künstlicher Intelligenz insgesamt

KI, maschinelles Lernen, Deep Learning: wie die Begriffe zusammenhängen

Die drei Begriffe sind ineinander verschachtelt. Künstliche Intelligenz ist der Oberbegriff für Systeme, die Aufgaben lösen, für die man sonst menschliches Urteil braucht, auch fest programmierte Regelwerke gehören dazu. Maschinelles Lernen ist der Teil davon, bei dem ein System seine Regeln aus Beispielen ableitet. Deep Learning ist wiederum der Teil des maschinellen Lernens, der dafür tiefe neuronale Netze nutzt.

Der Unterschied zum klassischen maschinellen Lernen liegt in den Merkmalen. Soll ein klassisches Verfahren Kratzer auf Bauteilen erkennen, muss vorher jemand festlegen, woran man einen Kratzer erkennt, etwa an Helligkeitssprüngen einer bestimmten Länge. Ein tiefes Netz bekommt nur die Bilder mit der Angabe „Kratzer“ oder „in Ordnung“ und findet die Merkmale selbst.

Die Schichten eines neuronalen Netzes

Ein neuronales Netz besteht aus Schichten künstlicher Neuronen. Jedes Neuron rechnet die Werte der vorherigen Schicht gewichtet zusammen und schickt das Ergebnis durch eine Aktivierungsfunktion, die entscheidet, wie stark es weitergibt. Drei Arten von Schichten gibt es:

  • Eingabeschicht

    Nimmt die Rohdaten auf, bei einem Bild zum Beispiel die Helligkeitswerte der einzelnen Pixel. Sie rechnet selbst nichts.

  • Versteckte Schichten (Hidden Layers)

    Liegen zwischen Ein- und Ausgabe und bauen Schritt für Schritt abstraktere Darstellungen auf. Bei Bildern reagieren frühe Schichten auf Kanten und Farbverläufe, spätere auf Formen und ganze Objekte. Erst wenn es mehrere davon gibt, spricht man von einem tiefen Netz.

  • Ausgabeschicht

    Liefert das Ergebnis, etwa eine Wahrscheinlichkeit je Klasse („Kratzer“ 0,93, „in Ordnung“ 0,07) oder einen Zahlenwert.

Wie viele Schichten „tief“ sind, ist nicht fest definiert. Netze für Bilderkennung haben Dutzende Schichten, große Sprachmodelle ebenfalls, mit Milliarden von Gewichten dazwischen. Welche Schichten wie verbunden sind, beschreibt die Architektur des Netzes.

Wie ein Netz lernt

Beim Training läuft ein Beispiel durch das Netz, das Ergebnis wird mit dem gewünschten Wert verglichen, und eine Verlustfunktion beziffert den Fehler. Über die Fehlerrückführung (Backpropagation) wird dieser Fehler rückwärts durch die Schichten verteilt, und ein Optimierungsverfahren, meist eine Variante des Gradientenabstiegs, verschiebt jedes Gewicht ein Stück in die Richtung, die den Fehler verkleinert.

Das passiert nicht einzeln, sondern in Stapeln (Batches), und ein vollständiger Durchlauf durch alle Trainingsdaten heißt Epoche. Ein Training umfasst viele Epochen. Wie schnell die Gewichte angepasst werden, steuert die Lernrate, eine der Stellschrauben, die nicht gelernt, sondern vorab gesetzt werden. Solche Stellschrauben heißen Hyperparameter.

Trainings-, Validierungs- und Testdaten

Ob ein Netz wirklich gelernt hat oder nur auswendig kann, zeigt sich erst an Daten, die es nie gesehen hat. Deshalb wird der Datenbestand vor dem Training in drei Teile getrennt:

DatensatzWofürTypischer Anteil
TrainingsdatenDaraus lernt das Netz seine Gewichteetwa 70 bis 80 Prozent
ValidierungsdatenWährend der Entwicklung prüfen, Hyperparameter wählen, Training rechtzeitig stoppenetwa 10 bis 15 Prozent
TestdatenEinmal ganz am Ende die echte Leistung messenetwa 10 bis 15 Prozent

Die Anteile sind Faustwerte, keine Norm. Wichtiger ist die Trennung selbst: Wer Testdaten zwischendurch zum Feinjustieren nutzt, hat am Ende keinen unabhängigen Maßstab mehr und überschätzt sein Modell. Gleiches gilt, wenn Aufnahmen derselben Serie, desselben Kunden oder desselben Zeitraums in mehreren Teilen landen. Deshalb wird nach solchen Gruppen getrennt, nicht zufällig über alle Zeilen.

Die wichtigsten Architekturen

Für unterschiedliche Datenarten haben sich unterschiedliche Bauformen durchgesetzt. Die Namen begegnen dir in fast jedem Produktblatt:

ArchitekturStark beiBeispiel
Convolutional Neural Network (CNN)Bildern und VideosBauteilprüfung, Belegerkennung
Recurrent Neural Network (RNN, LSTM)Zeitreihen und SequenzenSensordaten, früher auch Übersetzung
TransformerText, inzwischen auch Bild und TonGroße Sprachmodelle, Übersetzung
AutoencoderKomprimieren und Auffälligkeiten findenAnomalieerkennung an Maschinen
DiffusionsmodellErzeugen von BildernBildgeneratoren

Wann es sich gegenüber klassischen Verfahren lohnt

Seine Stärke spielt Deep Learning bei unstrukturierten Daten aus: Bilder, Ton, Video, freier Text. Dort gibt es keine sauberen Spalten, aus denen sich Merkmale von Hand ableiten ließen, und genau diese Arbeit übernimmt das Netz.

Bei Tabellendaten sieht es anders aus. Für einige tausend Zeilen mit klar benannten Spalten liefern Verfahren wie Gradient Boosting oft bessere Ergebnisse, brauchen weniger Rechenzeit und lassen sich leichter erklären. Wer dort mit einem tiefen Netz startet, handelt sich Aufwand ein, ohne Genauigkeit zu gewinnen.

Was beim Training schiefgeht

Der häufigste Fall ist Überanpassung (Overfitting): Der Fehler auf den Trainingsdaten sinkt weiter, während er auf den Validierungsdaten wieder steigt. Das Netz hat Beispiele auswendig gelernt statt Muster. Gegenmittel sind mehr oder künstlich variierte Daten, Dropout, kleinere Netze und ein rechtzeitiger Abbruch des Trainings.

Bei ungleich verteilten Klassen taugt die Gesamttrefferquote nicht als Maß. Wenn ein Fehlerfall in einem von hundert Teilen auftritt, kommt ein Modell, das jedes Teil für in Ordnung erklärt, auf 99 Prozent und ist trotzdem wertlos. Aussagekräftig sind hier zwei Größen je Klasse: die Präzision, also wie viele der gemeldeten Fehlerfälle tatsächlich Fehler waren, und die Sensitivität (Recall), also wie viele der vorhandenen Fehlerfälle das Modell überhaupt gefunden hat.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
Nicht verwechseln

Deep Learning und was oft damit gleichgesetzt wird

Deep Learning gegen Künstliche Intelligenz

KI ist der Oberbegriff, Deep Learning nur ein Weg dorthin. Auch ein Regelwerk aus Wenn-dann-Bedingungen oder ein Schachprogramm mit Suchbaum zählt zur KI, ohne dass ein neuronales Netz im Spiel ist.

Deep Learning gegen Maschinelles Lernen

Deep Learning ist ein Teilgebiet davon. Die übrigen Verfahren, von der Regression über Entscheidungsbäume bis zum Gradient Boosting, gehören ebenfalls zum maschinellen Lernen, arbeiten aber mit Merkmalen, die vorher definiert werden.

Deep Learning gegen Neuronales Netz

Auch ein Netz mit einer einzigen versteckten Schicht ist ein neuronales Netz. Von Deep Learning spricht man erst bei mehreren Schichten, die nacheinander abstraktere Darstellungen aufbauen.

Deep Learning gegen Large Language Model

Ein Sprachmodell ist ein bestimmtes tiefes Netz mit Transformer-Architektur, das auf sehr großen Textmengen trainiert wurde. Deep Learning ist die Methode dahinter, nicht der Anwendungsfall.

KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
In der Praxis

Über das Ergebnis entscheiden die Daten, nicht die Architektur des Netzes

In Projekten liegt der größte Aufwand fast nie im Modell, sondern darin, genügend Beispiele zusammenzubekommen und sauber zu beschriften. Bei einer optischen Bauteilprüfung heißt das: Für jeden Fehlertyp braucht es genügend Aufnahmen, und ausgerechnet der seltene Fehler, auf den es ankommt, ist im Bestand kaum vorhanden. Wer die Beschriftung an mehrere Personen verteilt, sollte vorher klären, was genau als Fehler zählt, sonst lernt das Netz die Uneinigkeit mit.

Im Betrieb kippt die Qualität oft still, wenn sich die Umgebung ändert, etwa nach einem Wechsel der Beleuchtung, der Kamera oder eines Zulieferers. Das Netz liefert weiter selbstbewusste Antworten, nur eben falsche. Deshalb gehört eine laufende Stichprobenkontrolle dazu, die solche Verschiebungen früh sichtbar macht.

Ein solches System ist kein Projekt mit Enddatum. Es braucht jemanden, der die Fehlentscheidungen sichtet, neue Beispiele nachliefert und festlegt, wann nachtrainiert wird. Wer das nicht einplant, hat nach einem Jahr ein Modell im Einsatz, dem in der Fachabteilung niemand mehr traut.

Deep Learning lernen

Wie du ein Netz aufbaust, trainierst und gegen Überanpassung absicherst, vermitteln die Kurse zu neuronalen Netzen mit Python an eigenen Datensätzen.

Wie aus derselben Grundidee heutige Sprachmodelle geworden sind, greifen die Trainings rund um große Sprachmodelle auf.

Häufige Fragen

Wie viele Daten brauche ich?
Das hängt weniger von einer festen Zahl ab als von der Schwankungsbreite deiner Daten. Für einen abgegrenzten Anwendungsfall mit vortrainiertem Modell reichen oft einige hundert bis wenige tausend gut beschriftete Beispiele. Ein Netz von Grund auf zu trainieren, verlangt ein Vielfaches davon.
Brauche ich eine GPU?
Zum Training in der Regel ja, weil die Rechenoperationen stark parallel laufen. Für die Anwendung eines fertigen Modells reicht je nach Größe eine CPU. Vieles lässt sich außerdem stundenweise in der Cloud rechnen, statt Hardware zu kaufen.
Muss ich immer bei null anfangen?
Nein, und das ist selten sinnvoll. Üblich ist Transfer Learning: Du nimmst ein vortrainiertes Modell und passt nur die letzten Schichten oder einen kleinen Teil der Gewichte an deine Aufgabe an. Das spart Rechenzeit und kommt mit deutlich weniger eigenen Daten aus.
Mit welchen Werkzeugen wird Deep Learning programmiert?
Fast immer mit Python und einem der beiden großen Frameworks PyTorch oder TensorFlow mit der Oberfläche Keras. In Forschung und bei Sprachmodellen dominiert PyTorch, vortrainierte Modelle holst du dir häufig über Hugging Face.

Passt thematisch dazu

Wie ein solches Prüfsystem in der Fertigung aufgebaut und abgenommen wird, zeigt die Seite zur Bauteilprüfung mit Bildverarbeitung im Werk.

Persönlich für dich da

Deine Ansprechpartner

Du willst das Thema nicht nur nachschlagen, sondern anwenden können? Wir beraten dich persönlich und kostenlos.

Yves Hoppe

Yves Hoppe

Weiterbildung & Beratung

Ordnet mit dir ein, welcher Kurs zu deinem Vorwissen passt.

Norbert Jansen

Norbert Jansen

Beratung & Inhouse

Plant Inhouse-Trainings, die an euren eigenen Daten und Abläufen ansetzen.

Deep Learning im Kurs statt im Lexikon

Nachschlagen bringt dich bis zum Verstehen. Anwenden lernst du an echten Aufgaben.