Was ist Deep Learning?
Deep Learning ist das Teilgebiet des maschinellen Lernens, bei dem künstliche neuronale Netze mit vielen versteckten Schichten auf großen Datenmengen trainiert werden. Solche Netze lernen die entscheidenden Merkmale während des Trainings selbst aus den Daten, statt dass jemand sie vorher von Hand festlegt.
Hinter Spracherkennung, Bildprüfung und maschineller Übersetzung steckt fast immer dasselbe Verfahren, und wer Angebote dazu bewerten muss, sollte wissen, was ein Netz überhaupt lernt.
KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
- Gehört zu
- Maschinellem Lernen
- Kernidee
- Merkmale entstehen im Training selbst
- Braucht
- Viele Beispiele und Rechenzeit
- Verwechselt mit
- Künstlicher Intelligenz insgesamt
KI, maschinelles Lernen, Deep Learning: wie die Begriffe zusammenhängen
Die drei Begriffe sind ineinander verschachtelt. Künstliche Intelligenz ist der Oberbegriff für Systeme, die Aufgaben lösen, für die man sonst menschliches Urteil braucht, auch fest programmierte Regelwerke gehören dazu. Maschinelles Lernen ist der Teil davon, bei dem ein System seine Regeln aus Beispielen ableitet. Deep Learning ist wiederum der Teil des maschinellen Lernens, der dafür tiefe neuronale Netze nutzt.
Der Unterschied zum klassischen maschinellen Lernen liegt in den Merkmalen. Soll ein klassisches Verfahren Kratzer auf Bauteilen erkennen, muss vorher jemand festlegen, woran man einen Kratzer erkennt, etwa an Helligkeitssprüngen einer bestimmten Länge. Ein tiefes Netz bekommt nur die Bilder mit der Angabe „Kratzer“ oder „in Ordnung“ und findet die Merkmale selbst.
Die Schichten eines neuronalen Netzes
Ein neuronales Netz besteht aus Schichten künstlicher Neuronen. Jedes Neuron rechnet die Werte der vorherigen Schicht gewichtet zusammen und schickt das Ergebnis durch eine Aktivierungsfunktion, die entscheidet, wie stark es weitergibt. Drei Arten von Schichten gibt es:
-
Eingabeschicht
Nimmt die Rohdaten auf, bei einem Bild zum Beispiel die Helligkeitswerte der einzelnen Pixel. Sie rechnet selbst nichts.
-
Versteckte Schichten (Hidden Layers)
Liegen zwischen Ein- und Ausgabe und bauen Schritt für Schritt abstraktere Darstellungen auf. Bei Bildern reagieren frühe Schichten auf Kanten und Farbverläufe, spätere auf Formen und ganze Objekte. Erst wenn es mehrere davon gibt, spricht man von einem tiefen Netz.
-
Ausgabeschicht
Liefert das Ergebnis, etwa eine Wahrscheinlichkeit je Klasse („Kratzer“ 0,93, „in Ordnung“ 0,07) oder einen Zahlenwert.
Wie viele Schichten „tief“ sind, ist nicht fest definiert. Netze für Bilderkennung haben Dutzende Schichten, große Sprachmodelle ebenfalls, mit Milliarden von Gewichten dazwischen. Welche Schichten wie verbunden sind, beschreibt die Architektur des Netzes.
Wie ein Netz lernt
Beim Training läuft ein Beispiel durch das Netz, das Ergebnis wird mit dem gewünschten Wert verglichen, und eine Verlustfunktion beziffert den Fehler. Über die Fehlerrückführung (Backpropagation) wird dieser Fehler rückwärts durch die Schichten verteilt, und ein Optimierungsverfahren, meist eine Variante des Gradientenabstiegs, verschiebt jedes Gewicht ein Stück in die Richtung, die den Fehler verkleinert.
Das passiert nicht einzeln, sondern in Stapeln (Batches), und ein vollständiger Durchlauf durch alle Trainingsdaten heißt Epoche. Ein Training umfasst viele Epochen. Wie schnell die Gewichte angepasst werden, steuert die Lernrate, eine der Stellschrauben, die nicht gelernt, sondern vorab gesetzt werden. Solche Stellschrauben heißen Hyperparameter.
Trainings-, Validierungs- und Testdaten
Ob ein Netz wirklich gelernt hat oder nur auswendig kann, zeigt sich erst an Daten, die es nie gesehen hat. Deshalb wird der Datenbestand vor dem Training in drei Teile getrennt:
| Datensatz | Wofür | Typischer Anteil |
|---|---|---|
| Trainingsdaten | Daraus lernt das Netz seine Gewichte | etwa 70 bis 80 Prozent |
| Validierungsdaten | Während der Entwicklung prüfen, Hyperparameter wählen, Training rechtzeitig stoppen | etwa 10 bis 15 Prozent |
| Testdaten | Einmal ganz am Ende die echte Leistung messen | etwa 10 bis 15 Prozent |
Die Anteile sind Faustwerte, keine Norm. Wichtiger ist die Trennung selbst: Wer Testdaten zwischendurch zum Feinjustieren nutzt, hat am Ende keinen unabhängigen Maßstab mehr und überschätzt sein Modell. Gleiches gilt, wenn Aufnahmen derselben Serie, desselben Kunden oder desselben Zeitraums in mehreren Teilen landen. Deshalb wird nach solchen Gruppen getrennt, nicht zufällig über alle Zeilen.
Die wichtigsten Architekturen
Für unterschiedliche Datenarten haben sich unterschiedliche Bauformen durchgesetzt. Die Namen begegnen dir in fast jedem Produktblatt:
| Architektur | Stark bei | Beispiel |
|---|---|---|
| Convolutional Neural Network (CNN) | Bildern und Videos | Bauteilprüfung, Belegerkennung |
| Recurrent Neural Network (RNN, LSTM) | Zeitreihen und Sequenzen | Sensordaten, früher auch Übersetzung |
| Transformer | Text, inzwischen auch Bild und Ton | Große Sprachmodelle, Übersetzung |
| Autoencoder | Komprimieren und Auffälligkeiten finden | Anomalieerkennung an Maschinen |
| Diffusionsmodell | Erzeugen von Bildern | Bildgeneratoren |
Wann es sich gegenüber klassischen Verfahren lohnt
Seine Stärke spielt Deep Learning bei unstrukturierten Daten aus: Bilder, Ton, Video, freier Text. Dort gibt es keine sauberen Spalten, aus denen sich Merkmale von Hand ableiten ließen, und genau diese Arbeit übernimmt das Netz.
Bei Tabellendaten sieht es anders aus. Für einige tausend Zeilen mit klar benannten Spalten liefern Verfahren wie Gradient Boosting oft bessere Ergebnisse, brauchen weniger Rechenzeit und lassen sich leichter erklären. Wer dort mit einem tiefen Netz startet, handelt sich Aufwand ein, ohne Genauigkeit zu gewinnen.
Was beim Training schiefgeht
Der häufigste Fall ist Überanpassung (Overfitting): Der Fehler auf den Trainingsdaten sinkt weiter, während er auf den Validierungsdaten wieder steigt. Das Netz hat Beispiele auswendig gelernt statt Muster. Gegenmittel sind mehr oder künstlich variierte Daten, Dropout, kleinere Netze und ein rechtzeitiger Abbruch des Trainings.
Bei ungleich verteilten Klassen taugt die Gesamttrefferquote nicht als Maß. Wenn ein Fehlerfall in einem von hundert Teilen auftritt, kommt ein Modell, das jedes Teil für in Ordnung erklärt, auf 99 Prozent und ist trotzdem wertlos. Aussagekräftig sind hier zwei Größen je Klasse: die Präzision, also wie viele der gemeldeten Fehlerfälle tatsächlich Fehler waren, und die Sensitivität (Recall), also wie viele der vorhandenen Fehlerfälle das Modell überhaupt gefunden hat.
KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
Deep Learning und was oft damit gleichgesetzt wird
KI ist der Oberbegriff, Deep Learning nur ein Weg dorthin. Auch ein Regelwerk aus Wenn-dann-Bedingungen oder ein Schachprogramm mit Suchbaum zählt zur KI, ohne dass ein neuronales Netz im Spiel ist.
Deep Learning ist ein Teilgebiet davon. Die übrigen Verfahren, von der Regression über Entscheidungsbäume bis zum Gradient Boosting, gehören ebenfalls zum maschinellen Lernen, arbeiten aber mit Merkmalen, die vorher definiert werden.
Auch ein Netz mit einer einzigen versteckten Schicht ist ein neuronales Netz. Von Deep Learning spricht man erst bei mehreren Schichten, die nacheinander abstraktere Darstellungen aufbauen.
Ein Sprachmodell ist ein bestimmtes tiefes Netz mit Transformer-Architektur, das auf sehr großen Textmengen trainiert wurde. Deep Learning ist die Methode dahinter, nicht der Anwendungsfall.
KI-generiertDieses Bild wurde mit KI erzeugt · Yves Hoppe / KI / cmt
Über das Ergebnis entscheiden die Daten, nicht die Architektur des Netzes
In Projekten liegt der größte Aufwand fast nie im Modell, sondern darin, genügend Beispiele zusammenzubekommen und sauber zu beschriften. Bei einer optischen Bauteilprüfung heißt das: Für jeden Fehlertyp braucht es genügend Aufnahmen, und ausgerechnet der seltene Fehler, auf den es ankommt, ist im Bestand kaum vorhanden. Wer die Beschriftung an mehrere Personen verteilt, sollte vorher klären, was genau als Fehler zählt, sonst lernt das Netz die Uneinigkeit mit.
Im Betrieb kippt die Qualität oft still, wenn sich die Umgebung ändert, etwa nach einem Wechsel der Beleuchtung, der Kamera oder eines Zulieferers. Das Netz liefert weiter selbstbewusste Antworten, nur eben falsche. Deshalb gehört eine laufende Stichprobenkontrolle dazu, die solche Verschiebungen früh sichtbar macht.
Ein solches System ist kein Projekt mit Enddatum. Es braucht jemanden, der die Fehlentscheidungen sichtet, neue Beispiele nachliefert und festlegt, wann nachtrainiert wird. Wer das nicht einplant, hat nach einem Jahr ein Modell im Einsatz, dem in der Fachabteilung niemand mehr traut.
Deep Learning lernen
Wie du ein Netz aufbaust, trainierst und gegen Überanpassung absicherst, vermitteln die Kurse zu neuronalen Netzen mit Python an eigenen Datensätzen.
Wie aus derselben Grundidee heutige Sprachmodelle geworden sind, greifen die Trainings rund um große Sprachmodelle auf.
Kurse, die Deep Learning behandeln
- Python Deep-Dive Kurs: Deep Learning, Neuronale Netze & Visualisierung
- Pytorch Grundkurs: Deep Learning mit MLP und CNN
- Python mit Tensorflow: Grundkurs
- Machine Learning mit Python Grundkurs (Für Python Einsteiger)
- Python Machine Learning Grundkurs (Für Python Entwickler)
- Google Cloud Machine Learning Engineer Training
Weitere Kurse aus diesem Bereich
- DP-3014 Training: Implementieren einer Machine Learning-Lösung mit Azure Databricks (DP-3014-A)
- Machine Learning mit Mathematik: Grundkurs
- Reinforcement Learning: Lernen durch Belohnung
- Transfer Learning: Modelle schneller produktiv machen
- Machine Learning, Big Data & Predictive Analytics: Basics für Führungskräfte
- Unsupervised Learning Grundkurs: Clustering das wirkt
Häufige Fragen
Wie viele Daten brauche ich?
Brauche ich eine GPU?
Muss ich immer bei null anfangen?
Mit welchen Werkzeugen wird Deep Learning programmiert?
Passt thematisch dazu
Wie ein solches Prüfsystem in der Fertigung aufgebaut und abgenommen wird, zeigt die Seite zur Bauteilprüfung mit Bildverarbeitung im Werk.
Deine Ansprechpartner
Du willst das Thema nicht nur nachschlagen, sondern anwenden können? Wir beraten dich persönlich und kostenlos.
Yves Hoppe
Weiterbildung & Beratung
Ordnet mit dir ein, welcher Kurs zu deinem Vorwissen passt.
Norbert Jansen
Beratung & Inhouse
Plant Inhouse-Trainings, die an euren eigenen Daten und Abläufen ansetzen.
Deep Learning im Kurs statt im Lexikon
Nachschlagen bringt dich bis zum Verstehen. Anwenden lernst du an echten Aufgaben.