Kurs · Modul 378
Daten bereinigen und deren Plausibilität sowie Qualität überprüfen
Nach diesem Kurs beurteilst du die Qualität eines Datensatzes nicht mehr nach Gefühl, sondern mit sechs klaren Dimensionen und Kennzahlen mit begründeten Zielwerten. Du profilst unbekannte Daten mit Power Query, pandas und SQL, erkennst Platzhalter und alle Formen fehlender Werte, bringst Schweizer Beträge, Datumsangaben, Telefonnummern und PLZ in ein einheitliches Format und prüfst Plausibilitätsregeln bis hin zu Prüfziffern und dem Abgleich mit Referenzdaten. Du findest exakte und unscharfe Dubletten mit Match-Schlüsseln und der Levenshtein-Distanz, führst sie nach festen Regeln zusammen, ohne Aufträge zu verlieren, und dokumentierst jede Bereinigung so, dass Fachabteilung und Revision sie nachvollziehen können. Zum Schluss leitest du Massnahmen an der Quelle ab, damit die Fehler gar nicht erst wieder entstehen. Du übst in 16 SQL- und Python-Laboren direkt im Browser, am durchgehenden Praxisfall der Thurgauer Landtechnik AG und in einer Prüfungssimulation, die wie ein Kompetenznachweis aufgebaut ist. Power Query und pandas zeigt der Kurs mit Beispielen und Ausgaben. Selbst ausführen musst du sie auf deinem eigenen Rechner.
Dein nächster Schritt
Gute Daten, schlechte Daten: die sechs Qualitätsdimensionen
Du benennst Qualitätsprobleme präzise mit sechs Dimensionen und entscheidest, welche Dimension für welchen Zweck kritisch ist. · 35 Min.
Dein KI-Lerncoach
Lernen mit KI, aber richtig
Der Tutor kennt dieses Modul, deine Lektion und deine Aufgaben. Er führt dich zur Lösung, statt sie vorzusagen.
Training
…
Aufgaben gelöst
Karteikarten
…
Karten im Kurs
Praxisprojekt
…
Meilensteine
Prüfung
…
bestes Ergebnis
Deine Kompetenzen
offen begonnen sicher gemeistert
Berechnet aus deinen gelösten Aufgaben. Ziel für den Kompetenznachweis: überall mindestens «sicher» auf Stufe 2.
| 1 · Grundlagen | 2 · Fortgeschritten | 3 · Erweitert | |
|---|---|---|---|
| A · Datenqualität messen | 0% | – | 0% |
| B · Daten profilen | – | – | – |
| C · Plausibilitätsregeln | – | – | – |
| D · Dubletten bereinigen | – | – | – |
| E · Nachvollziehbar bereinigen | – | – | – |
| F · Ursachen an der Quelle beheben | – | – | – |
Abzeichen
Lektionen
- 1Gute Daten, schlechte Daten: die sechs QualitätsdimensionenDu benennst Qualitätsprobleme präzise mit sechs Dimensionen und entscheidest, welche Dimension für welchen Zweck kritisch ist.Gratis35 Min.
- 2Qualität messen: Kennzahlen, Zielwerte und BerichtDu berechnest Füllgrad, Gültigkeitsquote und Dublettenquote mit dem richtigen Nenner, begründest Zielwerte und schreibst einen kurzen Qualitätsbericht.40 Min.
- 3Profiling: einen fremden Datensatz kennenlernenDu profilst einen unbekannten Datensatz mit Power Query und pandas, führst eine Auffälligkeitsliste und bestätigst Vermutungen mit gezielten Abfragen.40 Min.
- 4Fehlende Werte erkennen und nachvollziehbar behandelnDu erkennst alle Formen von fehlenden Werten, wählst begründet zwischen vier Wegen und protokollierst jede Entscheidung, ohne die Rohdaten anzutasten.45 Min.
- 5Schweizer Formate vereinheitlichen: Beträge, Datum, Telefon, PLZDu bringst Beträge mit Apostroph oder Komma, Datumsangaben, Telefonnummern und PLZ in ein eindeutiges Speicherformat und schreibst dafür wiederverwendbare Funktionen.45 Min.
- 6Plausibilitätsregeln, Referenzdaten und AusnahmenDu formulierst präzise Regeln, prüfst sie automatisiert in SQL und Python, nutzt PLZ-Verzeichnis und Prüfziffern und stufst Verstösse als Fehler, Prüffall oder Ausnahme ein.45 Min.
- 7Dubletten finden: exakt, normalisiert, unscharfDu findest exakte Dubletten, bildest normalisierte Match-Schlüssel und misst mit der Levenshtein-Distanz, wie ähnlich zwei Einträge sind.45 Min.
- 8Dubletten zusammenführen: Golden Record und UmhängenDu bildest einen Golden Record nach festen Regeln, hängst Aufträge um, statt Daten zu löschen, und legst unsichere Fälle der Fachabteilung vor.40 Min.
- 9Abnahme, Wirkung und Ursachen an der QuelleDu lässt eine Bereinigung mit Stichprobe abnehmen, misst die Wirkung, findest die Entstehungsorte der Fehler und erstellst einen priorisierten Massnahmenplan.45 Min.