Aufgaben eines Data Scientist - der Projektverlauf von vorn

Die Aufgaben eines Data Scientist lassen sich schlecht als Liste beschreiben und gut als Ablauf. Ein Projekt beginnt fast immer mit einer Frage, die noch keine ist, und endet im besten Fall mit etwas, das ohne dich weiterläuft. Dazwischen liegen sechs Schritte, und die Zeit verteilt sich anders darauf, als die meisten erwarten.

Der Ablauf eines Projekts

Die Fragestellung schärfen

Am Anfang steht ein Satz wie "Wir wollen wissen, welche Kunden abspringen". Das ist keine bearbeitbare Frage. Bearbeitbar wird sie erst durch Nachfragen: Was heißt abspringen - Kündigung, Inaktivität über 90 Tage, ausbleibende Verlängerung? Wie weit im Voraus soll die Vorhersage stehen? Was passiert mit dem Ergebnis, wer handelt danach und mit welchen Mitteln?

Dieser Schritt entscheidet über den Erfolg des ganzen Projekts, und er wird am häufigsten übersprungen. Wer die Zielvariable falsch definiert, baut sechs Wochen lang ein sauberes Modell für die falsche Sache. Aus derselben Ecke kommt auch die häufigste stille Katastrophe: eine Zielgröße, die Informationen enthält, die zum Vorhersagezeitpunkt noch gar nicht bekannt waren. Das Modell sieht dann im Test hervorragend aus und ist im Betrieb wertlos.

Am Ende dieses Schritts sollte ein Satz stehen, den auch der Fachbereich unterschreibt: was vorhergesagt wird, für wen, wie weit im Voraus und woran gemessen wird, ob es gut genug ist.

Daten beschaffen und verstehen

Jetzt geht es in die Systeme. Welche Tabellen gibt es, wer pflegt sie, seit wann sind sie verlässlich, ab welchem Zeitpunkt hat sich eine Definition geändert? Diese Arbeit teilt sich ein Data Scientist mit den Nachbarrollen: Der Data Engineer sorgt für Zugang und Zuverlässigkeit, und wer im Haus die Bedeutung der Felder kennt, ist meistens der Data Analyst - dessen Alltag im Beitrag zu den Aufgaben eines Data Analyst beschrieben ist.

Zur Datenarbeit gehört auch die Frage, was du überhaupt verwenden darfst. Personenbezogene Merkmale, Zweckbindung, Aufbewahrungsfristen: In vielen Häusern kostet die Klärung mehr Kalenderzeit als die Auswertung selbst.

Die Baseline

Bevor irgendein Modell trainiert wird, braucht es einen Vergleichsmaßstab. Der einfachste ist oft eine Regel, die jemand ohnehin schon anwendet: Alle Kunden ohne Login in den letzten 60 Tagen gelten als gefährdet. Dazu die simpelste statistische Variante, etwa eine logistische Regression auf drei Merkmalen.

Diese Baseline ist der wichtigste Wert im ganzen Projekt. Sie sagt dir, ob dein Aufwand sich gelohnt hat. Ein Modell, das um zwei Prozentpunkte besser ist als eine Regel, die jeder versteht, wird sich im Betrieb schwer durchsetzen - und das ist eine Erkenntnis, die man lieber in Woche zwei hat als in Woche zehn.

Das Modell

Jetzt erst kommt der Teil, den die meisten mit dem Beruf verbinden. Merkmale bauen, Verfahren auswählen, Parameter abstimmen, Kreuzvalidierung, Vergleich mehrerer Varianten. Die Arbeit ist strukturiert und macht Freude, und sie ist erstaunlich schnell erledigt, wenn die Schritte davor sauber waren.

Was hier viel Zeit kostet, ist nicht das Trainieren, sondern das Aufräumen der Merkmale: die Frage, ob ein Merkmal zum Vorhersagezeitpunkt bekannt ist, wie mit fehlenden Werten umgegangen wird, wie zeitliche Aufteilungen aussehen müssen, damit die Auswertung ehrlich bleibt.

Bewertung

Ein Modell wird zweimal bewertet: technisch und fachlich. Technisch heißt Kennzahlen auf Testdaten, Betrachtung der Fehler nach Gruppen, Stabilität über die Zeit. Fachlich heißt: Was kostet ein Fehler in die eine Richtung, was in die andere? Bei einer Prüfung, die einen Menschen kurz beschäftigt, ist ein falscher Alarm billig. Bei einer automatischen Sperre ist er teuer.

Zur Bewertung gehört auch die Frage, ob jemand nachvollziehen kann, warum eine Entscheidung so ausfällt. In regulierten Bereichen ist das keine Kür, sondern Bedingung.

Übergabe

Ein Modell, das auf deinem Rechner lebt, ist kein Ergebnis. Zur Übergabe gehören eine wiederholbare Trainingsstrecke, dokumentierte Datenquellen, eine Beschreibung der Grenzen und eine Verabredung, wer wann prüft, ob das Modell noch funktioniert. Diesen Teil verantwortet in größeren Häusern der Machine Learning Engineer, in kleineren macht ihn der Data Scientist selbst.

Wohin die Zeit wirklich geht

Die Zahlen sind Erfahrungswerte und schwanken stark, aber die Reihenfolge ist bemerkenswert stabil: Der Modellierungsteil ist fast nie der größte.

Warum das Modellieren der kleinste Block ist

Es gibt drei Gründe. Der erste ist Werkzeug: Was vor zehn Jahren eigene Implementierung erforderte, ist heute ein Funktionsaufruf. Der zweite ist Datenqualität: Der Aufwand ist dorthin gewandert, wo er sich nicht automatisieren lässt. Der dritte ist der wichtigste - der Nutzen eines Projekts entsteht nicht im Modell, sondern an seinen Rändern. Eine gut gestellte Frage und eine funktionierende Übergabe machen aus einem mittelmäßigen Modell einen Nutzen. Ein hervorragendes Modell an einer falschen Frage bleibt wertlos.

Wer sich für die Rolle interessiert, sollte deshalb nicht nur Verfahren lernen. Was an Grundlagen tatsächlich gebraucht wird, steht in der Übersicht zu den Kenntnissen für ein KI-Praktikum; die benachbarten Rollen findest du im Berufsfeld Daten und Analytics und auf der Seite zum Data Scientist.

Womit gearbeitet wird

Python ist die übliche Sprache, mit pandas für die Aufbereitung, scikit-learn für die klassischen Verfahren und einem der gängigen Deep-Learning-Rahmenwerke, sobald es um Bilder, Text oder Sprache geht. Dazu kommt SQL, und zwar mehr, als die meisten erwarten: Ein großer Teil der Aufbereitung passiert dort, wo die Daten liegen, weil das schneller ist, als sie zu exportieren.

Rund um die eigentliche Modellarbeit steht Handwerkszeug, das in Kursen selten vorkommt und im Alltag ständig gebraucht wird: Git für die Versionierung, ein Werkzeug zur Nachverfolgung von Experimenten, Notebooks für die Erkundung und normale Skripte oder Module für alles, was wiederholbar sein muss. Die Faustregel im Team lautet meist: Was zweimal ausgeführt wird, gehört aus dem Notebook heraus.

Produktteam oder Analyse-Einheit

Der Alltag unterscheidet sich stark danach, wo die Stelle sitzt.

Im Produktteam arbeitest du an einem System, das Nutzer erreicht. Deine Ergebnisse werden ausgeliefert, gemessen und irgendwann schlechter, weil sich die Daten ändern. Du hast mit Entwicklung, Produktmanagement und Betrieb zu tun, arbeitest in kurzen Zyklen und an wenigen Themen über lange Zeit. Der Vorteil: Du siehst Wirkung. Der Preis: Ein großer Teil deiner Arbeit ist Pflege.

In einer Analyse-Einheit - je nach Haus als zentrales Data-Science-Team oder Kompetenzzentrum geführt - bearbeitest du Anfragen aus verschiedenen Fachbereichen. Die Themen wechseln, du siehst viele Datenlandschaften, und du präsentierst häufiger. Der Vorteil: Breite. Der Preis: Viele Projekte enden mit einer Präsentation statt mit einem System, und nicht jedes gute Ergebnis wird umgesetzt.

Für einen Einstieg spricht einiges für das Produktteam, weil man dort den vollständigen Verlauf einmal miterlebt. Wie sich die Umfelder bei einem Praktikum unterscheiden, ist im Beitrag zum Machine-Learning-Praktikum ausführlicher beschrieben.

Was ein Praktikant davon übernimmt

Nicht das ganze Projekt, sondern einen klar abgegrenzten Teil davon - und das ist sinnvoll so.

Typisch sind: die Baseline bauen und dokumentieren, einen Merkmalssatz erstellen und prüfen, zwei oder drei Verfahren gegeneinander auswerten, eine Fehleranalyse nach Segmenten, das Aufsetzen einer wiederholbaren Auswertung, das Nachrechnen eines bestehenden Modells auf neueren Daten.

Was du in der Regel nicht bekommst: die Entscheidung über die Zielvariable, die Abstimmung mit dem Datenschutz, die Verantwortung für ein laufendes System. Diese Teile brauchen Kontext, den man in drei Monaten nicht aufbaut.

Ein Rat dazu: Dokumentiere während des Praktikums mit, was du versucht hast und was nicht funktioniert hat. Daraus entsteht später der Projektabschnitt in deinen Unterlagen, um den es in der Kategorie Bewerbung geht - und im Gespräch fragt fast jeder nach dem Weg, nicht nach dem Ergebnis.

Abgrenzung in einem Absatz

Der Data Analyst erklärt, was war. Der Data Scientist schätzt, was sein wird, und beziffert, wie sicher diese Schätzung ist. Der Machine Learning Engineer sorgt dafür, dass diese Schätzung jeden Tag zuverlässig entsteht, ausgeliefert wird und überwacht bleibt. In kleinen Unternehmen macht eine Person alle drei Rollen, in großen sitzen drei Teams daran - und die Reibung entsteht regelmäßig an den Übergängen, nicht innerhalb der Rollen.