AI Test Engineer

Was macht ein AI Test Engineer?

Du testest Software, die auf dieselbe Eingabe zweimal verschieden antworten darf. Damit fällt der Satz weg, auf dem klassische Testautomatisierung steht: erwartetes Ergebnis gleich tatsächliches Ergebnis. Eine Zusammenfassung kann in zwei Formulierungen gleich gut sein, und ein Vergleich auf Gleichheit würde beide durchfallen lassen oder beide durchwinken.

An die Stelle des festen Sollwerts treten andere Prüfungen. Du testest Eigenschaften statt Wortlaut: Hat die Antwort die vereinbarte Struktur? Enthält sie die Angaben, die drinstehen müssen? Fehlt, was nicht drinstehen darf? Du bewertest über Mengen statt über Einzelfälle: Nicht ein Durchlauf entscheidet, sondern eine Sammlung von Fällen mit einer Schwelle, unter die das Ergebnis nicht fallen darf. Und du hältst Fehler fest, die sich nicht zuverlässig wiederholen lassen – auch das gehört zum Berufsbild.

Der zweite große Teil ist die Regressionsprüfung. Sobald ein Modell gewechselt, aktualisiert oder anders angesprochen wird, verschiebt sich das Verhalten des ganzen Systems, oft an Stellen, die mit der Änderung nichts zu tun haben. Deshalb braucht es eine Sammlung von Fällen, die vor dem Wechsel einmal durchläuft und danach noch einmal, mit einem Vergleich, den man jemandem zeigen kann.

Vom AI Evaluation Engineer trennt dich der Gegenstand: Der bewertet, wie gut ein Modell in seiner Aufgabe ist, und arbeitet an Messverfahren und Vergleichsmaßstäben. Du prüfst das fertige System – mit Oberfläche, Datenanbindung, Fehlerfällen und allem, was zwischen Modell und Nutzer liegt. Und der MLOps Engineer sorgt dafür, dass dieses System zuverlässig ausgeliefert wird und läuft; du sagst ihm, ob es das Richtige tut.

Was du im Praktikum machst

Meist baust du eine Testsammlung auf. Dafür sammelst du echte Fälle – aus dem Support, aus Protokollen, aus Gesprächen mit den Fachbereichen – und ordnest sie: gewöhnliche Fälle, Randfälle, Fälle, die das System ablehnen soll.

Dazu kommt fast immer ein Stück automatische Bewertung, damit nicht jemand hundert Antworten von Hand lesen muss. Häufig prüfst du außerdem einen Modellwechsel: zwei Stände gegeneinander laufen lassen, Unterschiede sortieren, aufschreiben, was besser und was schlechter geworden ist.

Testdaten sind dabei ein eigenes Thema. Echte Fälle enthalten oft personenbezogene oder vertrauliche Angaben, die nicht in eine Testsammlung gehören, also ersetzt du sie – ohne dass die Fälle dabei ihre Schwierigkeit verlieren.

Ein Nebenergebnis dieser Arbeit ist oft das wertvollste: eine Liste der Fälle, an denen das Produkt regelmäßig scheitert. Sie ist meist die ehrlichste Beschreibung des Systems, die im Haus existiert.

Was du mitbringen solltest

Programmieren auf solidem Niveau, Erfahrung mit einem Testrahmenwerk, Verständnis dafür, wie eine Auslieferungsstrecke aufgebaut ist. Dazu Grundlagen der Statistik – nicht als Selbstzweck, sondern weil du beurteilen musst, ob zwanzig Fälle für eine Aussage reichen. Sie reichen selten.

Wichtiger als jedes Werkzeug ist eine bestimmte Haltung: das Bedürfnis, ein System an der Stelle anzufassen, an der es unangenehm wird. Wer nur die Fälle testet, für die etwas gebaut wurde, bestätigt Arbeit, statt sie zu prüfen.

Und die Fähigkeit, einen Fehler so aufzuschreiben, dass jemand anders ihn nachstellen kann. Bei schwankenden Ausgaben heißt das: Eingabe, Modellstand, Einstellungen, wie oft von wie vielen Läufen.

Was du verdienst

Praktika liegen bei rund 1.600 Euro brutto im Monat. Der Einstieg bewegt sich um 4.700 Euro, mit zwei bis drei Jahren Erfahrung zwischen 5.300 und 6.600 Euro. Das sind Erfahrungswerte und keine Zusagen; Branche und Region verschieben sie deutlich.

Die Vergütung liegt etwas unter der von Rollen, die Modelle bauen, dafür ist die Nachfrage stabil: Sobald ein KI-Produkt Kunden hat, braucht jemand eine Antwort auf die Frage, ob die letzte Änderung es besser oder schlechter gemacht hat.

Wie es weitergeht

Ein Weg führt tiefer in die Messung hinein, Richtung AI Evaluation Engineer. Ein anderer führt zur Testarchitektur, die festlegt, wie im ganzen Haus geprüft wird. Und wer gern koordiniert, geht Richtung Leitung der Qualitätssicherung – eine Rolle, die in regulierten Branchen früh Gewicht bekommt.