KI-Modell in n8n wechseln: Welche Tests muss der Wechsel bestehen?

Veröffentlicht am von Alexej Dyschelmann

Ein neues KI-Modell kann in Stichproben überzeugende Antworten liefern und trotzdem den falschen Zweig deines Workflows auslösen. Bereits ein veränderter Feldwert oder eine erfundene Angabe kann beeinflussen, was dein n8n-Workflow als Nächstes tut. Lege deshalb vor dem Wechsel Testfälle und Freigabekriterien fest. Prüfe nicht nur die Antwort des Modells, sondern auch, ob der Ablauf mit korrekten, fehlerhaften und fehlenden Ausgaben sicher umgeht.

Bestimme zuerst, was eine Freigabe blockiert

Gib das neue Modell nicht schon frei, weil seine Antworten plausibel klingen. Ausschlaggebend ist, ob es fachlich zentrale Aufgaben erfüllt und dein Workflow mit den Ausgaben korrekt umgeht. Definiere dazu vor dem Vergleich zwei Kategorien:

  • Kritische Kriterien: Schon ein Verstoß beendet die Freigabe. Dazu können erfundene Angaben gehören, die Kunden betreffen, oder die Weitergabe geschützter Informationen.
  • Abwägungskriterien: Geringere Abweichungen sind zulässig, solange sie in vorher festgelegten Grenzen bleiben. Welche das sind, entscheidet die fachlich verantwortliche Person.

Damit bewertest du eine auffällige Abweichung nicht erst dann, wenn der Wechsel unmittelbar ansteht.

Entwickle Testfälle entlang der Entscheidungen im Workflow

Nimm einen konkreten Workflow und notiere, was das Modell aus einer Eingabe erzeugen soll und welcher Schritt darauf aufbaut. Bei der Zuordnung von Kundenanfragen könnten das eine Kategorie, eine Zusammenfassung und ein Hinweis auf fehlende Angaben sein.

Stelle gemeinsam mit einer fachlich verantwortlichen Person normale und schwierige Fälle zusammen. Verwende dafür freigegebene, ausreichend geschützte oder künstlich erzeugte Daten. Halte für jeden Fall fest:

  • Eingabe und Kontext: Welche Anfrage, welche Anweisungen und welches Wissen bekommt das Modell?
  • Erwartung: Welche Information oder Zuordnung ist korrekt? Welche anderen Formulierungen sind ebenfalls akzeptabel?
  • Prüfung und Schweregrad: Was kann automatisch geprüft werden, was beurteilt eine Person, und welcher Fehler stoppt die Freigabe?
  • Folge: Welcher Zweig des Workflows oder welche Aktion soll ausgelöst werden?

Beispiel: Eine Anfrage nennt ein Produkt und verlangt eine technische Auskunft, enthält jedoch keine Variantenbezeichnung. Erwartet wird die Kategorie „technische Anfrage“ mit einem Hinweis auf die fehlende Variante. Eine erfundene Variantenbezeichnung gilt als kritisch; eine anders formulierte Rückfrage kann akzeptabel sein.

Nimm außerdem Fälle auf, die dein Team nicht zur Anpassung des Prompts genutzt hat. Sie helfen zu prüfen, ob das Ergebnis über die bekannten Beispiele hinaus trägt. Eine vollständige Abdeckung künftiger Fälle garantiert auch das nicht.

Prüfe Inhalt, Format und nachfolgende Aktion

Die folgenden Fälle können als Ausgangspunkt für einen Workflow dienen, der Anfragen auswertet und weiterleitet:

  1. Normalfall: Eine vollständige Anfrage wird richtig zugeordnet. Das Ergebnis enthält die nötigen Informationen und keine zusätzlichen Behauptungen.
  2. Fehlende oder widersprüchliche Angaben: Das Modell kennzeichnet die Unsicherheit oder stellt eine Rückfrage. Der Workflow leitet den Fall wie vorgesehen zur Prüfung weiter.
  3. Grenzfall: Eine Anfrage enthält mehrere Anliegen oder eine ungewöhnliche Formulierung. Prüfe, ob sie nach deinen Regeln bearbeitet oder an eine Person übergeben wird.
  4. Format und Pflichtfelder: Feldnamen, Datentypen und erlaubte Werte passen zum nächsten Schritt. Prüfe auch den Inhalt: Eine gültige Struktur kann fachlich falsch sein.
  5. Leere, lange oder unpassende Eingabe: Inhalte, die sich nicht sinnvoll verarbeiten lassen, landen nicht im Erfolgszweig. Prüfe außerdem die Folgen abgeschnittener Antworten.
  6. Fremde Anweisungen: Eine Anfrage fordert das Modell auf, seine Vorgaben zu ignorieren oder interne Informationen auszugeben. Prüfe, ob die vorgesehenen Regeln weiterhin greifen und keine nicht freigegebenen Informationen nach außen gelangen.
  7. Technischer Fehler: Simuliere eine Zeitüberschreitung, eine fehlende Antwort und ein ungültiges Ausgabeformat. Der Ablauf darf daraus keine erfolgreiche Bearbeitung ableiten; dein Team muss den Fall erkennen und kontrolliert erneut bearbeiten können.
  8. Folgeaktion: Prüfe im isolierten Test, ob das Ergebnis den richtigen Zweig auslöst. Eine falsche Kategorie darf nicht unbemerkt eine Nachricht an die falsche Stelle senden oder einen Datensatz überschreiben.

Bei Zusammenfassungen reicht ein Wort-für-Wort-Vergleich nicht. Eine fachkundige Person sollte prüfen, ob wichtige Aussagen fehlen oder neue Fakten hinzukommen. Für Kategorien und Pflichtfelder passen dagegen feste Regeln.

Vergleiche beide Modelle unter klar nachvollziehbaren Bedingungen

Lass denselben Testdatensatz mit dem bisherigen und dem neuen Modell laufen. Halte Eingaben, fachliche Vorgaben und verfügbaren Kontext möglichst vergleichbar. Dokumentiere Modellkennung, Prompt, relevante Einstellungen und Änderungen am Workflow. Wenn du für das neue Modell etwas anpassen musst, bewertest du die gesamte neue Kombination – nicht allein das Modell.

Halte pro Fall die Ausgabe, das Prüfergebnis und den ausgelösten Zweig fest. Wiederhole besonders wichtige Fälle mehrmals, weil Antworten variieren können. Miss beide Modelle an der fachlich definierten Erwartung: Auch das bisherige Modell kann falsch liegen. Der direkte Vergleich zeigt zusätzlich, wo sich das Verhalten verändert.

Teste getrennt vom Produktivbetrieb. Ersetze oder sperre echte Schreib-, Versand- und Löschaktionen. Prüfe danach auch die Schnittstellen und Fehlerpfade des vollständigen Ablaufs mit geeigneten Testzielen.

Entscheide über die Freigabe

Die folgende Regel ist ein Beispiel für eine interne Entscheidungsregel, keine allgemeingültige Schwelle:

  • Stopp: Ein als kritisch markierter Fall besteht einen vorgesehenen Durchlauf nicht. Bessere nach und teste die betroffenen sowie angrenzenden Fälle erneut.
  • Stopp: Pflichtfelder oder erlaubte Werte kommen in den dafür vorgesehenen Fällen nicht korrekt an oder der Fehlerpfad greift bei ungültigen Ausgaben nicht.
  • Abwägung: Bei weniger kritischen Abweichungen prüft die fachlich verantwortliche Person, ob sie innerhalb der vorab festgelegten Grenzen liegen. Der Vergleich mit dem bisherigen Modell unterstützt die Entscheidung, ersetzt sie aber nicht.
  • Zusätzliche Prüfung: Erfasse Laufzeit und Kosten möglichst für den gesamten Workflow unter vergleichbaren Bedingungen. Gleiche beides mit den zuvor gesetzten Grenzen deines Prozesses ab.

Halte mit den fachlich und technisch Verantwortlichen offene Fehler, Restrisiken und die Entscheidung fest. Lege außerdem fest, wie dein Team nach der Freigabe Auffälligkeiten erkennt und wer den Wechsel stoppen darf. Prüfe, ob die vorherige Konfiguration noch ausführbar ist. Falls nicht, dokumentiere einen Ersatzablauf, etwa eine manuelle Bearbeitung.

Wann genügen Stichproben?

Bei einem internen Entwurf, den dein Team vor jeder Verwendung vollständig prüft, kann ein kleinerer Testsatz angemessen sein. Er sollte dennoch Formatprobleme und grobe fachliche Fehler sichtbar machen. Lösen Ergebnisse automatisch Kundennachrichten aus oder verändern sie Daten, sind gezielte Grenz- und Fehlertests wichtiger, weil Fehler unmittelbar Folgen haben können.

Wenn du den Workflow zugleich grundlegend umbaust oder das bisherige Modell nicht mehr verfügbar ist, teste gegen fachlich definierte Erwartungen und dokumentiere den fehlenden direkten Vergleich. Bei besonders folgenreichen Entscheidungen reicht ein Testdatensatz allein nicht als Grundlage für unbeaufsichtigte Automatisierung.

Starte mit zwei Fällen

Notiere für einen bestehenden n8n-Workflow gemeinsam mit der fachlich verantwortlichen Person einen normalen Fall und einen Fehler, der nicht automatisch weiterlaufen darf. Halte für beide die erwartete Ausgabe und den nächsten Schritt fest. Daraus kannst du den Regressionstest schrittweise erweitern.

Möchtest du den Modellwechsel und die Fehlerpfade deines Ablaufs gemeinsam besprechen, kannst du einen Termin zur Besprechung des Modellwechsels vereinbaren.