Wann ein KI-Wissensassistent nicht antworten sollte

Veröffentlicht am von Alexej Dyschelmann

Zwei interne Dokumente enthalten unterschiedliche Lieferbedingungen, und bei einem ist offen, ob es noch gültig ist. Würde dein Vertrieb den Wissensassistenten danach fragen, wäre eine eindeutige Auskunft ohne vorherige Klärung irreführend. Lege daher vor dem Einsatz fest, wann der Assistent antwortet, wann er eine fehlende Angabe erfragt und wann ein Mensch übernehmen muss. Maßgeblich ist nicht, wie überzeugend eine Antwort klingt, sondern ob ihre Grundlage für die konkrete Frage gilt.

Die Antwortregel: zuerst Gültigkeit, dann Auskunft

Eine interne Regel darf der Assistent nur ausgeben, wenn eine freigegebene Quelle zur Frage und zum relevanten Zeitraum passt und die Aussage ausreichend belegt ist. Erkennt er einen Widerspruch zwischen gleichrangigen, anwendbaren Quellen oder ist deren Gültigkeit unklar, soll er die strittige Aussage nicht treffen.

Fehlt in der Frage eine Angabe, kann er gezielt nachfragen. Ist die Wissensbasis selbst unklar, soll er den Grund nennen und an die zuständige Stelle verweisen. Unstrittige Teile darf er beantworten, sofern sie sich klar vom ungeklärten Punkt abgrenzen lassen.

Welche Quelle ist für welche Frage maßgeblich?

Ein Dokument ist nicht schon deshalb maßgeblich, weil es zuletzt geändert wurde oder in der Suche weit oben steht. Lege für jeden Wissensbereich fest, wer Inhalte freigibt und welche Quelle für welchen Zweck gilt. Eine Prozessanweisung kann einen internen Ablauf regeln; eine individuelle Vereinbarung kann nur für einen bestimmten Auftrag gelten.

Halte zu relevanten Quellen möglichst fest:

  • Zuständigkeit und Status: Wer pflegt und kontrolliert den Inhalt? Ist er freigegeben, in Bearbeitung oder zurückgezogen?
  • Geltungsbereich: Für welches Produkt, welchen Standort, Kundenkreis oder Prozess gilt die Aussage?
  • Gültigkeit: Ab wann und gegebenenfalls bis wann gilt sie? Wann wurde sie zuletzt fachlich geprüft?
  • Version und Vorrang: Welche Fassung ersetzt eine andere? Welche Quelle ist bei Überschneidungen maßgeblich?
  • Zugriff: Wer darf den Inhalt und den Quellennachweis sehen?

Ein Prüfdatum ist ein Hinweis, kein Wahrheitsbeweis. Ein altes Dokument kann noch gelten, ein frisch hochgeladenes bereits überholt sein. Fehlen Status oder Geltungsbereich für eine entscheidende Aussage, nutze sie bis zur Klärung nicht als verlässliche Grundlage.

Wann antworten, wann nachfragen, wann übergeben?

Übersetze die Quellenregeln in vier Reaktionen für den Assistenten:

  1. Antworten: Eine freigegebene Quelle passt zur Frage und zum Zeitraum, belegt die Aussage ausreichend und befindet sich nicht in einem erkannten, ungeklärten Widerspruch. Nenne Titel, Version und Fundstelle, sofern die fragende Person darauf zugreifen darf.
  2. Nachfragen: Eine fehlende Angabe, etwa Produktvariante, Standort oder Zeitpunkt, entscheidet darüber, welche Quelle gilt. Frage genau diese Angabe ab, statt sie anzunehmen.
  3. Nicht beantworten und übergeben: Die entscheidende Quelle ist abgelaufen, ihr Status ist unklar oder anwendbare Quellen widersprechen sich ohne festgelegten Vorrang. Nenne den Grund und die zuständige Stelle.
  4. Keine Grundlage gefunden: Der Assistent findet in den verfügbaren Quellen keinen ausreichenden Beleg. Er soll das sagen und die interne Regel nicht aus allgemeinem Modellwissen ergänzen.

Beispiel: Zwei freigegebene Dokumente nennen unterschiedliche Lieferbedingungen. Eines gilt für eine Produktgruppe, das andere für eine andere. Fehlt die Produktgruppe in der Frage, hilft eine Rückfrage. Gelten dagegen beide Dokumente für dieselbe Gruppe und denselben Zeitraum und ist kein Vorrang festgelegt, soll der Assistent keine der beiden Bedingungen als gültig ausgeben. Die fachlich verantwortliche Person muss den Widerspruch klären.

Die Regel technisch umsetzen

Viele Wissensassistenten arbeiten mit RAG: Zuerst suchen sie passende Textstellen in einer angebundenen Wissensbasis und erzeugen daraus eine Antwort. Dabei kann die Suche relevante Dokumente übersehen; gefundene Textstellen können ihren Zusammenhang verlieren. Ein Quellenverweis allein bestätigt deshalb weder die Gültigkeit noch die Richtigkeit einer Antwort.

Gib dem Umsetzungsteam die Entscheidungskriterien mit. Die Suche soll Berechtigung, Status, Geltungsbereich und Zeitraum berücksichtigen, soweit diese Informationen verfügbar sind. Die Antwort soll sich auf die gefundenen Belege stützen und ihre Grenzen nennen. Bei einem erkannten Konflikt oder fehlenden Angaben muss der Ablauf eine Rückfrage oder Übergabe ermöglichen, statt eine Antwort zu erzwingen.

Dass die Suche keinen Widerspruch findet, beweist nicht, dass keiner existiert. Bei Fragen mit erheblichen Folgen solltest du eine menschliche Prüfung vorsehen oder den Assistenten darauf beschränken, Quellen zu suchen und zusammenzustellen.

Änderungen und Rückzüge in der Suche abbilden

Bestimme für jeden Wissensbereich eine fachlich verantwortliche Person. Sie gibt Inhalte frei oder zieht sie zurück, klärt gemeldete Widersprüche und legt fest, wann sie Inhalte erneut prüft. Dein Umsetzungsteam sorgt dafür, dass diese Angaben in der angebundenen Suche ankommen.

Eine Änderung im Original reicht beim Ersatz oder Rückzug eines Dokuments nicht unbedingt aus. Kopien, Suchindex und zwischengespeicherte Inhalte können noch den alten Stand enthalten. Lege einen Aktualisierungsweg fest und prüfe anschließend mit einer konkreten Anfrage, ob die alte Fassung nicht mehr als gültige Grundlage verwendet wird. Bis die Aktualisierung bestätigt ist, solltest du die betroffene Aussage vorsorglich sperren oder zur Prüfung weiterleiten.

Halte bei einer Übergabe die Frage, betroffene Fundstellen und den Grund der Unsicherheit fest, soweit das nötig und zulässig ist. Die fragende Person darf nur Inhalte und Quellenhinweise sehen, für die sie berechtigt ist. Vertrauliche Dokumente können intern geklärt werden, ohne sie offenzulegen.

Was tun, wenn der Assistent zu häufig abbricht?

Zu viele Rückfragen oder Verweigerungen verlagern Arbeit zurück ins Team. Deshalb sollte der Assistent nur nach Angaben fragen, die die Auswahl der Quelle tatsächlich verändern. Bei geringem Risiko kann er verfügbare Informationen auch klar gekennzeichnet zusammenstellen, ohne daraus eine verbindliche Aussage abzuleiten.

Für offene Kreativaufgaben, bei denen keine verbindliche Wissensquelle erwartet wird, passt diese strenge Regel weniger. Bei verbindlichen internen Auskünften genügt dagegen eine hohe Antwortquote nicht als Freigabekriterium. Prüfe typische Fragen ebenso wie abgelaufene Dokumente, fehlende Angaben und bewusst eingebaute Widersprüche. Lass Fachverantwortliche sowohl unnötige Verweigerungen als auch falsche Antworten beurteilen.

Dein nächster Schritt

Wähle eine häufige Frage aus deinem Unternehmen, bei der eine falsche Auskunft Folgen hätte. Kläre für die vorgesehenen Dokumente mit der verantwortlichen Person Freigabe, Geltungsbereich und Vorrang. Formuliere dann je einen Testfall für eine gültige Quelle, eine fehlende Angabe und einen ungelösten Widerspruch.

Wenn du die Regeln in einen Wissensassistenten oder automatisierten Ablauf übersetzen möchtest, kannst du mit BrandBaboon über die Umsetzung deiner Entscheidungsregeln sprechen. Bring dazu die ausgewählte Frage und die betroffenen Quellen mit.