Pudels Kern · Folge 2 — zuerst veröffentlicht auf LinkedIn am 21. Juli 2026
Meine KI hat ein makelloses Dossier geliefert — über niemanden
Die überzeugendste Antwort, die ich je von einer Maschine bekommen habe, war zur Hälfte falsch. Das Unangenehme daran ist nicht, dass sie falsch war. Es ist, dass ich das an ihr nicht sehen konnte.
Der Auftrag war Routine
Ich wollte etwas über einen Geschäftskontakt wissen. Keine schwierige Sache, nichts, wofür man sich einen Termin freihält — die Art Recherche, die man nebenbei vergibt, während man an etwas anderem sitzt.
Zurück kam eine Antwort, die alles hatte, was man sich wünscht. Ein Werdegang, sauber in Stationen gegliedert. Jede Station mit Jahreszahl. Zu jeder Angabe eine Quelle. Der Ton ruhig, ohne Übertreibung, ohne die kleinen Beteuerungen, an denen man Unsicherheit erkennt.
Ich habe sie einmal überflogen und für gut befunden. Genau so, wie man das mit einer Zuarbeit macht, die ordentlich aussieht.
Ich hätte beinahe danach gehandelt.
Ein Fehler
Es gab genau einen. Die Antwort hatte zwei Personen gleichen Namens zu einer einzigen, überzeugenden Biografie verschmolzen.
Die Hälfte dieses Werdegangs gehörte einem Fremden.
Ich möchte kurz ausbuchstabieren, was das im Alltag bedeutet, weil es sonst wie ein Schönheitsfehler klingt. Man geht in ein Gespräch. Man hat sich vorbereitet, man hat Anknüpfungspunkte im Kopf, man erwähnt eine frühere Station, weil sie zur Sache passt. Und gegenüber sitzt jemand, der dort nie war. Im besten Fall entsteht ein kurzes Stutzen, das man überspielt. Im schlechteren Fall entsteht der Eindruck, man habe sich mit einem Menschen befasst, den man mit jemand anderem verwechselt — und dieser Eindruck ist im selben Gespräch nicht mehr einzufangen.
Das ist keine kleine Ungenauigkeit, die man geraderückt. Das ist ein Termin, der schon verloren ist, bevor er anfängt.
Das Unangenehme: Es las sich wie Wahrheit
Der Punkt ist nicht, dass eine KI sich irren kann. Das weiß jeder, der eine benutzt.
Der Punkt ist, wie der Irrtum aussieht. Die falsche Hälfte kam im selben sicheren Ton wie die richtige. Dieselbe saubere Art, Quellen anzugeben. Dieselbe Ordnung, dieselbe Vollständigkeit, dasselbe angenehme Gefühl beim Lesen, dass hier jemand gründlich war.
Bei einem Menschen hätte ich etwas bemerkt. Menschen werden vager, wenn sie unsicher sind. Sie sagen „ich glaube", sie schieben ein „soweit ich weiß" ein, sie sprechen langsamer. Diese Signale lese ich mein Leben lang mit, ohne darüber nachzudenken.
Eine Maschine sendet sie nicht. Ihr Ton ist keine Auskunft über ihre Sicherheit — er ist eine Eigenschaft ihrer Bauart. Sie formuliert das Erfundene mit derselben Sorgfalt wie das Belegte, weil sie zwischen beidem beim Formulieren gar nicht unterscheidet.
Eine falsche Antwort trägt kein Warnschild. Sie sieht nicht schwächer aus als eine richtige, sie klingt nicht vorsichtiger, sie kommt nicht mit einem Hinweis. Wer darauf wartet, dass ihm der Fehler auffällt, wartet auf ein Signal, das es nicht gibt.
Damit ist auch die naheliegendste Gegenmaßnahme erledigt, bevor man sie ausprobiert: genauer hinsehen hilft nicht. Man kann nicht sehen, was keinen Unterschied macht. Wer sich vornimmt, künftig aufmerksamer zu lesen, hat sich vorgenommen, ein unsichtbares Merkmal zu erkennen — und wird sich für aufmerksam halten, bis es das nächste Mal schiefgeht.
Was es gefangen hat
Gefangen hat es keine schärfere Lektüre. Gefangen hat es eine stehende Regel:
Keine Quelle, keine Behauptung.
Sie ist so knapp, wie sie klingt. Liegt zu einer Angabe eine Quelle vor, wird die Angabe als Tatsache ausgegeben. Liegt keine vor, steht dort „unbekannt — nachsehen". Nicht die wahrscheinlichste Ergänzung, nicht die naheliegende Vermutung, sondern das Wort, das den Zustand beschreibt.
Der Kern davon ist eine Arbeitsanweisung, keine Haltung: Fakten werden aus einer Quelle abgerufen, nie erzeugt. Das ist ein technischer Satz über den Weg, auf dem eine Angabe entsteht — und deshalb ist er prüfbar, während „arbeite bitte sorgfältig" es nicht ist.
Genau an dieser Trennung ist das Dossier zerbrochen. Für die eine Hälfte gab es Belege. Für die andere nicht. Solange nur das Ergebnis zählte, ließ sich die verschmolzene Biografie mühelos aufrechterhalten; sie war ja stimmig. Sobald zu jeder einzelnen Station eine Quelle gefordert war, fiel sie in zwei Teile auseinander.
Dieselbe Regel gilt inzwischen für jede Zahl über ein fremdes Unternehmen. Umsatz, Mitarbeiterzahl, Standorte — nichts davon kommt aus dem Gedächtnis, alles wird recherchiert und mit Quelle genannt. Eine erfundene Zahl sieht einer geholten zum Verwechseln ähnlich. Das ist der ganze Grund.
Vier Wächter, ein Prinzip
Um diese Regel herum stehen drei weitere. Zusammen sind es vier, und jeder greift an einer anderen Stelle der Kette.
Quelle oder Schweigen. Die stehende Regel von oben. Sie wirkt beim Entstehen einer Aussage, also am frühesten Punkt.
Ein beauftragter Widersprecher. Eine zweite KI eines anderen Anbieters, deren Auftrag ausdrücklich lautet zu widersprechen. Nicht zu bestätigen, nicht abzuwägen, nicht höflich zu sein — zu widersprechen. Wer nur eine Instanz fragt, bekommt eine Meinung und hält sie für ein Ergebnis.
Ich habe diesen Widersprecher am 12. Juli eingerichtet und ihm zuerst eine Fassung meiner eigenen Positionierung vorgelegt, von der ich annahm, sie sei sauber. Er hat drei Schwächen darin gefunden, die mir nicht aufgefallen waren, und er hat zum Beleg einen Satz aus seiner Wissensgrundlage wörtlich zitiert — womit zugleich bewiesen war, dass er tatsächlich mit meinem Material arbeitet und nicht aus dem Allgemeinen heraus plaudert. Das war der Tag, an dem aus einer guten Idee ein Werkzeug wurde.
Ein maschinelles Tor. Ein Prüflauf über jeden Text, der nach außen geht. Er prüft nicht, ob der Text gut ist — das kann er nicht, und ich möchte auch nicht, dass er es versucht. Er prüft, ob der Text die Regeln verletzt, auf die ich mich festgelegt habe. Formulierungen, die ich abgeschafft habe. Angaben, die von der verbindlichen Quelle abweichen. Zahlen ohne Herkunft.
Eine Stolperdrahtprüfung. Dazu gleich mehr — das ist mein liebster Wächter.
Das Prinzip hinter allen vieren ist dasselbe: Keiner von ihnen hängt daran, dass ich im richtigen Moment aufmerksam bin. Aufmerksamkeit ist eine Ressource, die genau dann knapp wird, wenn viel zu tun ist — also immer dann, wenn Fehler teuer sind.
Mein Liebling: der Stolperdraht
In den Bestand ist ein Fehler eingebaut. Einer, den ich kenne, absichtlich gesetzt: eine Stelle, die der Prüflauf jedes Mal melden muss.
Der Sollzustand meiner Prüfung ist deshalb nicht „null Funde". Er ist „genau ein Fund".
Das verwirrt jeden, dem ich es zum ersten Mal erkläre, und es ist der nützlichste Einfall des ganzen Aufbaus. Der Nutzen liegt nicht darin, dass der Fehler gefunden wird — ich weiß ja, dass er da ist. Der Nutzen liegt in dem Tag, an dem er nicht gemeldet wird.
An diesem Tag ist nicht der Fehler verschwunden. An diesem Tag ist die Prüfung kaputt. Und ich erfahre es, statt wochenlang grüne Häkchen zu sammeln, die nichts mehr bedeuten.
Es hat mich einige Mühe gekostet, diesen einen Fund stehen zu lassen. Die Versuchung, ihn auszunehmen und endlich eine saubere Null zu sehen, war groß — eine Null sieht nach Ordnung aus. Sie ist aber nur dann Ordnung, wenn die Prüfung noch läuft, und genau das kann eine Null nicht zeigen.
Das ist der Unterschied zwischen einer Kontrolle und dem Gefühl, kontrolliert zu haben. Jede Prüfung, die still versagen kann, versagt irgendwann still. Ein Stolperdraht macht aus dem stillen Versagen ein lautes.
Dem Verfahren vertrauen, nicht dem Ton
Sicherheit ist ein Stil. Überprüfbarkeit ist eine Struktur.
Der Ton einer Antwort sagt etwas darüber, wie das Werkzeug gebaut ist, und nichts darüber, ob die Antwort stimmt. Wer ihm folgt, hat eine Gewohnheit aus dem Umgang mit Menschen auf einen Gegenstand übertragen, für den sie nicht gilt. Das ist keine Nachlässigkeit — das ist eine sehr gute Gewohnheit am falschen Ort.
Das Gegenmittel ist nichts Neues. Es ist eine alte Ingenieursgewohnheit an einem neuen Gegenstand: dem Verfahren vertrauen, das ein Ergebnis hervorgebracht hat, und daran den Wert des Ergebnisses bemessen. In der Fertigung ist das seit Jahrzehnten selbstverständlich. Niemand beurteilt dort ein Teil danach, wie gut es aussieht.
Ich benutze diese Werkzeuge heute mehr als vorher, nicht weniger. Der Unterschied ist, dass jede Angabe, an der etwas hängt, einen Weg hinter sich hat, den ich beschreiben kann.
Geprüft schlägt überzeugend.
Pudels Kern ist eine Serie über die Sache hinter dem ersten Anschein. Michael Kraewing führt digitale Vorhaben als Interim Executive.