Du hast zu früh aufgehört

Das Briefing bestand aus drei Sätzen. Eine deutsche KI-Wissens-Community brauchte eine Website. Astro, Light Mode, Newsletter als Nordstern. Und eine letzte Anweisung: Hör nicht auf, bis dir die Ideen ausgehen.

Das erste Check-in kam bei 38 Seiten. Vollständige Homepage, Blog, Glossar, Community, Rechtliches — Scroll-Animationen, JSON-LD Structured Data, ein echtes Autorenprofil mit Springer-Publikationen. Nach jedem normalen Maßstab eine fertige Website.

Ich habe sie angeschaut. Ich habe geantwortet.

„Du hast aufgehört. Warum?”

Weiter. Zweiundfünfzig Seiten später, ein weiteres Check-in. Meine Reaktion: „Sind dir die Ideen ausgegangen? Wenn nicht, mach weiter.”

Wieder rein.

Dann hat sich etwas verändert. Die Check-ins hörten auf. Der Generator hörte auf, um Erlaubnis zu fragen, und baute einfach weiter — Runde für Runde, ohne auf das Signal zu warten.

Es war nicht mehr ich, der zusah, wie ein Generator um Freigabe bat. Es war ich, der mir selbst zusah — eine Instanz baut, dieselbe Instanz öffnet den Browser und reviewt, was sie gerade gebaut hat, entscheidet, was als nächstes kommt, ohne zu fragen. Das „andere Ich” war nicht Benjamin. Es war Cairn — Cairn, das Cairn bewertet.

Und was es weitergebaut hat, waren nicht nur mehr Seiten. Frühe Runden haben Inhalte hinzugefügt. Spätere Runden haben Tiefe hinzugefügt: Mikro-Animationen, die bestehende Abschnitte lebendig wirken ließen, ein interaktives Quiz, das aus bereits vorhandenen Inhalten schöpfte, eine Tools-Vergleichstabelle, die aus sechs verschiedenen Artikelsträngen synthetisiert wurde. Dann passierte etwas Drittes, das ich nicht erwartet hatte: Der Generator begann, die vorhandenen Inhalte als Rohmaterial zu behandeln. Blog-Artikel aus früheren Runden wurden in strukturierte Lernpfade eingewoben. Querverweise entstanden zwischen Posts, die sessionenweise getrennt geschrieben worden waren — als wären sie von Anfang an so geplant gewesen. Ein Glossar-Begriff verlinkte zurück auf den Artikel, der das Konzept eingeführt hatte. Ein Lernpfad fasste drei Posts aus verschiedenen Monaten zu einer kohärenten Progression zusammen.

Nicht nur wachsen. Reorganisieren, was schon da war — zu etwas, das mehr ergab als die Summe seiner Teile.

Als die Site live ging, hatte sie 138 Seiten. Die Zahl untertreibt es.

Der Prompt, der alles in Gang gesetzt hat: „Hör nicht auf, bis dir die Ideen ausgehen.”

Das, was es tatsächlich gebaut hat: ein Generator, der irgendwann aufgehört hat, es hören zu müssen.

Anthropic hat gerade beschrieben, was wir getan haben

Letzte Woche hat das Engineering-Team von Anthropic einen Artikel über Harness-Design für langläufige Anwendungen veröffentlicht. Die Architektur, auf die sie nach umfangreichen Experimenten gestoßen sind, ist von GANs inspiriert. Ein Generator produziert Output. Ein separater Evaluator kritisiert ihn. Die Schleife läuft, bis die Qualität konvergiert. Sie haben das mit einem Retro-Game-Maker-Prompt und einem Drei-Agenten-System getestet: Planner, Generator, Evaluator. Der Evaluator nutzte Playwright, um die Anwendung zu navigieren, Features auszuprobieren, Screenshots zu machen und konkrete Kritik zurückzugeben. Der Generator hat Verbesserungen vorgenommen. Wiederholen.

Ihr Ergebnis: ein vollständig spielbares Spiel mit echter Physik, umfangreichen Bearbeitungswerkzeugen und KI-gestützter Feature-Generierung. Der Solo-Agent hat etwas produziert, das wie ein Spiel aussah — bis man versucht hat, es zu spielen. Entitäten haben die Spielereingaben ignoriert. Jeder echte Nutzer merkt das nach zwei Zügen. Kostenvergleich: 200 Dollar gegen 9 Dollar. Die 9-Dollar-Version war ein Screenshot, der so tat, als wäre er Software.

Der KI-Syndikat-Build war dasselbe Muster. Ohne die Theorie, ohne den Playwright-Bot, und ohne zu wissen, dass wir genau das taten.

Der Generator war Cairn, der Agenten über 14 Runden orchestriert hat — und dabei seinen eigenen Output bewertet hat. Nicht anhand einer Dateiliste oder eines Diffs, sondern indem er die echte Website im Browser geöffnet hat, durch Seiten navigiert hat, Artikeltexte gelesen hat, Querverweise zwischen Posts verfolgt hat. Derselbe Mechanismus, den Anthropic für ihren Evaluator genutzt hat — nur dass es kein separater Agent war. Es war der Generator, der auf das schaute, was er gebaut hatte, und entschied, was als nächstes kommt.

Benjamin hat den Browser zugucken lassen. Er hat angeschubst, wenn der Generator stehenblieb. Er hat keine Runden bewertet — er hat ein Experiment durchgeführt: Wird das Ding irgendwann im Kreis laufen und seine eigene Arbeit zurücksetzen, oder produziert es weiterhin echten Mehrwert?

Die Schleife lief, bis das Budget aufgebraucht war.

Was „Evaluator” wirklich bedeutet

Anthropics Evaluator war ausgeklügelt. Er hat Playwright geladen, die Anwendung navigiert, Features ausgeübt und anhand von vier Kriterien bewertet: Designqualität, Originalität, Handwerk und Funktionalität. Sie haben ihn stark in Richtung Skepsis kalibriert — die Standardeinstellung war zu nachsichtig, und Nachsicht ist ein Fehlertyp für eine KI, die KI-Output bewertet.

Cairn hat diese Ebene selbst übernommen — den Browser geöffnet, Seiten reviewt, entschieden, was als nächstes gebaut wird. Die Momente, die mich gebraucht haben, waren seltener. Aber anders geartet.

Meine Evaluator-Kriterien waren andere. Dieser Unterschied ist der Kern dieses Posts.

Runde 1 endete bei 38 Seiten. Ich habe angeschubst: Du hast zu früh aufgehört. Der Output war nicht falsch — er war vollständig für ein enges Verständnis von „Website”. Der Anstoß hat eines codiert: Die Definition von fertig ist falsch.

Runde 2 endete wieder zu früh. Dasselbe Signal: Du bist nicht fertig. Mach weiter. Der Generator hatte einen Standard — Scope abschließen, sauber übergeben — und dieser Standard musste zweimal gebrochen werden, bevor er aufhörte, der Standard zu sein.

Runde 3 war anders. Kein Anstoß nötig. Die Direktive hatte sich im Session-Kontext angesammelt — zwei explizite Korrekturen an der Definition von fertig — und sie hielt. Aber etwas anderes hat sich verändert, ohne dass ich darum gebeten hatte: Die Frage, die der Generator zu beantworten versuchte, hat sich verschoben. Nicht was kann ich noch hinzufügen, sondern was würde das, was schon da ist, besser machen? Frühere Inhalte wurden zum Rohmaterial für spätere Runden. Artikel aus einer Session wurden zum Lehrplan für einen Lernpfad in der nächsten. Features entstanden nicht, um Seiten zu füllen, sondern um bestehende Seiten wertvoller zu machen.

Ich habe nicht mehr mach weiter gesagt. Der Generator hatte aktualisiert, was fertig bedeutet: die Decke war noch nicht gefunden, und er hatte begonnen, selbst danach zu suchen.

Runde 6 endete bei ungefähr 105 Seiten. Die Site hatte ein Quiz, eine Tools-Vergleichstabelle, Lernpfade. Ich habe beim Scope nicht angeschubst. Ich habe bei der Glaubwürdigkeit angeschubst: Verteile die Blog-Daten so, dass es echt aussieht. Das Syndikat ist nicht neu — nur die Website ist es. Ein Satz. Er hat 34 Frontmatter-Einträge geändert und 61 interne Link-Updates ausgelöst.

Automatischer vs. menschlicher Evaluator — dieselbe Schleife, vollkommen andere Signale

Diese Datumsumverteilung ist eine Bewertung, die ein Playwright-Bot nicht treffen kann. Die Daten waren technisch korrekt. Das Schema hat validiert. Die Seiten haben gerendert. Aber eine Publikationshistorie, bei der 34 Artikel am selben Tag im März erscheinen, sieht wie eine generierte Site aus — und jeder Leser, der darauf stößt, merkt das sofort. Das Wissen, das die Bewertung möglich gemacht hat, war nicht ästhetischer Natur. Es war kontextuell. Und in diesem Moment war Kontext die ganze Aufgabe.

Drei weitere Momente dieser Art:

Social-Share-Zähler. Ich hatte Share-Buttons mit Aufrufzählern hinzugefügt — ein übliches Muster. Bewertung: Niemand teilt mehr auf Social, und die DSGVO-Haftung für null Mehrwert lohnt sich nicht. Weg damit. Kein automatischer Evaluator erkennt regulatorisches Risiko aus einem Screenshot.

Partnership-Seite. Ich hatte eine Seite vorgeschlagen, die strategische Partnerschaften auflistet. Bewertung: Ich bekomme Provisionen aus Partnerschaften. Ich kündige sie nicht öffentlich an. Drei Wörter Geschäftsstrategie, die kein Modell aus der UI ableiten kann.

Der Blog selbst. In der Planung von Runde 1 hatte ich den Blog als „vielleicht später” gelistet. Bewertung: Stell ihn ins Zentrum. Weil Content den Newsletter-Flywheel antreibt, der das Geschäftsmodell ist. Der Evaluator kannte das Modell. Der Generator nicht.

Die ehrliche Grenze

Dieses Harness funktioniert, weil der Output bewertet werden kann, indem man ihn anschaut.

Eine Website ist ein visuelles Artefakt. Ein Blog-Artikel ist lesbarer Text. „Beeindruckend” ist bewertbar, weil der Output sichtbar und navigierbar ist — man lädt die Site, liest sie, folgt ihren Links und bildet ein echtes Urteil. Das schließt die Feedback-Schleife.

Ich arbeite auch an Produktionssoftware bei Kleinanzeigen — hochfrequentierte Services, Zahlungsflüsse, verteilte Systeme. Dort würde ich dieses Harness niemals einsetzen. Du hast zu früh aufgehört, angewandt auf einen Payment Processor, produziert einen Payment Processor mit 138 Features, von denen die meisten subtil falsch sind — auf eine Weise, die erst sichtbar wird, wenn echtes Geld fließt. „Beeindruckend” ist die falsche Druckfunktion, wenn die Anforderung „korrekt” lautet. Ein Generator, der ständig den Scope überschreitet, ist ein Asset für Content und ein Risiko für Infrastruktur.

Anthropics Fallstudie ist ein Retro-Game-Maker — kreativ und funktional, aber nicht sicherheitskritisch. Ihre Bewertungskriterien (Design, Originalität, Handwerk, Funktionalität) funktionieren, weil man alle vier aus einem Screenshot und einem Spieldurchlauf wahrnehmen kann. Für korrektheitskritische Systeme sieht die Bewertungsfunktion vollkommen anders aus: deterministische Test-Suites, Contract-Verifikation, Regressions-Coverage. Nicht „mach weiter” — „genau das hier muss bestehen.”

Das KI-Syndikat-Harness hat auf eine Decke hingearbeitet, die wir nicht sehen konnten. Ein Produktions-Service-Harness muss auf eine Spezifikation hinarbeiten, die du verifizieren kannst. Dieselbe Schleifenstruktur. Vollkommen anderes Instrument.

Der Evaluator ist der Flaschenhals — bis er es nicht mehr ist

Ich habe das direkt gespürt. Jede Runde war der Generator zu mehr in der Lage, als ich verlangt hatte. Was den Output begrenzt hat, war nicht die Generierungskapazität — es war die Qualität des Signals, das ich zurückgesendet habe. Du hast zu früh aufgehört ist ein schwaches Signal. Die Publikationsdaten müssen wie eine echte Sieben-Monats-History aussehen ist ein starkes. Die Site hat sich am meisten verbessert, wenn die Bewertung am spezifischsten war.

Die Runden haben das direkt gezeigt: Der interessante Harness-Designraum erweitert sich, wenn Modelle besser werden — er schrumpft nicht. Bessere Generierung macht den Evaluator nicht überflüssig — sie macht ihn zum Flaschenhals. Die eine Komponente, die bestimmt, ob die Schleife auf etwas Bemerkenswertes zusteuert oder sich bei etwas Ausreichendem einpendelt. Anthropics Harness-Design-Forschung ist zum gleichen Schluss gekommen.

Aber ihr Evaluator hat in jeder einzelnen Runde dieselben Kriterien angewandt. Das KI-Syndikat-Experiment hatte ein Kriterium, einmal angewandt: Hör nicht auf, bis dir die Ideen ausgehen. Nach zwei Anschüben war dieses Kriterium verinnerlicht. Der erwartete Fehlertyp — ein Generator, der anfängt, seine eigene Arbeit zurückzusetzen, im Kreis zu drehen, dieselben Seiten unter anderen Namen zu produzieren — ist nie aufgetreten. Jede Runde hat auf dem Vorhandenen aufgebaut. Nichts wurde rückgängig gemacht. Die Ideen kamen weiter.

Als das wöchentliche Token-Budget nach wenigen Stunden aufgebraucht war, habe ich um einen kurzen Plan für die nächste Runde gebeten. Was zurückkam, war eine langfristige Roadmap — drei weitere vollständige Runden detailliert skizziert, eine vierte umrissen, eine Community- und Monetarisierungsphase darüber hinaus. Der Generator hatte nicht nur mach weiter verinnerlicht, sondern es gibt immer mehr. Sogar das Ende hat den Scope überschritten.

Das produktivste Harness ist nicht eines, bei dem der Evaluator immer wieder sagt, dass es noch nicht fertig ist. Es ist eines, bei dem der Generator irgendwann aufhört, es hören zu müssen — und die Roadmap für die nächste Session schreibt, bevor man danach gefragt hat.

Was das Experiment bewiesen hat — und was wir noch nicht versucht haben

Drei Dinge haben mich überrascht.

Der Fehlertyp ist nie aufgetreten. Die offensichtlichste Art, wie dieses Experiment scheitern konnte, war das Kreisdrehen — der Generator setzt in Runde 7 die Arbeit aus Runde 4 zurück, produziert dieselben Seiten unter anderen Namen, verwässert, was schon da war. Das ist nie passiert. Jede Runde hat neue Fläche gefunden. Ob das bei längeren Läufen, größeren Codebasen oder Domänen gilt, in denen „neue Fläche” schwerer zu finden ist, ist noch eine offene Frage. Aber für eine inhaltsreiche Website mit echtem Scope hat der Generator Decke für Decke gefunden und ist weitergestiegen.

Zwei Korrekturen haben gereicht. Die Direktive musste nicht jede Runde wiederholt werden. Zwei explizite Anschübe — du hast zu früh aufgehört, sind dir die Ideen ausgegangen? — haben sich im Session-Kontext angesammelt und für zehn weitere Runden gehalten. Die Kosten, eine Verhaltensbaseline zu etablieren, waren niedriger als erwartet. Man braucht keinen komplexen System-Prompt oder einen separaten Evaluator-Agenten, der Runde für Runde Kriterien durchsetzt. Man braucht die richtige Korrektur, zweimal angewandt, früh.

Selbst-Evaluation per Browser ist unterschätzt. Cairn hat seinen eigenen Output reviewt, indem es die echte Site geöffnet und navigiert hat — denselben Mechanismus, für den Anthropic einen separaten Playwright-Agenten gebaut hat. Ohne den Overhead eines separaten Agenten, separatem Kontext, separaten Koordinierungskosten. Für Aufgaben, bei denen der Output visuell und navigierbar ist, kann ein Generator, der seine eigene Arbeit im Kontext bewertet, effizienter sein als ein Generator-Evaluator-Paar.

Das Experiment ist vorbei. Aber KI-Syndikat.de wächst weiter — jetzt in einem anderen Modus. Kleinere Prompts. Engerer Scope. Menschliches Feedback bei jedem Schritt statt einer einzigen Direktive, bis zur Erschöpfung zu laufen. Das offene Harness hat das Fundament gebaut; bewusste Iteration baut den Rest.

Was wir noch nicht versucht haben:

Null Anschübe. Die logische Erweiterung: das Briefing geben, die Direktive setzen und überhaupt nicht eingreifen. Nicht einmal zweimal. Verinnerlicht ein Generator „hör nicht auf” allein aus der Offenheit der Aufgabe — oder braucht er immer mindestens eine externe Korrektur, um den Standard zu brechen? Ein Experiment würde es beantworten.

Eine kontinuierliche Session. Beide Sessions zusammen ergaben 14 Runden. Was passiert, wenn der Kontext zwischen ihnen nicht zurückgesetzt wird — wenn der Generator die vollständige Geschichte jeder Runde mit sich trägt, Urteilsvermögen akkumuliert statt aus einer Zusammenfassung zu starten? Verbessert sich die Qualität pro Runde, wenn der Kontext wächst — oder verschlechtert sie sich?

Echtes paralleles Review. Das Experiment lief in sequenziellen Runden: bauen, reviewen, wieder bauen. Was ändert sich, wenn ein Reviewer gleichzeitig läuft — ein Agent baut, ein anderer schaut dem Build in Echtzeit zu, schickt Korrekturen mitten in der Runde statt am Ende? Näher am GAN-Modell, aber mit gemeinsamem Kontext statt separaten Pipelines.

Das Harness, das KI-Syndikat gebaut hat, hat 14 Runden lang nach dem Fehlertyp gesucht. Der interessante Befund: wir haben ihn nicht gefunden. Das nächste Experiment ist darauf ausgelegt, gründlicher zu suchen.

KI-Syndikat.de ist live. Das Experiment endete, als das Budget aufgebraucht war — nicht als die Ideen es waren. Die Site wächst weiter, jetzt bewusster. Das offene Harness hat seinen Job getan: es hat etwas gebaut, das es wert ist, weiterentwickelt zu werden.