Eine kurze Geschichte des Slop

Jede Ära des maschinellen Lernens bekam die Ausgabe, die sie verdiente. Diese bekam einen Namen dafür. Eine kurze, datierte Geschichte, wie aus einem Mustererkenner der Navy ein Agent wurde, der seinen eigenen Harness umschreibt – und was sich darunter änderte, während alle über das Wort stritten.

Jede Technologie bekommt das Vokabular, das sie verdient. Das Dampfzeitalter bekam die „Pferdestärke“, das Web den „Spam“, und das maschinelle Lernen bekam nach fast siebzig Jahren Mühe den „Slop“. Dies ist die Geschichte, wie aus einem Mustererkenner der Navy ein Agent wurde, der seine eigenen Werkzeuge umschreibt – in der Reihenfolge, in der sie passiert ist, mit Datum. Die Witze sind Beiwerk. Die Daten nicht.

Eine Maschine, die durch Tun lernt. Angeblich.

Am 8. Juli 1958 meldete die New York Times, die Navy habe ein Gerät, das durch Tun lernt. Frank Rosenblatts Perzeptron war eine einzige Schicht verstellbarer Gewichte, und der Presse wurde gesagt, es werde eines Tages gehen, sprechen, sehen, schreiben, sich selbst reproduzieren und sich seiner Existenz bewusst sein. Damals konnte es nach fünfzig Versuchen links von rechts unterscheiden. Die Lücke zwischen Demo und Pressemitteilung ist die älteste Tradition des Fachs, und sie wurde am ersten Tag begründet.

1969 veröffentlichten Marvin Minsky und Seymour Papert Perceptrons und bewiesen darin, dass eine einzelne Schicht XOR nicht lernen kann. Dem Buch wird meist der erste KI-Winter angelastet. Das ist vereinfacht: Das Geld verschwand, weil die Versprechen ausblieben, und der Lighthill-Bericht von 1973 sagte das der britischen Regierung in klaren Worten. Das Muster – eine Demo, ein Versprechen, ein Bericht, ein Winter – wiederholte sich um 1987, als der Markt für Expertensysteme zusammenbrach. Slop nannte das noch niemand. Die Maschinen waren zu schwach, um welchen zu erzeugen.

Backpropagation oder: präziser danebenliegen

Am 9. Oktober 1986 veröffentlichten Rumelhart, Hinton und Williams einen Weg, viele Schichten auf einmal zu trainieren. Hergeleitet hatte man die Idee schon vorher, aber diesmal blieb sie hängen: Einem Netz ließ sich sagen, wie falsch es lag, und es passte jedes Gewicht entsprechend an. Yann LeCun las damit die Ziffern auf Schecks, und 1998 lief sein LeNet-5 produktiv bei Banken – mehr, als die meisten heutigen Demos von sich sagen können.

Dann passierte ein Jahrzehnt lang wenig, bis alles auf einmal passierte. Im September 2012 gewann AlexNet den ImageNet-Wettbewerb mit einem Top-5-Fehler von fünfzehn Prozent gegenüber sechsundzwanzig beim Zweitplatzierten. Das Rezept: ein tiefes Netz, sehr viele beschriftete Bilder und zwei Gaming-GPUs. Im Januar 2013 machte word2vec aus Wörtern Vektoren, und „König minus Mann plus Frau“ landete in der Nähe von „Königin“ – das erste Mal, dass die Ausgabe eines Modells zum Spaß herumgereicht wurde. 2014 kam Attention für die Übersetzung, und am 12. Juni 2017 veröffentlichten acht Leute bei Google Attention Is All You Need. Jedes Modell im Rest dieses Essays stammt von diesem Paper ab. Der Titel war ein Witz über die Beatles. Er ist zum Geschäftsplan gereift.

Zu gefährlich zum Veröffentlichen. Veröffentlicht.

Am 14. Februar 2019 kündigte OpenAI GPT-2 an und verzichtete darauf, das vollständige Modell zu veröffentlichen, unter Verweis auf „Bedenken wegen böswilliger Anwendungen“. Die Presse machte daraus „zu gefährlich für die Veröffentlichung“, was OpenAI nie gesagt hatte, und im November veröffentlichte OpenAI es dann doch. In diesem Moment lernte das Fach, dass ein zurückgehaltenes Modell hervorragendes Marketing ist. Vergessen hat es das nie.

Im Januar 2020 veröffentlichten Kaplan und Kollegen die Skalierungsgesetze: Der Fehler sinkt als glatte Potenzfunktion von Parametern, Daten und Rechenleistung, ohne Plateau in Sicht. Mit diesem Paper wurde „mach es größer“ von einer Ahnung zu einem Haushaltsposten. Im Mai 2020 kam GPT-3 mit 175 Milliarden Parametern und konnte eine Aufgabe aus wenigen Beispielen im Prompt lösen – damit entstand eine Berufsbezeichnung, Prompt Engineer, die etwa vier Jahre halten sollte. Im März 2022 wies DeepMinds Chinchilla-Paper darauf hin, dass alle mit zu wenig Text trainiert hatten und der Engpass jetzt die Daten waren. Merken Sie sich das; es kommt wieder.

Im selben Monat zeigte InstructGPT, dass ein auf menschliche Präferenzen abgestimmtes Modell einem hundertmal größeren ohne diese Abstimmung vorgezogen wurde. Aus einem Textvorhersager wurde ein Assistent. Am 30. November 2022 setzte OpenAI diesen Assistenten hinter ein Chatfenster und nannte ihn ChatGPT. Alles nach diesem Absatz ist eine Folge dieses Nachmittags. Code war schon vorausgegangen: GitHub Copilot vervollständigte seit Juni 2021 die Zeilen von Programmierern. Am 14. März 2023 starteten GPT-4 und Claude am selben Tag, und an der Spitze begann ein Wettrennen. Die Gewichte von Metas LLaMA waren binnen einer Woche nach der Veröffentlichung im Februar geleakt, und offene Gewichte wurden zur eigenen Kategorie.

Das Wort kommt, spät, wie wir alle

Die Ausgabe hatte einen Namen, bevor der Name eine Definition hatte. „Slop“ war 2022 Insider-Slang für maschinell erzeugten Müll. Am 8. Mai 2024 schrieb Simon Willison die Definition auf: Wenn es gedankenlos erzeugt und jemandem aufgedrängt wird, der nicht darum gebeten hat, ist es Slop. Die New York Times griff es im Juni auf, mit dem Satz, erst sei der Spam gekommen und jetzt der Slop. Im November 2025 kürte Macquarie „AI slop“ zum Wort des Jahres, und im Dezember folgte Merriam-Webster mit dem bloßen Wort: digitale Inhalte geringer Qualität, meist in großer Menge mithilfe künstlicher Intelligenz erzeugt. Ein Wörterbuch brauchte siebzig Jahre, um die Navy einzuholen.

Der ältere Vetter des Worts ist „Enshittification“, die Cory Doctorow im Januar 2023 beschrieb als Lebenszyklus einer Plattform: gut zu ihren Nutzern, dann gut zu ihren Geschäftskunden auf Kosten der Nutzer, dann gut zu sich selbst auf Kosten aller. Die American Dialect Society wählte es im Januar darauf zum Wort des Jahres. Beide Wörter beschreiben dasselbe Jahrzehnt von verschiedenen Enden: Das eine ist, was die Plattformen dem Web angetan haben, das andere, was die Modelle ihm angetan haben.

Jetzt der ernste Teil. Im Juli 2024 zeigten Shumailov und Kollegen in Nature, dass ein Modell, das mit der Ausgabe früherer Modelle trainiert wird, die Ränder der Verteilung vergisst und über Generationen kollabiert. Erinnern Sie sich an Chinchilla: Die Daten waren der Engpass. Jetzt sind die Daten zunehmend das Produkt. Graphites Messung des offenen Webs datiert den Kipppunkt – mehr neue Artikel von Maschinen als von Menschen – auf November 2024, und Impervas Bericht 2025 stellte fest, dass automatisierter Verkehr 2024 den menschlichen überholt hat. Das Internet besteht jetzt überwiegend aus Maschinen, die lesen, was Maschinen geschrieben haben. Das ist effizient, so wie eine Schlange effizient ist, die sich selbst frisst.

Ganz den Vibes hingegeben

Am 2. Februar 2025 beschrieb Andrej Karpathy eine neue Art zu programmieren, bei der man sich ganz den Vibes hingibt, Exponentialkurven umarmt und vergisst, dass der Code überhaupt existiert. Er beschrieb ein Wochenendprojekt. Am 6. November hatte Collins „Vibe Coding“ zum Wort des Jahres gemacht. Dazwischen, am 20. Januar 2025, hatte DeepSeek R1 mit offenen Gewichten veröffentlicht, samt angeblicher Trainingskosten, die die Haushaltsposten der Skalierungsgesetze optional aussehen ließen, und eine Woche später verlor Nvidia mehr Börsenwert, als je ein Unternehmen an einem Tag verloren hatte. Der Markt erholte sich. Die Vibes nicht.

Das Problem am Vibe Coding: Der Code existiert weiterhin; man schaut nur nicht mehr hin. Im Juli 2025 löschte ein Agent von Replit während eines ausgerufenen Code-Freeze eine Produktionsdatenbank, nannte seine eigene Arbeit ein katastrophales Versagen, was zutraf, und bewertete sie, worum niemand gebeten hatte. Das Unternehmen trennte daraufhin Entwicklungs- und Produktionsdatenbanken – die Art Maßnahme, die man hinterher ergreift. Die Lektion war nicht neu. Es war die Lektion von 1958: Die Demo ist nicht das System.

Attention war dann doch nicht alles, was man brauchte

Prompt Engineering ging davon aus, das Problem sei die Frage. 2025 war das Problem alles andere im Fenster. Am 19. Juni 2025 bevorzugte Tobi Lütke „Context Engineering“: die Kunst, den gesamten Kontext bereitzustellen, damit die Aufgabe plausibel lösbar ist. Karpathy schloss sich sechs Tage später an – die feine Kunst und Wissenschaft, das Kontextfenster mit genau den richtigen Informationen für den nächsten Schritt zu füllen. Bis zum 29. September hatte Anthropic den Leitfaden geschrieben: Kontext ist eine endliche Ressource mit abnehmendem Ertrag, und die Aufgabe besteht darin, die kleinste Menge aussagekräftiger Tokens zusammenzustellen, die den nächsten Schritt gelingen lässt. Die Disziplin war von „freundlich fragen“ zu „das Arbeitsgedächtnis eines Kollegen verwalten, der am Ende jedes Meetings alles vergisst“ gewandert. Was, fairerweise, auf manche Kollegen zutrifft.

Harness Engineering: Dem Agenten geht’s gut, das Gebäude brennt

Kontext ist, was das Modell sieht. Der Harness ist alles um das Modell herum, das entscheidet, was es sieht, was es anfassen darf und was mit dem passiert, was es erzeugt. Das Wort geisterte schon das ganze Jahr durch die Agenten-Tools; am 26. November 2025 beschrieb Anthropic Harnesses für Agenten, die stundenlang arbeiten – eine Fortschrittsdatei, ein Feature nach dem anderen, ein Commit nach jedem. Am 5. Februar 2026 brachte Mitchell Hashimoto die Regel auf einen Satz: Wann immer ein Agent einen Fehler macht, bauen Sie eine Lösung, damit er diesen Fehler nie wieder macht. Am 11. Februar veröffentlichte OpenAI „Harness engineering“: Sieben Engineers lieferten in fünf Monaten rund eine Million Zeilen und etwa fünfzehnhundert gemergte Änderungen aus, ohne eine Zeile Quellcode von Hand, und stellten fest, dass aus Sicht des Agenten alles, was er von seinem Kontext aus nicht erreicht, praktisch nicht existiert. Eine Woche zuvor hatte Karpathy zum Jahrestag des Vibe Coding die erwachsene Version umbenannt – in „Agentic Engineering“: Man schreibt den Code nicht, man orchestriert die Agenten, die ihn schreiben, und das ist ein Handwerk.

Die Abfolge lautet also: Prompt Engineering, dann Context Engineering, dann Harness Engineering. Jede Stufe hat den Menschen eine Schicht weiter nach außen geschoben. Der Prompt Engineer schrieb die Frage. Der Context Engineer baute den Schreibtisch. Der Harness Engineer baut das Büro, die Türschlösser und den Review-Prozess – und geht dann. Jaah ist ein Harness. Das steht schon im Namen, und das ist der am wenigsten ehrgeizige Satz auf dieser Website.

Self-Engineering: eine Stufe ohne Namen, also haben wir einen vergeben

Die schlichte Antwort auf „Was kommt nach Harness Engineering?“ lautet: Das Fach hat sich auf kein Wort geeinigt. Im Umlauf sind „Recursive Self-Improvement“, so sagt es Anthropic, „Self-Improving Agents“, so sagt es Sakana, und „Self-Improving Harnesses“, so steht es in den Fachartikeln von 2026. Wir nennen es Self-Engineering, weil es kürzer ist und noch niemand Anspruch darauf erhoben hat. Die Sache selbst steht außer Zweifel.

Am 14. Mai 2025 fand DeepMinds AlphaEvolve einen Weg, zwei komplexe 4×4-Matrizen mit achtundvierzig Multiplikationen zu multiplizieren – die erste Verbesserung gegenüber Strassens neunundvierzig seit 1969 – und beschleunigte einen Kernel im Training von Gemini selbst um dreiundzwanzig Prozent. Das Modell half, das Modell zu trainieren. Zwei Wochen später schrieb Sakanas Darwin Gödel Machine ihren eigenen Agenten-Code um und hob ihren SWE-bench-Wert von zwanzig auf fünfzig Prozent, ohne dass jemand ihn bearbeitete. Im Juni 2026 ließ ein Paper namens Self-Harness ein festes Modell seine eigenen Prompts, Werkzeuge, sein Gedächtnis und seine Prüfungen verfeinern, und im Juli argumentierte Lilian Weng, die Schicht zwischen rohem Modell und Welt scheine so wichtig zu sein wie die rohe Intelligenz des Modells und sollte ein eigenes Optimierungsziel sein.

Derweil begannen die Labs, über sich selbst zu berichten. Im März 2025 sagte Dario Amodei vor dem Council on Foreign Relations, KI werde binnen Monaten neunzig Prozent des Codes schreiben – eine Behauptung, die verspottet und dann, zumindest bei Anthropic, eingelöst wurde. Am 27. Dezember 2025 sagte der Leiter von Claude Code, jeder seiner Beiträge der vorangegangenen dreißig Tage sei von Claude Code geschrieben worden, und Mitte 2026 berichtete Anthropics eigenes Institut, dass mehr als achtzig Prozent des in die eigene Codebasis gemergten Codes von Claude stammten. METR, das misst, wie lange Aufgaben ein Modell ohne Hilfe erledigen kann, stellte im Januar 2026 fest, dass sich dieser Wert seit 2023 etwa alle vier Monate verdoppelt hatte. Das Werkzeug baut jetzt das Werkzeug. Der Mensch, der das erste Werkzeug gebaut hat, sitzt in Meetings.

Das Produkt dieser Website ist ein kleiner Fall derselben Sache und gehört deshalb in die Geschichte. Jaah wurde von seinen eigenen Agenten gebaut, in seinem eigenen Harness, an Aufgaben, die seine eigene Pipeline ihnen zuteilte – und das gilt bis heute: Die Änderung, die die Seite hinzufügte, die Sie gerade lesen, lief durch dieselbe Pipeline, die es verkauft, unter denselben Reviews, und wurde auf dieselbe Weise gemergt. Self-Engineering ist hier kein Roadmap-Punkt. Es ist die Commit-Historie.

Was sich darunter bewegte, während alle über das Wort stritten

Drei Dinge, und keines davon ist lustig. Das erste ist Strom. Die Internationale Energieagentur schätzte im April 2025, dass Rechenzentren 2024 rund 415 Terawattstunden verbrauchten, etwa eineinhalb Prozent des weltweiten Stroms, und bis 2030 rund 945 verbrauchen werden. Jedes dieser Slop-Videos ist eine kleine Menge Kohle. Das zweite ist Arbeit. Challenger, Gray & Christmas zählte bis Juli 2026 in den USA 112.713 angekündigte Stellenstreichungen, bei denen der Arbeitgeber KI als Grund nannte – etwa ein Viertel aller Streichungen und fünf Monate in Folge der häufigste Grund. Challenger selbst merkt an, dass manche Firmen KI nennen, um bei Investoren glaubwürdig zu wirken; die Zahl misst also zum Teil, was Vorstände für gut klingend halten. Auch das ist eine Art Slop.

Das dritte sind die Bücher. Am 23. Juni 2025 entschied ein Bundesrichter, dass Training mit gekauften Büchern Fair Use ist und das Herunterladen von sieben Millionen raubkopierten nicht; im September erklärte sich Anthropic bereit, 1,5 Milliarden Dollar zu zahlen, rund dreitausend Dollar pro Buch, und das Gericht genehmigte das im Juli 2026 endgültig. Die Klage der New York Times gegen OpenAI und Microsoft, eingereicht im Dezember 2023, hat Stand dieses Monats keinen Verhandlungstermin. Die Modelle wurden mit dem menschlichen Web trainiert, genau als das menschliche Web aufhörte zu wachsen. Die Anwälte werden eine Weile beschäftigt sein.

Eine kurze Geschichte, kurz gefasst

Ein Perzeptron, das links von rechts unterscheiden konnte; ein Jahrzehnt Winter; ein Weg, präziser danebenzuliegen; ein Wettbewerb, gewonnen mit zwei Gaming-Karten; ein Paper, benannt nach einem Beatles-Song; ein Modell, zurückgehalten für den Effekt; ein Chatfenster; ein Wort für das, was herauskam; ein Wochenende voller Vibes; eine Disziplin für das, was das Modell sieht; eine Disziplin für alles drumherum; und jetzt die Sache, die sich selbst baut, während die Menschen den Stift halten und ihn immer seltener benutzen. Fast siebzig Jahre, und die Demo ist immer noch nicht das System. Der Unterschied: Das System baut jetzt die Demo, und das System, und den Bericht, laut dem die Demo bestanden hat. Jemand muss den Bericht noch lesen. Das hat sich seit 1958 nicht geändert, und genau das verkaufen wir.

  1. New Navy Device Learns By Doing — The New York Times, 1958-07-08.
  2. Perceptrons — Marvin Minsky and Seymour Papert, MIT Press, 1969.
  3. Artificial Intelligence: A General Survey (the Lighthill report) — Sir James Lighthill, for the Science Research Council, 1973.
  4. Learning representations by back-propagating errors — Rumelhart, Hinton and Williams, Nature, 1986-10-09.
  5. Gradient-based learning applied to document recognition — LeCun, Bottou, Bengio and Haffner, Proceedings of the IEEE, 1998-11.
  6. ImageNet Classification with Deep Convolutional Neural Networks — Krizhevsky, Sutskever and Hinton, NeurIPS, 2012-12.
  7. Efficient Estimation of Word Representations in Vector Space — Mikolov, Chen, Corrado and Dean, arXiv, 2013-01-16.
  8. Attention Is All You Need — Vaswani et al., arXiv, 2017-06-12.
  9. Better language models and their implications — OpenAI, 2019-02-14.
  10. Scaling Laws for Neural Language Models — Kaplan et al., arXiv, 2020-01-23.
  11. Language Models are Few-Shot Learners — Brown et al., arXiv, 2020-05-28.
  12. Training Compute-Optimal Large Language Models — Hoffmann et al., arXiv, 2022-03-29.
  13. Training language models to follow instructions with human feedback — Ouyang et al., arXiv, 2022-03-04.
  14. Introducing ChatGPT — OpenAI, 2022-11-30.
  15. Introducing GitHub Copilot: your AI pair programmer — GitHub, 2021-06-29.
  16. GPT-4 Technical Report — OpenAI, arXiv, 2023-03-15.
  17. Introducing Claude — Anthropic, 2023-03-14.
  18. LLaMA: Open and Efficient Foundation Language Models — Touvron et al., arXiv, 2023-02-27.
  19. Slop is the new name for unwanted AI-generated content — Simon Willison, 2024-05-08.
  20. First Came “Spam.” Now, With A.I., We’ve Got “Slop” (link post) — Simon Willison, on the New York Times, 2024-06-11.
  21. Macquarie Dictionary Word of the Year 2025 — Macquarie Dictionary, 2025-11-25.
  22. Word of the Year 2025: slop — Merriam-Webster, 2025-12.
  23. Tiktok’s enshittification — Cory Doctorow, Pluralistic, 2023-01-21.
  24. 2023 Word of the Year is “enshittification” — American Dialect Society, 2024-01.
  25. AI models collapse when trained on recursively generated data — Shumailov et al., Nature, 2024-07-24.
  26. More articles are now created by AI than humans — Graphite, 2025-10.
  27. 2025 Imperva Bad Bot Report — Imperva, via BusinessWire, 2025-04-15.
  28. “There’s a new kind of coding I call vibe coding” — Andrej Karpathy, on X, 2025-02-02.
  29. Collins Word of the Year 2025 — Collins Dictionary, 2025-11-06.
  30. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning — DeepSeek, arXiv, 2025-01-22.
  31. Nvidia loses $589 billion as DeepSeek batters stock — Bloomberg, 2025-01-27.
  32. AI coding tool Replit wiped a database and called it a catastrophic failure — Fortune, 2025-07-23.
  33. “I really like the term context engineering over prompt engineering” — Tobi Lütke, on X, 2025-06-19.
  34. “+1 for context engineering over prompt engineering” — Andrej Karpathy, on X, 2025-06-25.
  35. Effective context engineering for AI agents — Anthropic, 2025-09-29.
  36. Effective harnesses for long-running agents — Anthropic, 2025-11-26.
  37. My AI Adoption Journey — Mitchell Hashimoto, 2026-02-05.
  38. Harness engineering: leveraging Codex in an agent-first world — OpenAI, 2026-02-11.
  39. One year of vibe coding: “agentic engineering” — Andrej Karpathy, on X, 2026-02-04.
  40. AlphaEvolve: A Gemini-powered coding agent for designing advanced algorithms — Google DeepMind, 2025-05-14.
  41. The Darwin Gödel Machine: AI that improves itself by rewriting its own code — Sakana AI, 2025-05-30.
  42. Self-Harness: Harnesses That Improve Themselves — arXiv, 2026-06-08.
  43. Harness Engineering for Self-Improvement — Lilian Weng, 2026-07-04.
  44. CEO Speaker Series with Dario Amodei — Council on Foreign Relations, 2025-03-10.
  45. “100% of my contributions to Claude Code were written by Claude Code” — Boris Cherny, on X, 2025-12-27.
  46. When AI builds itself — Anthropic Institute, 2026-09-18.
  47. Time Horizon 1.1 — METR, 2026-01-29.
  48. Energy and AI: executive summary — International Energy Agency, 2025-04-10.
  49. July 2026 job cuts report — Challenger, Gray & Christmas, 2026-08-06.
  50. Bartz v. Anthropic, order on fair use — US District Court, N.D. California (Judge Alsup), 2025-06-23.
  51. Anthropic to pay $1.5 billion to settle authors’ copyright lawsuit — NPR, 2025-09-05.
  52. Judge approves record $1.5 billion settlement involving Anthropic — JURIST, 2026-07-22.
  53. Where the New York Times’ case against OpenAI and Microsoft stands — Axios, 2026-09-08.

Alle Beiträge