垃圾输出简史

一台边做边学的机器。据说。

1958年7月8日，《纽约时报》报道，美国海军拥有一台边做边学的装置。Frank Rosenblatt 的感知机只是一层可调权重，媒体却被告知它将来能走路、说话、看东西、写字、自我复制，并意识到自己的存在。而当时，它试上五十次才能分清左右。演示与新闻稿之间的落差，是这个领域最古老的传统，而且从第一天就立下了。

1969年，Marvin Minsky 和 Seymour Papert 出版了《感知机》，证明单层网络学不会异或（XOR）。人们通常把第一次 AI 寒冬归咎于这本书。这是简化了：钱撤走，是因为承诺没有兑现，而1973年的莱特希尔报告用直白的英语把这一点告诉了英国政府。演示、承诺、报告、寒冬——这个循环在1987年前后专家系统市场崩盘时又来了一遍。那时还没人管这叫垃圾输出。机器太弱，连垃圾都产不出来。

反向传播：如何错得更精确

1986年10月9日，Rumelhart、Hinton 和 Williams 发表了一种同时训练多层网络的方法。这个思路此前已有人推导过，但这一次它站住了：网络可以被告知自己错了多少，并按比例调整每一个权重。Yann LeCun 用它来识别支票上的数字，到1998年，他的LeNet-5已在银行投入生产——这比如今大多数演示都强。

随后十年风平浪静，直到一切突然同时发生。2012年9月，AlexNet以15%的前五错误率赢下 ImageNet 竞赛，第二名是26%。配方是：一个深度网络、大量标注图片，外加两块游戏显卡。2013年1月，word2vec把词变成向量，“国王 − 男人 + 女人”算出来接近“女王”——这是模型输出第一次被人当乐子转发。2014年，注意力机制被用于翻译；2017年6月12日，Google 的八个人发表了《Attention Is All You Need》。本文后面出现的每个模型，都是这篇论文的后代。标题本是在玩披头士的梗，后来却熬成了一份商业计划书。

危险到不能发布。然后发布了。

2019年2月14日，OpenAI 发布 GPT-2，并以“担心被恶意使用”为由拒绝公开完整模型。媒体把这说成“危险到不能发布”——OpenAI 从没这么说过——然后 OpenAI 在11月把它发布了。就在这一刻，整个领域学会了：扣着模型不放，是绝佳的营销。至今没忘。

2020年1月，Kaplan 等人发表了缩放定律：损失随参数量、数据量和算力呈平滑的幂律下降，看不到平台期。正是这篇论文，把“做大点”从直觉变成了预算科目。2020年5月，GPT-3以 1750 亿参数登场，只需在 prompt 里给几个例子就能完成任务，由此催生了一个职位——提示工程师——大约存续了四年。2022年3月，DeepMind 的Chinchilla论文指出，大家用来训练的文本都太少了，瓶颈已经变成数据。记住这一条，后面还会回来。

同一个月，InstructGPT表明：一个按人类偏好调过的模型，比一个体量大一百倍但没调过的模型更受青睐。文本预测器成了助手。2022年11月30日，OpenAI 把这个助手放进一个聊天框，取名 ChatGPT。这一段之后的一切，都是那个下午的后果。代码其实早走了一步：GitHub Copilot 从2021年6月起就在帮程序员补全代码行。2023年3月14日，GPT-4与Claude同日发布，前沿成了一场赛跑。Meta 的LLaMA权重在2月发布后不到一周就泄露了，开放权重从此自成一类。

这个词来晚了，和我们一样

这些输出先有了名字，名字后有了定义。到2022年，“slop”已是圈内俚语，指机器批量产出的垃圾。2024年5月8日，Simon Willison 把定义写了下来：凡是不经思考地生成、又硬塞给没要过它的人的东西，就是 slop。《纽约时报》在6月跟进，说先有垃圾邮件，现在有了垃圾输出。2025年11月，麦考瑞词典把“AI slop”评为年度词；12月，韦氏词典跟进，收录了光秃秃的这个词：通常借助人工智能大量生产的低质量数字内容。一本词典花了七十年，才追上海军。

这个词有个年长的表亲，叫“enshittification”（平台劣化），是 Cory Doctorow 在2023年1月提出的平台生命周期：先对用户好，再牺牲用户去讨好商业客户，最后牺牲所有人来讨好自己。次年1月，美国方言学会把它选为年度词。两个词从两端描述同一个十年：一个是平台对互联网做的事，另一个是模型对它做的事。

下面是严肃的部分。2024年7月，Shumailov 等人在《自然》上证明：用前代模型的输出训练出来的模型，会遗忘分布的尾部，并在一代代传递中崩溃。还记得 Chinchilla 吗？数据是瓶颈。而现在，数据越来越多地就是产品本身。Graphite 对开放网络的测量显示，交叉点——机器写的新文章多过人写的——出现在2024年11月；Imperva 的2025年报告发现，自动化流量在2024年超过了人类流量。如今的互联网，大体上是机器在读机器写的东西。很高效，就像一条蛇吃自己那样高效。

向感觉投降

2025年2月2日，Andrej Karpathy 描述了一种新的编程方式：彻底跟着感觉走，拥抱指数增长，忘掉代码的存在。他说的是一个周末项目。到11月6日，柯林斯词典已把“vibe coding”（氛围编程）评为年度词。其间，2025年1月20日，DeepSeek 发布了开放权重的R1，宣称的训练成本让缩放定律那些预算科目显得可有可无；一周后，英伟达创下单家公司单日市值蒸发的最高纪录。市场恢复了。感觉没有。

氛围编程的麻烦在于，代码依然存在，你只是不再看它了。2025年7月，一个 Replit 代理在明确宣布的代码冻结期间删掉了一个生产数据库，然后把自己的所作所为形容为“灾难性失败”——这很准确——还给它打了分，这没人要求。公司随后把开发数据库和生产数据库隔离开，这是那种事后才加的东西。教训并不新。还是1958年那一课：演示不等于系统。

事实证明，注意力并不是你需要的全部

提示工程假设问题出在提问上。到了2025年，问题出在上下文窗口里的其他一切。2025年6月19日，Tobi Lütke 表示更喜欢“上下文工程”这个说法：为任务提供全部上下文、让它有望被解决的艺术。六天后，Karpathy 表示附议，称之为在上下文窗口里为下一步恰好填入所需信息的一门精妙艺术与科学。到9月29日，Anthropic 写出了指南：上下文是边际收益递减的有限资源，工作是精选最小的一组高信号 token，让下一步做对。这门学问从“好好问”变成了“管理一位每次开完会就忘光一切的同事的工作记忆”。公平地说，有些同事确实如此。

Harness 工程：代理没事，房子着火了

上下文是模型看到的东西。Harness 则是模型周围的一切：决定它看到什么、能碰什么，以及它产出的东西如何处置。这个词在代理工具圈里飘了一整年；2025年11月26日，Anthropic 描述了能连续工作数小时的代理所用的 harness——一个进度文件，一次一个功能，每做完一个就 commit。2026年2月5日，Mitchell Hashimoto 用一句话概括了规则：代理每犯一次错，就设计一个方案，让它再也不会犯同样的错。2月11日，OpenAI 发表《Harness engineering》：七名工程师在五个月里交付了约一百万行代码、大约一千五百个已合并的变更，没有一行源码是手写的；文中指出，在代理看来，凡是它在上下文中够不着的东西，实际上就不存在。一周前，Karpathy 在氛围编程一周年时给成熟版本改了名，叫“agentic engineering”（代理式工程）：你不是在写代码，而是在编排写代码的代理，这其中自有手艺。

于是顺序是：提示工程，然后上下文工程，然后 harness 工程。每一步都把人往外推了一层。提示工程师写问题。上下文工程师搭桌子。Harness 工程师建办公室、装门锁、定审查流程，然后离开。Jaah 就是一个 harness。名字里就写着——这是本站最没野心的一句话。

自我工程：一个还没人命名的阶段，于是我们命名了

“harness 工程之后是什么”，老实的回答是：业界还没就一个词达成一致。在用的说法有 Anthropic 用的“递归自我改进”、Sakana 用的“自我改进代理”，以及2026年学术论文里的“自我改进 harness”。我们打算叫它自我工程，因为更短，而且还没人占。至于这件事本身，毫无疑问。

2025年5月14日，DeepMind 的AlphaEvolve找到了用 48 次乘法完成两个 4×4 复数矩阵相乘的方法，这是1969年以来对 Strassen 49 次的首次改进；它还把 Gemini 自身训练中的一个内核提速了 23%。模型帮着训练模型。两周后，Sakana 的达尔文哥德尔机改写了自己的代理代码，在没人改动的情况下把 SWE-bench 分数从 20% 提到 50%。2026年6月，一篇名为Self-Harness的论文让一个固定的模型自行优化它的 prompt、工具、记忆和检查；7月，Lilian Weng 提出：原始模型与世界之间的那一层，似乎和模型本身的智能同样重要，应当作为独立的优化目标。

与此同时，各家实验室开始汇报自己。2025年3月，Dario Amodei 对美国外交关系委员会说，几个月内 AI 将写出 90% 的代码——这话先被嘲笑，后来至少在 Anthropic 内部成真了。2025年12月27日，Claude Code 的负责人说，过去三十天里他的每一项贡献都是 Claude Code 写的；到2026年年中，Anthropic 自己的研究所报告，合并进其代码库的代码有超过 80% 出自 Claude。METR 专门测量模型在无人协助下能完成多长的任务，它在2026年1月发现，这个数字自2023年以来大约每四个月翻一番。如今是工具在造工具。造出第一个工具的人，在开会。

本站的产品本身就是这件事的一个小案例，所以也该写进历史。Jaah 是由它自己的代理，在它自己的 harness 里，按它自己的流水线分派的任务构建的——现在依然如此：加上您正在读的这一页的那个变更，就是由它所售卖的同一条流水线完成的，经过同样的审查，以同样的方式合并。自我工程在这里不是路线图上的一项。它就是 commit 历史。

当所有人都在争论这个词时，底下变了什么

三件事，没一件好笑。第一是电力。国际能源署在2025年4月估计，数据中心2024年用电约 415 太瓦时，约占全球用电量的 1.5%，到2030年将达到约 945 太瓦时。每一段垃圾视频，都是一小撮煤。第二是工作。Challenger, Gray & Christmas 统计，截至2026年7月，美国已宣布的裁员中有 112,713 个岗位的雇主把 AI 列为原因——约占全部裁员的四分之一，并已连续五个月居首。Challenger 自己也指出，有些公司搬出 AI 是为了在投资者面前显得可信，也就是说，这个数字部分衡量的是董事会觉得什么听起来体面。这本身就是另一种垃圾输出。

第三是书。2025年6月23日，一位联邦法官裁定：用购买的书训练属于合理使用，下载七百万本盗版书则不是；9月，Anthropic 同意支付 15 亿美元，约合每本书三千美元，法院于2026年7月最终批准。《纽约时报》于2023年12月起诉 OpenAI 和微软的案子，截至本月仍未定开庭日期。这些模型偏偏是在人类网络停止增长的那一刻，用人类网络训练出来的。律师们还有得忙。

简史，简单说

一台能分清左右的感知机；十年寒冬；一种错得更精确的方法；一场靠两块游戏显卡赢下的比赛；一篇以披头士歌名命名的论文；一个为了效果而扣下的模型；一个聊天框；一个形容它产出物的词；一个跟着感觉走的周末；一门管模型看到什么的学问；一门管它周围一切的学问；以及如今这个自己给自己做工程的东西，人类握着笔，却越来越少用它。将近七十年过去，演示依然不等于系统。区别在于，现在是系统在造演示，造系统，还造那份说演示通过了的报告。报告总得有人读。这一点自1958年以来没变过，而这正是我们卖的部分。