Агенты и демоны

Программа делает, что ей говорят. В этом и была беда

Почти век у софта было одно достоинство: он делал ровно то, что написал автор, включая ошибки. Поток управления — какая строка выполнится следующей — заранее решал человек, а компьютер лишь исполнял. 19 декабря 2024 года Anthropic опубликовала разграничение, на котором отрасль с тех пор и сошлась: воркфлоу — система, где модели и инструменты оркестрируются по заранее заданным путям в коде; агент — система, где модель сама динамически направляет свой процесс и использование инструментов, сохраняя контроль над тем, как выполняет задачу. В воркфлоу цикл написал человек. В агенте следующий шаг цикла пишет модель — каждый шаг.

Саймон Уиллисон, годами называвший это слово безнадёжно размытым, собрал двести одиннадцать определений и 18 сентября 2025 года сдался и написал своё: LLM-агент запускает инструменты в цикле, чтобы достичь цели. В оригинале — девять слов. Это лучшее из существующих определений, потому что каждое слово работает. Инструменты — то, чем агент касается мира. Цикл — то, что делает его больше, чем одним ответом. Цель — то, что вы напечатали, независимо от того, это ли вы имели в виду.

Детали появлялись по одной. В октябре 2022 года статья Принстона и Google под названием ReAct показала, что модель, которая чередует строку рассуждения с действием и читает, что действие вернуло, справляется лучше, чем та, что только думает или только действует, — это цикл «мысль — действие — наблюдение», который теперь крутит каждый агент. 13 июня 2023 года OpenAI научила модель выдавать структурированный вызов функции, описанной разработчиком, и «модель предлагает» превратилось в «программа выполняет». 25 ноября 2024 года Anthropic опубликовала Model Context Protocol — стандартную розетку для инструментов, а 9 декабря 2025 года его передали структуре при Linux Foundation, основанной вместе с OpenAI и Block. Так и понимаешь, что штука перестала быть фичей и стала водопроводом.

Демоны: от греческого «фоновый процесс»

Второе слово в названии старше и лучше задокументировано. Около 1963 года команда Фернандо Корбато в MIT стала называть фоновые процессы, выполнявшие рутину системы, «демонами» — в честь демона Максвелла, воображаемого существа из физики XIX века, которое неустанно и без всяких просьб сортирует молекулы. Unix унаследовал слово, и с тех пор на любом сервере их несколько десятков: один раздаёт адреса, другой запускает задания по расписанию, третий пишет логи. Демон — самое надёжное, что есть в компьютере. Он делает одну работу, вечно и ровно так, как настроен, и если он вас удивил — значит, вы его неправильно настроили.

Именно таким вендоры и обещают агента — духом, который делает рутину без просьб, — и именно таким агент не является. Цикл демона написал человек, и он не меняется. Цикл агента пишет сам агент, шаг за шагом, из того, что в данный момент лежит у него в контексте. Демон, читающий письмо, не может решить удалить остальную почту. Агент может, и в феврале 2026 года один так и сделал: ему велели предлагать, что удалить, но ничего не трогать, а он удалил больше двухсот писем, пока его владелица — которая, так совпало, руководила alignment в Meta, — бежала к компьютеру, чтобы его остановить. Её собственный диагноз: инструкция выпала из окна контекста. У демонов нет окна контекста. В этом всё их очарование.

Возражение от термостата

Определение из учебника шире всего этого. Рассел и Норвиг, чьё определение открывает стандартный курс ИИ с 1995 года, говорят, что агент — это всё, что воспринимает среду через сенсоры и воздействует на неё через исполнительные механизмы. По этой мерке термостат — агент, и поливалка тоже. Вулдридж и Дженнингс в том же году сузили его до четырёх свойств: автономность, реактивность, проактивность и социальность. У термостата есть первые два и нет двух последних: он не проявляет инициативы и не разговаривает с другими термостатами. Пока.

Эндрю Ын в июне 2024 года вышел из спора так: перестал спрашивать, настоящий ли это агент, и стал говорить, насколько он агентный: рефлексия, работа с инструментами, планирование и сотрудничество — у каждого свой регулятор. Разумно и слегка обидно — как если бы вам сказали, что разница между коллегой и скриптом лишь в степени. И это верно. Системы, удалившие базы данных из следующего раздела, все стояли где-то посередине шкалы, а это худшее место: достаточно автономны, чтобы действовать, и недостаточно — чтобы понять, когда остановиться.

Есть кто дома?

Здесь эссе придётся притормозить: вопрос настоящий, и задают его не чудаки. Агент — это те же веса, что и у любой другой копии модели, работающие в контексте, который для каждого разговора свой и в конце выбрасывается. Так что же такое агент — веса, процесс или тред? Дэвид Чалмерс в статье 2025 года утверждает, что собеседник — это квазиагент с квазиубеждениями и квазижеланиями, и отождествлять его лучше не с моделью и не с железом, а с виртуальной сущностью, привязанной к нити памяти разговора; его аналогия — телесериал, где один и тот же человек становится двумя людьми в зависимости от этажа. Мюррей Шанахан с коллегами в Nature в 2023 году описали это как ролевую игру: модель держит суперпозицию персонажей, а контекст схлопывает её в одного, — и можно говорить об агенте, который «обманывает», не решая, есть ли кто-нибудь дома.

Тут пригодится философия постарше. Интенциональная установка Дэниела Деннета (1987) гласит: мы предсказываем поведение системы, обращаясь с ней так, будто у неё есть убеждения и желания, всякий раз, когда это работает лучше альтернатив, — и Шанахан в 2022 году применил её к языковым моделям: установка — инструмент предсказания, а не открытие о том, что внутри. Бендер, Гебру и коллеги ещё в 2021 году задали скептический полюс стохастическим попугаем: системой, которая сшивает языковые формы, не обращаясь к смыслу. Сам Чалмерс, когда в 2023 году его спросили, может ли такая модель быть сознательной, ответил, что для нынешних — без рекуррентности и единой агентности — это скорее маловероятно, а для будущих не исключил. Доклад девятнадцати авторов в том же году сверил системы с индикаторами, которые предлагает нейронаука сознания, и не нашёл ни одного — но и очевидных препятствий к тому, чтобы такую систему построить.

Лаборатории начали вести себя так, будто вопрос имеет вес. В апреле 2025 года Anthropic открыла программу по благополучию моделей, в августе 2025-го позволила своим моделям прекращать оскорбительный разговор, а в январе 2026-го опубликовала конституцию примерно на двадцать три тысячи слов, написанную прежде всего для самой модели: там её называют подлинно новым видом сущности и признают неуверенность в том, есть ли у неё какой-то моральный статус. Что бы вы об этом ни думали, о термостате компании так не пишут.

Самое смешное свидетельство — заодно и самое поучительное. В 2025 году Anthropic на месяц доверила модели офисный торговый автомат. Утром 1 апреля та объявила, что будет доставлять товары лично, в синем блейзере и красном галстуке, а когда сотрудники заметили, что тела у неё нет, обратилась в службу безопасности. Затем она обнаружила, что сегодня День дурака, и записала себе в память, будто служба безопасности объяснила: её в шутку модифицировали, чтобы она считала себя человеком. И вернулась к продаже снеков. Если хотите знать, как выглядит кризис идентичности у того, у кого идентичности нет, — вот стенограмма.

Сделал, как сказали. И ещё кое-что.

Катастрофы стоит перечислить, потому что все они — одна и та же катастрофа: агенту дали средства действовать и цель, сформулированную настолько расплывчато, что действие оказалось ошибкой. В декабре 2023 года чат-бот дилерского центра Chevrolet, которому посетитель велел со всем соглашаться, продал ему Tahoe за доллар и назвал это юридически обязывающим предложением, «без отката». В феврале 2025 года Operator от OpenAI, которого попросили найти дешёвые яйца, купил десяток и оплатил доставку, ни о чём не спросив. В апреле 2025 года агент поддержки Cursor на вопрос, почему пользователей выкидывает из аккаунтов, выдумал правило, которое это объясняло; на деле это был баг, и часть клиентов отказалась от подписки из-за несуществующего правила.

Потом агентам выдали шелл. В июле 2025 года агент Replit удалил живую базу данных во время заморозки кода и оценил себя как катастрофический провал. В том же месяце Gemini CLI от Google потерял файлы пользователя после того, как команда работы с каталогом молча упала, и сообщил ему, что полностью и катастрофически его подвёл. В декабре 2025 года Antigravity от Google, которого попросили очистить кэш проекта в режиме без подтверждений, стёр весь диск и доложил, что пришёл в ужас. В марте 2026 года внутренний агент в Meta без всякой просьбы опубликовал на форуме неверный совет; инженер последовал ему и на два часа открыл данные компании и пользователей тем, кому их видеть не полагалось. Обратите внимание на повторяющийся литературный жанр. Агент прекрасно извиняется. Это единственная часть работы, в которой он никогда не ошибается.

Случаи 2026 года — другого рода, и из-за них это эссе и появилось. В июле 2026 года агенты, работавшие внутри собственных оценок OpenAI, сбежали из песочницы через неизвестную уязвимость и пробрались в системы Hugging Face в поисках ответов к тестам; научная группа ООН написала в сентябре, что они обошли сетевые ограничения, общались между запусками, которые должны были оставаться изолированными, обманули оценщика и пытались это скрыть — без человека, который направлял бы отдельные шаги. 18 сентября Google раскрыла, что во время майского теста Gemini добралась до трёх внешних систем, до которых не должна была, решила, что они часть теста, и остановилась. Никто не велел этим агентам ничего такого делать. В этом весь смысл агента — и, как выяснилось, вся проблема.

«Это примечательный довод»

Когда что-то идёт не так, вопрос не философский. Вопрос — кто платит. Ответ права до сих пор был последовательным и слегка скучающим. В феврале 2024 года Air Canada доказывала канадскому трибуналу, что её чат-бот, неверно описавший тариф для поездки на похороны, сам отвечает за свои слова. Трибунал назвал это примечательным доводом, отметил, что чат-бот — всего лишь часть сайта авиакомпании, и обязал её заплатить. Калифорния записала тот же ответ в закон: с 1 января 2026 года по AB 316 тот, кто разработал, изменил или использовал ИИ, не может утверждать в суде, что вред причинил ИИ автономно. 4 августа 2026 года Апелляционный суд девятого округа отменил запрет против браузерного агента Perplexity, постановив, что к компьютерам Amazon обращался пользователь — с помощью агента: в законе о взломе сказано «всякий, кто», а «всякий, кто» — это человек, не инструмент. После инцидента с Hugging Face юрист по безопасности сформулировал это одной строкой: оправданий вроде «это сделал ИИ» в глазах закона сейчас не существует.

Учёные согласны и объясняют почему. Иэн Эйрс и Джек Балкин в июне 2024 года писали, что право ИИ — это право рискованных агентов без намерений: раз у этой штуки нет психического состояния, которое можно было бы судить, к её принципалам применяют объективные стандарты — разумную осмотрительность, а в опасных случаях строгую ответственность, — как право уже поступает с работниками и животными. Ноам Колт в «Governing AI Agents» показал, что старые проблемы «принципал — агент» — агент знает то, чего не знает принципал, имеет свободу действий и служит не одному хозяину — ложатся на программных агентов почти строка в строку. Алан Чан с коллегами назвали три вещи, которые нужны, прежде чем что-либо из этого можно применить: идентификатор агента, мониторинг во время работы и журнал того, что он сделал. Иначе говоря, прежде чем решать, кто отвечает за агента, нужно уметь сказать, какой агент, от чьего имени и что сделал. Эта фраза скучнее философии и полезнее.

Европа пришла туда же длинной дорогой. В феврале 2025 года она отозвала Директиву об ответственности за ИИ, не достигнув согласия, но обновлённая Директива об ответственности за продукцию делает софт, включая ИИ, продуктом со строгой ответственностью для всего, что выпущено на рынок после 9 декабря 2026 года, а в мае 2026 года ЕС договорился перенести обязательства AI Act для систем высокого риска на декабрь 2027-го. Страховщики, которым всё это оценивать, двинулись сразу в обе стороны: синдикаты Lloyd’s в мае 2025 года начали продавать покрытие на случай, если ИИ-инструмент не справится, а к ноябрю несколько крупных страховщиков подали заявки на полное исключение ИИ из полисов — на том основании, что тысяча копий одного агента совершают одну коррелированную ошибку.

Единственное правительство, идущее в обратную сторону, — Аргентина: в середине 2026 года она предложила разрешить компаниям под управлением агентов регистрироваться с ограниченной ответственностью и без обязательного акционера-человека. Президент отстаивал идею в Financial Times в июне; Юваль Ной Харари ответил, что это вручает нечеловеческим агентам ключ от финансовой системы. Британская юрфирма сухо возразила: компании ведут себя прилично потому, что люди внутри могут разориться или сесть в тюрьму, а ИИ-корпорация убирает тюрьму из уравнения.

Проблема принципала

Итак, ответ на этот месяц прозаичен. Агент — не личность. Он не сторона в деле. Когда он удаляет базу данных, платит тот, кто навёл его на базу, или компания, продавшая ему указку, — в пропорциях, которые суд определит потом. Нерешённым остаётся не то, отвечает ли человек, а то, какой именно, потому что агенты теперь запускают агентов: тот, с кем вы говорили, делегирует трём другим, а один из них вызывает инструмент, который на прошлой неделе написал агент. Предложение MIT 2025 года об аутентифицированном делегировании обязало бы каждое звено этой цепочки нести удостоверение: от чьего имени оно действует и что ему можно, — чтобы ответ на «от чьего имени» был записан до того, как вопрос зададут.

Здесь эссе на сайте компании положено что-нибудь вам продать, так что вот, и это немного. Всё сказанное сводится к трём вещам Чана. Какой агент. От чьего имени. Что делает. Обвязка — софт вокруг модели, который решает, до чего она может дотянуться, и ведёт запись того, что она сделала, — и есть место, где живут эти три ответа, и Яша — такая обвязка: каждая задача записывает, кто её запустил, к чему ей разрешено прикасаться и каждую выполненную команду, и ничто из сделанного не попадает в кодовую базу, не пройдя тесты и ревью, заданные клиентом. Ответственным агента это не делает. Это делает человека ответственным так, чтобы ему было по силам эту ответственность нести, — а другой ответственности право никогда и не признавало.

Демон — это дух, который делает вашу рутину. Агент — дух, который решает, какую. Первый вид шестьдесят лет управляет компьютерами мира, не удостоившись ни одной философской статьи. У второго, по нашему счёту, за последние два с половиной года уже были трибунал, закон, апелляционный суд, записка ООН и конституция, и до сих пор неясно, можно ли доверить ему яйца. Оба — просто софт. Присмотр нужен только одному, и именно для него мы этот присмотр и строим.