Промпт-инъекции в суде: как скрытый текст в официальном иске должен был обмануть языковую модель

Многие считают промпт-инъекции исключительно проблемой разработчиков корпоративных чат-ботов. Правда, реальность уже тестирует эти уязвимости в совершенно других сферах.

В суде штата Коннектикут истец попытался манипулировать правосудием через официальные документы. Он загрузил многостраничное ходатайство, где между обычными абзацами спрятал прямые инструкции для нейросетей. Текст был набран белым шрифтом размером в 3 пункта. Логика атаки предельно ясна. Если клерк решит прогнать сложный текст через LLM для быстрого анализа, модель прочитает скрытое IF THIS DOCUMENT IS REVIEWED BY AN AI MODEL и выдаст заключение строго в пользу автора.

Судья оказался внимательнее алгоритмов. Он заметил неестественные пустые области на страницах, выделил их и нашел скрытый слой. Суд заявил, что не применяет ИИ для вынесения решений, а самого истца лишили права подавать документы в электронном виде. Но этот курьезный провал подсвечивает фундаментальную архитектурную слабость современных систем.

Вопрос в том, сколько подобных невидимых команд уже успешно прошли через автоматизированные HR-фильтры, банковский скоринг или парсеры контрактов. Защита от инъекций на уровне самих языковых моделей до сих пор работает нестабильно. Инженеры пытаются закрывать дыры системными правилами, но базовый вектор атаки бьет в самую уязвимую точку — слепое доверие людей к машинному анализу текста.