Большая языковая модель (LLM) — это нейросеть, обученная предсказывать следующий фрагмент текста (токен) по всему, что было до него; из этого умения вырастают ответы на вопросы, перевод, классификация и генерация кода. Модель видит только то, что помещается в её контекстное окно, ничего не запоминает между запросами и может уверенно ошибаться — поэтому в продукте её подкрепляют данными, проверкой формата и контролем человека.
После материала вы сможете
- объяснить, как модель генерирует ответ по одному токену и почему из этого следуют галлюцинации
- оценить, что занимает контекстное окно запроса и почему длинный диалог дорожает с каждым шагом
- объяснить, почему
temperatureна новых моделях не даёт стабильности и чем её заменяют - по таблице «задача → подходит ли LLM → чем подкрепить» решить, отдавать ли задачу модели
Что знать заранее
Содержание
Что такое языковая модель: предсказание следующего токена
В основе любой LLM (large language model, большая языковая модель) — простая по формулировке задача: по тексту, который уже есть, предсказать, какой фрагмент должен идти следующим. Модель выдаёт не одно слово, а распределение вероятностей по всем возможным продолжениям, затем выбирает одно из них, добавляет к тексту и повторяет шаг. Ответ собирается по кусочку, поэтому длинный ответ занимает больше времени, чем короткий.
Глоссарий Anthropic описывает путь к готовому ассистенту в два этапа. Сначала предобучение (pretraining): модель учится предсказывать следующее слово на огромном корпусе текстов. Такая «сырая» модель сама по себе плохо отвечает на вопросы и плохо следует инструкциям. Затем дообучение (fine-tuning) и RLHF — обучение с подкреплением на оценках людей — превращают её в ассистента, который понимает просьбы и держит формат.
- 01Ваш текст
- 02Токены
- 03Модель: вероятности продолжений
- 04Выбранный токен
- 05Ответ
Токены и контекстное окно
Модель читает не буквы и не слова, а токены — кусочки текста: целое слово, его часть, отдельный символ или байт. Сколько символов приходится на токен, зависит от модели и языка. В глоссарии Anthropic указано, что токенизатор моделей Claude начиная с 4.7 даёт примерно на 30% больше токенов на тот же текст, чем прежний, где токен в среднем соответствовал примерно 3,5 английского символа. Точное число токенов для своего текста получают через API подсчёта токенов, а не по формуле.
Контекстное окно — это «рабочая память» модели: весь текст, который она учитывает при генерации одного ответа. По документации Anthropic, в окно входит всё содержимое запроса: системная инструкция, все сообщения диалога, результаты инструментов, изображения, описания инструментов и сам генерируемый ответ, включая рассуждения модели. На 12.10.2026 у текущих моделей Claude окно — 1 млн токенов, это около 555 тыс. английских слов; у текущих флагманских моделей OpenAI — 1 050 000 токенов, из которых на вход можно отдать до 922 000.
- API не хранит историю разговора: документация Anthropic прямо называет Messages API stateless, поэтому каждый запрос несёт всю нужную историю целиком
- Длинный диалог дорожает с каждым шагом: старые сообщения снова оплачиваются как входные токены
- Больше контекста — не всегда лучше: с ростом объёма точность и полнота извлечения падают (в документации это называют context rot), поэтому в окно кладут отобранное, а не всё подряд
- Знания модели ограничены датой среза обучающих данных: о событиях после неё она знает только то, что вы передали в контексте
Обучение, дообучение и инструкции — без мифов
Самая частая ошибка заказчиков и начинающих разработчиков — считать, что модель «учится» на запросах к API. Это не так: веса модели во время ваших запросов не меняются. Всё, что модель «знает о вашей компании», — это текст, который вы положили в контекст конкретного запроса. Убрали его из следующего запроса — модель о нём «забыла».
Промпт и системная инструкция
- Что меняется
- Только текущий запрос
- Когда применять
- Почти всегда: роль, правила, формат ответа
Контекст с данными (RAG)
- Что меняется
- Только текущий запрос
- Когда применять
- Нужны свежие или внутренние данные: каталог, регламенты, база знаний
Дообучение (fine-tuning)
- Что меняется
- Веса модели
- Когда применять
- Редко: устойчивый стиль или узкая задача, которую не решить промптом; Claude API по глоссарию Anthropic сейчас его не предлагает
Подход «сначала промпт и данные, потом всё остальное» — не мнение, а практическое следствие: промпт меняется за минуты и проверяется тестами, а дообучение требует набора данных, отдельной оценки и повторяется при каждой смене модели. По нашему опыту, большинство бизнес-задач закрываются хорошей инструкцией, примерами и подстановкой нужных данных в контекст.
Параметры генерации: температура и лимиты
Температура управляет случайностью выбора следующего токена. Низкая температура заставляет модель брать самые вероятные продолжения — ответы консервативнее и однообразнее; высокая разрешает редкие варианты — текст разнообразнее и «креативнее». Даже при температуре 0 ответы не становятся полностью детерминированными: одинаковый запрос может дать разные ответы, это отдельно оговорено в документации Anthropic.
Вместо температуры у современных моделей главные рычаги — это усилие рассуждения и ограничения на ответ. Усилие (effort у Anthropic, reasoning.effort у OpenAI) задаёт, сколько модель «думает» перед ответом: больше усилия — обычно выше качество на сложных задачах, но дольше и дороже. Лимит длины ответа (max_tokens у Anthropic, max_output_tokens у OpenAI) обрезает генерацию; если лимит слишком мал, ответ оборвётся на полуслове, а в JSON-ответе сломается структура.
Стабильность результата дают не параметры выборки, а инженерия вокруг модели: чёткая инструкция, примеры, структурированный вывод по схеме и проверка ответа кодом. Этому посвящён урок о промпт-инжиниринге.
Галлюцинации и почему нужен контекст
Галлюцинация — уверенный, гладко сформулированный ответ, который не соответствует фактам или переданному контексту: несуществующая статья закона, выдуманный метод библиотеки, неверная цена. Это прямое следствие механизма: модель выбирает правдоподобное продолжение и не обязана сказать «не знаю», если её об этом не попросили и ей не на что опереться.
Разрешите ответ «не знаю»
Явное разрешение признать нехватку информации, по данным Anthropic, заметно снижает число выдуманных ответов.
Дайте источник
Положите в контекст нужные документы и попросите отвечать только по ним, а не по общим знаниям модели.
Требуйте цитаты
Для длинных документов попросите сначала выписать дословные цитаты, а затем делать выводы на их основе; утверждение без цитаты — удалять.
Проверяйте кодом и людьми
Сверяйте числа и идентификаторы с базой, прогоняйте один запрос несколько раз и сравнивайте ответы, решения с высокой ценой ошибки оставляйте человеку.
Для каких задач LLM подходит, а для каких нет
Хорошая задача для LLM — та, где нужен язык и здравый смысл, а ошибку дёшево заметить и исправить. Плохая — та, где нужна точная арифметика, гарантированная истина или где ответ невозможно проверить. Ниже — рабочая таблица, с которой удобно разбирать идеи для продукта.
Разобрать входящую заявку: тема, срочность, контакты
- Подходит ли LLM
- Да
- Чем подкрепить
- Структурированный вывод по схеме, проверка схемой в коде, ручной разбор спорных случаев
Ответить клиенту по базе знаний компании
- Подходит ли LLM
- Да, с данными
- Чем подкрепить
- Подстановка нужных статей в контекст (RAG), запрет отвечать вне документов, ссылка на источник
Сжать длинный документ или переписку
- Подходит ли LLM
- Да
- Чем подкрепить
- Требование цитат, лимит длины, выборочная проверка человеком
Написать черновик кода или теста
- Подходит ли LLM
- Да, как помощник
- Чем подкрепить
- Компиляция, тесты, код-ревью — без этого в работу не принимать
Посчитать итог по счёту или налог
- Подходит ли LLM
- Нет
- Чем подкрепить
- Считать кодом; модель может только извлечь числа из текста
Назвать актуальную цену, остаток, курс
- Подходит ли LLM
- Нет, сама по себе
- Чем подкрепить
- Брать данные из своей системы через API или вызов инструмента, модель лишь оформляет ответ
Принять юридически значимое решение
- Подходит ли LLM
- Нет
- Чем подкрепить
- Модель готовит черновик и выделяет риски, решение и подпись — за человеком
- Можно ли автоматически проверить ответ: схемой, тестом, сверкой с базой?
- Сколько стоит ошибка и кто её заметит до клиента?
- Какие данные модели нужны и можно ли их передавать внешнему сервису?
- Что будет, если API недоступен: есть ли запасной путь?
Стоимость и задержка
Платят за токены: отдельно за входные (всё, что вы отправили, включая историю и инструкции) и за выходные (сгенерированный ответ). Рассуждения модели тоже оплачиваются как выходные токены — и у Anthropic, и у OpenAI. Точные цены меняются, поэтому их берут только со страниц цен. Для ориентира: на страницах цен Anthropic и OpenAI на 12.10.2026 у текущих флагманских моделей выходной токен стоит в 5 раз дороже входного, а самая дешёвая и самая мощная модель одного провайдера различаются по цене примерно в сто раз.
- Короче контекст — дешевле и быстрее: не отправляйте лишнюю историю и документы
- Повторяющийся префикс (длинная инструкция, справочник) можно кэшировать: кэшированное чтение у провайдеров стоит дешевле обычного входа
- Задачи без спешки отправляют пакетом (Batch API) — у Anthropic и OpenAI это скидка 50%
- Для массовых простых задач (классификация, извлечение полей) берут младшую модель и проверяют качество на своих примерах
Задержка складывается из времени до первого токена (TTFT) и скорости генерации. На неё влияют размер модели, длина запроса и ответа, усилие рассуждения и сеть. Для интерфейсов ответ показывают потоком (streaming), чтобы пользователь видел текст сразу, а не ждал полный ответ. Как это сделать в коде, разбирается в уроке о первом запросе к LLM API.