Перейти к содержанию

llm-model — что такое LLM-модель

Самый нижний слой пирога. Файл с числами, который ничего не умеет, кроме как продолжить текст. Тем не менее, на этом стоит всё остальное.

LLM — это просто очень большая программа-угадайка слов. Вы ей скармливаете начало фразы, а она продолжает по одной букве/слову, каждый раз выбирая «что сюда подходит лучше всего» — на основе статистики по терабайтам текстов, на которых её обучили.

Три вещи, которые важно про неё понять:

  • Это не «мозг» и не «думающий собеседник». Это файл с числами. Когда вы нажимаете Enter — на сервере крутятся матрицы и выдают наиболее вероятное продолжение. Никакого понимания внутри нет.
  • Она не знает, какой сегодня день. Обучение — это разовая дорогая история. Всё, что вышло после даты обучения, для неё не существует, пока ей не подсунули это в контекст.
  • У неё короткая память. Весь разговор + ваш вопрос + системные инструкции должны влезть в её «оперативку» — контекстное окно. У современных моделей это порядка 150–700 тысяч слов. Если разговор длиннее — начало забывается.
flowchart LR
    subgraph ctx["Контекстное окно — «оперативка» модели"]
        direction TB
        SP["Системные инструкции"]
        H["История разговора"]
        Q["Ваш вопрос"]
    end
    ctx --> M["🧠 Файл-угадайка<br/>(LLM-модель)"]
    M --> T["Следующее слово"]
    T -. "приклеивается к разговору,<br/>и всё повторяется" .-> ctx

Имена вроде «Claude Opus», «GPT-5», «Llama», «Gemini» — это просто названия конкретных файлов-угадаек от разных компаний. Под капотом — та же идея, различается обучение, данные и характер.

LLM = Large Language Model. Это нейросеть (в подавляющем большинстве — трансформер), обученная на огромном корпусе текстов предсказывать следующий токен.

Ключевое, что нужно держать в голове:

  • Это статичный файл весов. Никакой «магии в реальном времени» в самих весах нет — это просто числа в файле на диске (десятки/сотни гигабайт для крупных моделей).
  • Она ничего не знает про сегодня. Обучение — это дорогой офлайн-процесс. Дальше модель выдаёт «правдоподобное продолжение», а не «истину по последним данным».
  • Она не думает и не планирует. Внутри — матричные умножения. Всё «рассуждение» — это статистически удачно подобранный текст.
  • Контекст — это её оперативная память. Всё, что модель «видит» в текущем запросе: системный промпт, историю диалога, вложения, результаты тулов. Контекст конечен: у актуальных моделей — от 200k токенов (~150k слов) до ~1M у некоторых.
flowchart LR
    subgraph ctx["Контекстное окно (токены)"]
        direction TB
        SP["system prompt"]
        H["messages: история диалога"]
        TR["tool results / вложения"]
    end
    ctx -->|"forward pass"| M["Веса модели<br/>(трансформер)"]
    M -->|"распределение вероятностей"| T["следующий токен"]
    T -. "аппендится в контекст → следующий шаг" .-> ctx

Когда вы слышите «Claude Opus», «GPT-5», «Llama», «Gemini» — это всё конкретные LLM-модели: файлы весов с разной архитектурой, обученные на разных данных, с разной лицензией и поведением. Версии меняются каждые несколько месяцев, суть — нет.

Связанные страницы