Перейти к содержанию

llm-server — LLM-сервер (провайдер, inference-сервис)

Слой 2. Машина, которая загружает файл весов, принимает запросы и возвращает ответы. Тут живут очереди, GPU, rate-limits и счета за токены.

Файл с угадайкой сам по себе бесполезен — нужен кто-то, кто его запустит и будет отвечать на ваши «продолжи фразу». Этим занимается сервер.

Два варианта, где он живёт:

  • У компании, которая обучила модель (Anthropic, OpenAI, Google). Вы через интернет посылаете запрос — они отвечают. Это как YouTube: видео лежит у них, вы только смотрите.
  • У вас дома/в офисе (программы Ollama, vLLM, llama.cpp). Скачали файл-модель, поставили, и она крутится на вашей видеокарте. Это как скачать фильм к себе на диск.
flowchart LR
    C["Клиент<br/>(чат, IDE, бот)"]
    C -->|"запрос"| A["☁️ Сервер провайдера<br/>Anthropic · OpenAI · Google"]
    C -->|"такой же запрос"| B["🖥️ Свой сервер<br/>Ollama · vLLM · llama.cpp"]
    A --> W1["Их модель<br/>на их видеокартах"]
    B --> W2["Скачанная модель<br/>на вашей видеокарте"]

Сервер не «переобучает» модель каждый раз. Он просто берёт уже готовые числа и быстро прогоняет через них ваш запрос. Поэтому когда вы слышите «Anthropic подняли свои сервера» — это значит «у них стоят тысячи GPU, на каждой загружен Claude, и они отвечают на запросы клиентов».

Сами по себе веса бесполезны — нужна машина, которая их загрузит, примет запрос, прогонит вперёд (forward pass) и вернёт ответ. Этим занимается LLM-сервер.

LLM-сервер — это, как правило:

  • облачный сервис компании-разработчика модели: Anthropic API, OpenAI API, Google Vertex AI, Mistral API;
  • либо self-hosted развёртывание: vLLM, TGI, Ollama, llama.cpp — когда вы сами скачали веса и подняли сервер на своём железе.
flowchart LR
    C["Клиент (слой 3)"] -->|"POST /v1/chat/completions<br/>{ model, messages, tools }"| S["LLM-сервер (слой 2)"]
    S --> Q["очереди · батчинг · rate-limits<br/>guardrails · биллинг по токенам"]
    Q --> GPU["GPU + загруженные веса<br/>(слой 1)"]
    GPU -->|"токены (стримом)"| C

Что важно про сервер:

  • Он не «обучает» модель на лету (за редким исключением вроде файн-тюнинга). Он выполняет inference — прямой проход по уже обученной сети.
  • У него есть API. Обычно HTTP, чаще всего совместимый с форматом OpenAI Chat Completions: POST /v1/chat/completions с JSON-телом { "model": "...", "messages": [...] }. У Anthropic — свой Messages API той же природы.
  • Он управляет ресурсами. Ставит в очередь запросы, режет контекст, выбирает GPU, считает стоимость по токенам.
  • Он применяет guardrails. Системные промпты провайдера, фильтры безопасности, лимиты на tool-calls, rate-limits — всё это уровень сервера, а не модели.

Именно поэтому говорят, что «Anthropic» или «OpenAI» имеют «свои сервера» — это их inference-инфраструктура, на которой крутятся Claude Opus / Sonnet / Haiku и линейка GPT.

Связанные страницы