Как снизить расходы на Grok API

Первый и самый простой способ сократить расходы — подключиться к GrokAPI вместо официального API. После этого дополнительную экономию дают кэширование промптов, контроль контекста, разумные лимиты и стрим.

2. Кэширование промптов

Если у вас длинный system prompt, набор инструкций или большой контекстный документ, которые повторяются от запроса к запросу, GrokAPI кэширует их автоматически. Чтение из кэша стоит $0.09 за 1M против $0.36 за обычный input — это примерно −75%. Идеально для RAG, агентных пайплайнов и приложений с фиксированным системным промптом.

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: process.env.XAI_API_KEY,
  baseURL: "https://api.llm-gate.tech/v1",
});

// Keep the long, stable instructions at the START of every request.
// GrokAPI caches the shared prefix automatically, so repeated calls
// pay the cached rate for it instead of the full input rate.
const SYSTEM = "You are a senior code reviewer. <long, fixed instructions…>";

const response = await client.responses.create({
  model: "grok-4.7",
  instructions: SYSTEM,          // stable, cacheable prefix
  input: userQuestion,          // the only part that changes
});

3. Держите контекст под 200k токенов

Для Grok 4.7 тариф длинного контекста применяется начиная с 200k входных токенов. Обычные ставки — $0.36 вход / $1.08 выход за 1M токенов; длинный контекст — $0.72 / $2.16. Если задача умещается в короткий контекст, не добавляйте лишний текст.

4. Сокращайте контекст

Каждый лишний токен во входе — деньги. Не грузите весь монорепозиторий, если задача касается одного файла. Не суйте всю историю переписки, если для ответа хватит последних двух сообщений. Прежде чем добавить документ в prompt, спросите: реально ли модель без него ответит хуже?

5. Устанавливайте разумный max_output_tokens

max_output_tokens ограничивает размер ответа. Если поставить очень много, модель не потратит больше необходимого, но может решить, что «есть место», и написать лишнее. Ставьте столько, сколько правда нужно.

// One sentence — 60. A paragraph — 200. A mini-essay — 800.
const response = await client.responses.create({
  model: "grok-4.7",
  input: prompt,
  max_output_tokens: 200,
});

6. Стримьте ответ и отменяйте лишнее

Стрим (SSE) сам по себе не делает запрос дешевле, но даёт возможность оборвать генерацию, если ответ уже пошёл не туда. Особенно важно в чат-интерфейсах и агентах: можно детектить нежелательные паттерны на лету и закрывать соединение, не оплачивая бесполезное продолжение.

const stream = await client.responses.stream({
  model: "grok-4.7",
  input: prompt,
});

for await (const event of stream) {
  if (shouldStop(event)) {
    stream.controller.abort(); // stop paying for a useless continuation
    break;
  }
}

7. Управляйте историей разговора

В долгих сессиях история копится: входные токены растут линейно, а счёт — квадратично, потому что каждый раз тарифицируется вся история. Раз в 10–20 сообщений сохраняйте короткое саммари и сбрасывайте историю — пусть новая сессия начинается с одного абзаца, а не с полотна.

// After ~10-20 turns, compress the history and start fresh.
const summary = await client.responses.create({
  model: "grok-4.7",
  instructions: "Summarize the conversation so far in 3-4 sentences.",
  input: JSON.stringify(history),
  max_output_tokens: 160,
});

history = [{ role: "system", content: summary.output_text }];

8. Reasoning — только когда нужно

Grok 4.7 умеет тратить токены на внутренние рассуждения перед ответом, и они тоже платные (тарифицируются как output). Для задач, где хватит быстрого ответа — извлечение, классификация, шаблонная генерация — глубокое рассуждение не нужно. Оставьте его для планирования, сложной отладки и агентов, где качество вывода важнее секунд и центов.

9. Считайте расходы заранее

Стоимость одного запроса легко предсказать: (input_tokens × цена_входа + output_tokens × цена_выхода) ÷ 1 000 000. Прикиньте до запуска, а не после — так вы поймёте, есть ли смысл оптимизировать именно эту часть пайплайна.

cost = (input × $0.36 + output × $1.08) / 1,000,000