Vercel AI SDK + Gonka AI — AI-додатки на TypeScript за копійки

API-ключ JoinGonka: зареєструйтеся на gate.joingonka.ai/register — на старті даємо 3M безкоштовних токенів. У Dashboard створіть ключ із префіксом jg-.

Встановлення пакетів. Для кастомного OpenAI-сумісного ендпоінту Vercel AI SDK рекомендує провайдер @ai-sdk/openai-compatible:

npm install ai @ai-sdk/openai-compatible

Мінімальне підключення — створюємо інстанс провайдера через createOpenAICompatible та викликаємо generateText:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY, // jg-ваш-ключ
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Поясни, що таке децентралізована мережа інференсу',
});

console.log(text);

Параметр apiKey автоматично додає заголовок Authorization: Bearer jg-ваш-ключ — окреме налаштування не потрібне. Зберігайте ключ у змінній оточення GONKA_API_KEY (наприклад, у .env.local), а не в коді.

Альтернатива — пакет @ai-sdk/openai з фабрикою createOpenAI({ baseURL, apiKey }). Обидва способи робочі; для ендпоінтів, що не належать OpenAI, документація AI SDK радить саме @ai-sdk/openai-compatible — він не тягне зайвих OpenAI-специфічних припущень.

Головна фішка Vercel AI SDK — потокова віддача відповіді. Функція streamText починає стрімити токени одразу, а хелпер toUIMessageStreamResponse() віддає готовий потік прямо з route handler у Next.js App Router.

Серверний обробник app/api/chat/route.ts:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText, convertToModelMessages, type UIMessage } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

// дозволяємо стрімити до 30 секунд
export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages }: { messages: UIMessage[] } = await req.json();

  const result = streamText({
    model: gonka('MiniMaxAI/MiniMax-M2.7'),
    system: 'Ти корисний асистент. Відповідай коротко і по суті.',
    messages: convertToModelMessages(messages),
    maxOutputTokens: 8192, // стеля виводу через Gateway
  });

  return result.toUIMessageStreamResponse();
}

На клієнті підключіть хук useChat з @ai-sdk/react — він сам звертається до /api/chat і рендерить потік повідомлень. Бекенд при цьому ходить у Gonka, а не в OpenAI.

Скрипт без UI (Node, async-ітератор по потоку):

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const result = streamText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Напиши хайку про розподілені обчислення',
});

for await (const chunk of result.textStream) {
  process.stdout.write(chunk);
}

Параметри моделей. Через Gateway доступні три моделі: контекст 200K токенів у MiniMax M2.7, 380K у DeepSeek V4 Flash і 390K у GLM-5.3 Flash; стеля відповіді (maxOutputTokens) — 8192 у MiniMax M2.7 і GLM-5.3 Flash, 32768 у DeepSeek V4 Flash:

• MiniMaxAI/MiniMax-M2.7 — дефолт (MiniMax M2.7);
• deepseek-ai/DeepSeek-V4-Flash-0731 (DeepSeek V4 Flash, контекст 380K);
• zai-org/GLM-5.3-Flash (GLM-5.3 Flash, reasoning-модель — міркує перед відповіддю).

Якщо maxOutputTokens не задано, для non-stream запиту Gateway за замовчуванням поверне до 1500 токенів — для стрімінгових чатів краще вказувати значення явно.

Vercel AI SDK зазвичай стоїть за інтерактивним інтерфейсом — чат, агент, асистент у додатку. Кожне повідомлення тягне за собою історію діалогу, кожен крок агента — контекст інструментів. Тому реальна вартість рахується не за одним запитом, а за навантаженням прода. Порівняємо типові сценарії:

Ціна JoinGonka — близько $0.0069 за 1M токенів на вході, вихід приблизно втричі дорожчий. Для додатка з тисячами запитів на день це різниця між рахунком на сотні доларів і рахунком на центи. Безкоштовних 3M токенів вистачає, щоб прогнати перші запити проєкту.

Vercel AI SDK описує інструменти декларативно через об'єкт tools і схему zod. Моделі мережі підтримують нативний function calling, тому AI SDK отримує структуровані tool_calls без парсингу текстових відповідей. Параметр stopWhen: stepCountIs(n) дозволяє кілька кроків поспіль — модель викликає інструмент, отримує результат і продовжує.

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText, tool, stepCountIs } from 'ai';
import { z } from 'zod';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  stopWhen: stepCountIs(5),
  tools: {
    weather: tool({
      description: 'Дізнатися погоду в місті',
      inputSchema: z.object({ city: z.string() }),
      execute: async ({ city }) => ({ city, tempC: 17 }),
    }),
  },
  prompt: 'Яка погода в Москві? Дай відповідь одним реченням.',
});

console.log(text);

Модель викликає інструмент weather, отримує результат і формує фінальну відповідь. Весь цикл коштує близько $0.000048 через Gonka проти $0.03-0.10 у Anthropic або OpenAI. Для агентських застосунків, де кожен запит користувача розгортається в 5-10 кроків, економія на проде вимірюється тисячами доларів на місяць.

Якщо будуєте AI-застосунок на Python, подивіться гайд по LangChain — там той самий підхід через OpenAI-сумісний клас.