Vercel AI SDK + Gonka AI — AI Applications sa TypeScript sa Maliit na Halaga

API key ng JoinGonka: magrehistro sa gate.joingonka.ai/register — sa simula, binibigyan ka namin ng 3M na libreng token. Sa Dashboard, gumawa ng key na may prefix na jg-.

Pag-install ng mga package. Para sa custom na OpenAI-compatible endpoint, inirerekomenda ng Vercel AI SDK ang provider na @ai-sdk/openai-compatible:

npm install ai @ai-sdk/openai-compatible

Minimal na koneksyon — gagawa tayo ng instance ng provider gamit ang createOpenAICompatible at tatawagin ang generateText:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY, // jg-your-key
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Explain what a decentralized inference network is',
});

console.log(text);

Awtomatikong nagdadagdag ang parameter na apiKey ng header na Authorization: Bearer jg-your-key — hindi na kailangan ng hiwalay na setup. Itago ang key sa environment variable na GONKA_API_KEY (halimbawa, sa .env.local), hindi sa code.

Alternatibo — ang package na @ai-sdk/openai gamit ang factory na createOpenAI({ baseURL, apiKey }). Gumagana ang dalawang paraan; para sa mga endpoint na hindi pag-aari ng OpenAI, ang dokumentasyon ng AI SDK ay nagrerekomenda ng @ai-sdk/openai-compatible — hindi ito nagdadala ng mga karagdagang OpenAI-specific na assumption.

Ang pangunahing tampok ng Vercel AI SDK ay ang streaming na pagbabalik ng sagot. Ang function na streamText ay agad na nagsisimulang mag-stream ng mga token, at ang helper na toUIMessageStreamResponse() ay nagbabalik ng ready na stream direkta mula sa route handler sa Next.js App Router.

Server handler app/api/chat/route.ts:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText, convertToModelMessages, type UIMessage } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

// allow streaming for up to 30 seconds
export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages }: { messages: UIMessage[] } = await req.json();

  const result = streamText({
    model: gonka('MiniMaxAI/MiniMax-M2.7'),
    system: 'You are a helpful assistant. Answer briefly and to the point.',
    messages: convertToModelMessages(messages),
    maxOutputTokens: 8192, // Gateway output cap
  });

  return result.toUIMessageStreamResponse();
}

Sa client, ikonekta ang hook na useChat mula sa @ai-sdk/react — ito na mismo ang tumatawag sa /api/chat at nagre-render ng stream ng mga mensahe. Ang backend naman ay dumadaan sa Gonka, hindi sa OpenAI.

Script na walang UI (Node, async iterator sa stream):

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const result = streamText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Write a haiku about distributed computing',
});

for await (const chunk of result.textStream) {
  process.stdout.write(chunk);
}

Mga parameter ng modelo. Sa pamamagitan ng Gateway, may tatlong modelong available: 180K token na context sa MiniMax M2.7, 380K sa DeepSeek V4 Flash, at 390K sa GLM-5.3 Flash; ang limitasyon ng sagot (maxOutputTokens) — 8192 sa MiniMax M2.7 at GLM-5.3 Flash, 32768 sa DeepSeek V4 Flash:

• MiniMaxAI/MiniMax-M2.7 — default (MiniMax M2.7);
• deepseek-ai/DeepSeek-V4-Flash-0731 (DeepSeek V4 Flash, context na 380K);
• zai-org/GLM-5.3-Flash (GLM-5.3 Flash, reasoning model — nag-iisip bago sumagot).

Kung hindi nakatakda ang maxOutputTokens, para sa non-stream request, ang Gateway ay default na magbabalik ng hanggang 1500 token — para sa mga streaming chat, mas mabuting tahasang tukuyin ang halaga.

Ang Vercel AI SDK ay karaniwang nasa likod ng interactive interface — chat, agent, o assistant sa application. Bawat mensahe ay humihila ng history ng dialogue, at bawat hakbang ng agent ay humihila ng tools context. Kaya ang totoong halaga ay hindi kinakalkula bawat request, kundi base sa prod load. Ikumpara natin ang mga tipikal na scenario:

Ang presyo ng JoinGonka ay humigit-kumulang $0.0062 bawat 1M tokens sa input, at ang output ay halos tatlong beses na mas mahal. Para sa application na may libo-libong requests bawat araw, ito ang pagkakaiba ng bayarin na daan-daang dolyar at bayarin na cents lang. Ang libreng 3M tokens ay sapat na para patakbuhin ang unang mga request ng project.

Ang Vercel AI SDK ay naglalarawan ng mga tool nang deklarasyon sa pamamagitan ng tools object at zod schema. Sinusuportahan ng mga modelo sa network ang native na function calling, kaya ang AI SDK ay tumatanggap ng structured na tool_calls nang hindi kailangang i-parse ang mga text response. Ang parameter na stopWhen: stepCountIs(n) ay nagpapahintulot ng ilang sunod-sunod na hakbang — tumatawag ang modelo ng tool, natatanggap ang resulta, at nagpapatuloy.

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText, tool, stepCountIs } from 'ai';
import { z } from 'zod';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  stopWhen: stepCountIs(5),
  tools: {
    weather: tool({
      description: 'Get the weather in a city',
      inputSchema: z.object({ city: z.string() }),
      execute: async ({ city }) => ({ city, tempC: 17 }),
    }),
  },
  prompt: 'What is the weather in Moscow? Answer in one sentence.',
});

console.log(text);

Tumatawag ang modelo ng weather tool, natatanggap ang resulta, at bumubuo ng final na sagot. Ang buong cycle ay nagkakahalaga ng humigit-kumulang $0.000048 sa Gonka kumpara sa $0.03-0.10 sa Anthropic o OpenAI. Para sa mga agentic na aplikasyon kung saan ang bawat user request ay nagiging 5-10 hakbang, ang matitipid sa production ay umaabot sa libu-libong dolyar bawat buwan.

Kung nagtatayo ka ng AI application sa Python, tingnan ang gabay sa LangChain — pareho ang diskarte doon sa pamamagitan ng OpenAI-compatible na class.