Vercel AI SDK + Gonka AI — AI Applications sa TypeScript sa Maliit na Halaga

JoinGonka API key: mag-register sa gate.joingonka.ai/register — sa simula, bibigyan namin kayo ng 3M libreng tokens. Sa Dashboard, lumikha ng key na may prefix na jg-.

Pag-install ng packages. Para sa custom na OpenAI-compatible endpoint, nirerekomenda ng Vercel AI SDK ang provider na @ai-sdk/openai-compatible:

npm install ai @ai-sdk/openai-compatible

Minimal na koneksyon — lumikha ng provider instance gamit ang createOpenAICompatible at tawagin ang generateText:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY, // jg-your-key
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Ipaliwanag kung ano ang decentralized inference network',
});

console.log(text);

Ang parameter na apiKey ay awtomatikong nagdaragdag ng header na Authorization: Bearer jg-your-key — hindi na kailangan ng hiwalay na configuration. Itago ang key sa environment variable na GONKA_API_KEY (halimbawa, sa .env.local), at hindi sa code.

Alternatibo — ang package na @ai-sdk/openai na may factory na createOpenAI({ baseURL, apiKey }). Parehong gumagana ang mga paraan; para sa mga endpoint na hindi pag-aari ng OpenAI, ang dokumentasyon ng AI SDK ay nagpapayo na gamitin ang @ai-sdk/openai-compatible — hindi ito gumagamit ng mga hindi kinakailangang OpenAI-specific assumptions.

Ang pangunahing feature ng Vercel AI SDK ay streaming response. Ang function na streamText ay nagsisimulang mag-stream ng mga token agad, at ang helper na toUIMessageStreamResponse() ay naglalabas ng handang stream direkta mula sa route handler sa Next.js App Router.

Server handler app/api/chat/route.ts:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText, convertToModelMessages, type UIMessage } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

// payagan ang streaming hanggang 30 segundo
export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages }: { messages: UIMessage[] } = await req.json();

  const result = streamText({
    model: gonka('MiniMaxAI/MiniMax-M2.7'),
    system: 'Ikaw ay isang kapaki-pakinabang na assistant. Sumagot nang maikli at diretso sa punto.',
    messages: convertToModelMessages(messages),
    maxOutputTokens: 8192, // output ceiling sa pamamagitan ng Gateway
  });

  return result.toUIMessageStreamResponse();
}

Sa client, i-connect ang hook na useChat mula sa @ai-sdk/react — ito mismo ang kumokonekta sa /api/chat at nagre-render ng message stream. Ang backend naman ay kumokonekta sa Gonka, hindi sa OpenAI.

Script na walang UI (Node, async-iterator sa stream):

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const result = streamText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Sumulat ng haiku tungkol sa distributed computing',
});

for await (const chunk of result.textStream) {
  process.stdout.write(chunk);
}

Mga parameter ng modelo. Sa pamamagitan ng Gateway, tatlong modelo ang available: 200K token context para sa MiniMax M2.7, 380K para sa DeepSeek V4 Flash, at 390K para sa GLM-5.3 Flash; response ceiling (maxOutputTokens) — 8192 para sa MiniMax M2.7 at GLM-5.3 Flash, 32768 para sa DeepSeek V4 Flash:

• MiniMaxAI/MiniMax-M2.7 — default (MiniMax M2.7);
• deepseek-ai/DeepSeek-V4-Flash-0731 (DeepSeek V4 Flash, 380K context);
• zai-org/GLM-5.3-Flash (GLM-5.3 Flash, reasoning-model — nag-iisip bago sumagot).

Kung ang maxOutputTokens ay hindi nakatakda, para sa non-stream request, ang Gateway ay magbabalik ng hanggang 1500 tokens bilang default — para sa streaming chats, mas mabuting ilagay ang halaga nang malinaw.

Ang Vercel AI SDK ay karaniwang nasa likod ng interactive interface — chat, agent, o assistant sa application. Bawat mensahe ay humihila ng history ng dialogue, at bawat hakbang ng agent ay humihila ng tools context. Kaya ang totoong halaga ay hindi kinakalkula bawat request, kundi base sa prod load. Ikumpara natin ang mga tipikal na scenario:

Ang presyo ng JoinGonka ay humigit-kumulang $0.0069 bawat 1M tokens sa input, at ang output ay halos tatlong beses na mas mahal. Para sa application na may libo-libong requests bawat araw, ito ang pagkakaiba ng bayarin na daan-daang dolyar at bayarin na cents lang. Ang libreng 3M tokens ay sapat na para patakbuhin ang unang mga request ng project.

Inilalarawan ng Vercel AI SDK ang mga tool nang declarative sa pamamagitan ng object na tools at schema na zod. Ang mga modelo ng network ay sumusuporta sa native function calling, kaya nakakatanggap ang AI SDK ng structured tool_calls nang hindi nagpa-parse ng mga text response. Ang parameter na stopWhen: stepCountIs(n) ay nagpapahintulot ng maraming hakbang nang sunod-sunod — ang modelo ay tumatawag ng tool, kumukuha ng resulta, at nagpapatuloy.

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText, tool, stepCountIs } from 'ai';
import { z } from 'zod';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  stopWhen: stepCountIs(5),
  tools: {
    weather: tool({
      description: 'Alamin ang panahon sa lungsod',
      inputSchema: z.object({ city: z.string() }),
      execute: async ({ city }) => ({ city, tempC: 17 }),
    }),
  },
  prompt: 'Ano ang panahon sa Moscow? Sumagot sa isang pangungusap.',
});

console.log(text);

Tinatawag ng modelo ang tool na weather, nakukuha ang resulta, at bumubuo ng huling sagot. Ang buong cycle ay nagkakahalaga ng humigit-kumulang $0.000048 sa pamamagitan ng Gonka kumpara sa $0.03-0.10 sa Anthropic o OpenAI. Para sa mga agent application kung saan ang bawat user request ay umaabot ng 5-10 hakbang, ang matitipid sa prod ay sinusukat sa libu-libong dolyar kada buwan.

Kung bumubuo ka ng AI application sa Python, tingnan ang guide sa LangChain — naroon ang parehong diskarte gamit ang OpenAI-compatible class.