Vercel AI SDK + Gonka AI — Aplikasi AI di TypeScript dengan biaya rendah

Kunci API JoinGonka: daftar di gate.joingonka.ai/register — di awal kami beri 3M token gratis. Di Dashboard, buat kunci dengan awalan jg-.

Instalasi paket. Untuk endpoint kustom yang kompatibel dengan OpenAI, Vercel AI SDK merekomendasikan provider @ai-sdk/openai-compatible:

npm install ai @ai-sdk/openai-compatible

Koneksi minimal — buat instance provider lewat createOpenAICompatible lalu panggil generateText:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY, // jg-your-key
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Explain what a decentralized inference network is',
});

console.log(text);

Parameter apiKey otomatis menambahkan header Authorization: Bearer jg-your-key — tidak perlu pengaturan tambahan. Simpan kunci di variabel lingkungan GONKA_API_KEY (misalnya di .env.local), bukan di dalam kode.

Alternatif — paket @ai-sdk/openai dengan factory createOpenAI({ baseURL, apiKey }). Kedua cara sama-sama berfungsi; untuk endpoint yang bukan milik OpenAI, dokumentasi AI SDK justru menyarankan @ai-sdk/openai-compatible — paket ini tidak membawa asumsi khusus OpenAI yang tidak perlu.

Keunggulan utama Vercel AI SDK adalah penyajian respons secara streaming. Fungsi streamText langsung mulai men-stream token, dan helper toUIMessageStreamResponse() mengirimkan stream siap pakai langsung dari route handler di Next.js App Router.

Handler sisi server app/api/chat/route.ts:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText, convertToModelMessages, type UIMessage } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

// allow streaming for up to 30 seconds
export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages }: { messages: UIMessage[] } = await req.json();

  const result = streamText({
    model: gonka('MiniMaxAI/MiniMax-M2.7'),
    system: 'You are a helpful assistant. Answer briefly and to the point.',
    messages: convertToModelMessages(messages),
    maxOutputTokens: 8192, // Gateway output cap
  });

  return result.toUIMessageStreamResponse();
}

Di sisi klien, pasang hook useChat dari @ai-sdk/react — hook ini otomatis memanggil /api/chat dan merender aliran pesan. Backend-nya sendiri mengakses Gonka, bukan OpenAI.

Skrip tanpa UI (Node, async iterator atas stream):

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const result = streamText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Write a haiku about distributed computing',
});

for await (const chunk of result.textStream) {
  process.stdout.write(chunk);
}

Parameter model. Lewat Gateway tersedia tiga model: konteks 180K token pada MiniMax M2.7, 380K pada DeepSeek V4 Flash, dan 390K pada GLM-5.3 Flash; batas atas respons (maxOutputTokens) adalah 8192 pada MiniMax M2.7 dan GLM-5.3 Flash, serta 32768 pada DeepSeek V4 Flash:

• MiniMaxAI/MiniMax-M2.7 — default (MiniMax M2.7);
• deepseek-ai/DeepSeek-V4-Flash-0731 (DeepSeek V4 Flash, konteks 380K);
• zai-org/GLM-5.3-Flash (GLM-5.3 Flash, model reasoning — bernalar sebelum menjawab).

Jika maxOutputTokens tidak diisi, untuk permintaan non-stream Gateway secara default mengembalikan hingga 1500 token — untuk chat streaming sebaiknya isi nilainya secara eksplisit.

Vercel AI SDK biasanya berada di belakang antarmuka interaktif — obrolan, agen, asisten dalam aplikasi. Setiap pesan menarik riwayat dialog, setiap langkah agen menarik konteks alat. Oleh karena itu, biaya sebenarnya tidak dihitung per satu permintaan, tetapi berdasarkan beban produksi. Mari bandingkan skenario tipikal:

Harga JoinGonka sekitar $0.0062 per 1M token masuk, keluar sekitar tiga kali lipat lebih mahal. Untuk aplikasi dengan ribuan permintaan per hari, ini adalah perbedaan antara tagihan ratusan dolar dan tagihan recehan. 3M token gratis cukup untuk menjalankan permintaan pertama proyek.

Vercel AI SDK mendeskripsikan tool secara deklaratif lewat objek tools dan skema zod. Model di jaringan mendukung native function calling, jadi AI SDK menerima tool_calls terstruktur tanpa perlu mem-parsing respons teks. Parameter stopWhen: stepCountIs(n) memungkinkan beberapa langkah berturut-turut — model memanggil tool, menerima hasilnya, lalu melanjutkan.

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText, tool, stepCountIs } from 'ai';
import { z } from 'zod';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  stopWhen: stepCountIs(5),
  tools: {
    weather: tool({
      description: 'Get the weather in a city',
      inputSchema: z.object({ city: z.string() }),
      execute: async ({ city }) => ({ city, tempC: 17 }),
    }),
  },
  prompt: 'What is the weather in Moscow? Answer in one sentence.',
});

console.log(text);

Model memanggil tool weather, menerima hasilnya, lalu menyusun jawaban akhir. Seluruh siklus ini hanya memakan sekitar $0,000048 lewat Gonka, dibandingkan $0,03-0,10 di Anthropic atau OpenAI. Untuk aplikasi agentic, di mana setiap permintaan pengguna berkembang menjadi 5-10 langkah, penghematan di produksi bisa mencapai ribuan dolar per bulan.

Kalau Anda membangun aplikasi AI dengan Python, lihat panduan LangChain — pendekatannya sama, lewat kelas yang kompatibel dengan OpenAI.