Vercel AI SDK + Gonka AI — Aplikasi AI di TypeScript dengan biaya rendah

Kunci API JoinGonka: daftar di gate.joingonka.ai/register — di awal kami memberikan 10 juta token gratis. Di Dashboard, buat kunci dengan awalan jg-.

Instalasi paket. Untuk endpoint kustom yang kompatibel dengan OpenAI, Vercel AI SDK merekomendasikan penyedia @ai-sdk/openai-compatible:

npm install ai @ai-sdk/openai-compatible

Koneksi minimal — buat instance penyedia melalui createOpenAICompatible dan panggil generateText:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY, // jg-kunci-anda
});

const { text } = await generateText({
  model: gonka('Qwen/Qwen3-235B-A22B-Instruct-2507-FP8'),
  prompt: 'Jelaskan apa itu jaringan inferensi terdesentralisasi',
});

console.log(text);

Parameter apiKey secara otomatis menambahkan header Authorization: Bearer jg-kunci-anda — tidak perlu konfigurasi terpisah. Simpan kunci di variabel lingkungan GONKA_API_KEY (misalnya, di .env.local), bukan di kode.

Alternatif — paket @ai-sdk/openai dengan pabrik createOpenAI({ baseURL, apiKey }). Kedua metode berfungsi; untuk endpoint yang bukan milik OpenAI, dokumentasi AI SDK menyarankan @ai-sdk/openai-compatible — tidak menarik asumsi spesifik OpenAI yang tidak perlu.

Fitur utama Vercel AI SDK adalah streaming respons. Fungsi streamText mulai melakukan streaming token segera, dan helper toUIMessageStreamResponse() mengembalikan aliran yang siap langsung dari route handler di Next.js App Router.

Penangan server app/api/chat/route.ts:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText, convertToModelMessages, type UIMessage } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

// izinkan streaming hingga 30 detik
export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages }: { messages: UIMessage[] } = await req.json();

  const result = streamText({
    model: gonka('Qwen/Qwen3-235B-A22B-Instruct-2507-FP8'),
    system: 'Anda adalah asisten yang berguna. Jawab singkat dan langsung ke intinya.',
    messages: convertToModelMessages(messages),
    maxOutputTokens: 8192, // batas Qwen3-235B melalui Gateway
  });

  return result.toUIMessageStreamResponse();
}

Di sisi klien, hubungkan hook useChat dari @ai-sdk/react — ini akan secara otomatis memanggil /api/chat dan merender aliran pesan. Backend kemudian mengakses Gonka, bukan OpenAI.

Skrip tanpa UI (Node, async-iterator per aliran):

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const result = streamText({
  model: gonka('Qwen/Qwen3-235B-A22B-Instruct-2507-FP8'),
  prompt: 'Tulis haiku tentang komputasi terdistribusi',
});

for await (const chunk of result.textStream) {
  process.stdout.write(chunk);
}

Parameter model. Melalui Gateway, tersedia tiga model, konteks untuk semuanya 128K token; batas respons (maxOutputTokens) berbeda:

• Qwen/Qwen3-235B-A22B-Instruct-2507-FP8 — default, hingga 8192 token output;
• moonshotai/Kimi-K2.6 — hingga 3072 (Kimi K2.6);
• MiniMaxAI/MiniMax-M2.7 — hingga 4096 (MiniMax M2.7).

Jika maxOutputTokens tidak ditentukan, untuk permintaan non-streaming, Gateway secara default akan mengembalikan hingga 1500 token — untuk obrolan streaming, lebih baik tentukan nilainya secara eksplisit.

Vercel AI SDK biasanya digunakan untuk antarmuka interaktif — obrolan, agen, asisten dalam aplikasi. Setiap pesan membawa riwayat dialog, setiap langkah agen — konteks alat. Oleh karena itu, biaya sebenarnya dihitung bukan per permintaan, tetapi per beban produksi. Mari kita bandingkan skenario tipikal:

Harga JoinGonka — sekitar $0,0005 per 1 juta token pada input, output sekitar tiga kali lipat lebih mahal. Untuk aplikasi dengan ribuan permintaan per hari, ini adalah perbedaan antara tagihan ratusan dolar dan tagihan sen. 10 juta token gratis cukup untuk sepenuhnya menjalankan dan men-debug proyek hingga produksi.

Vercel AI SDK menjelaskan alat secara deklaratif melalui objek tools dan skema zod. Qwen3-235B mendukung panggilan fungsi asli, sehingga AI SDK menerima tool_calls terstruktur tanpa mengurai respons tekstual. Parameter stopWhen: stepCountIs(n) mengizinkan beberapa langkah berturut-turut — model memanggil alat, menerima hasilnya, dan melanjutkan.

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText, tool, stepCountIs } from 'ai';
import { z } from 'zod';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const { text } = await generateText({
  model: gonka('Qwen/Qwen3-235B-A22B-Instruct-2507-FP8'),
  stopWhen: stepCountIs(5),
  tools: {
    weather: tool({
      description: 'Cari tahu cuaca di kota',
      inputSchema: z.object({ city: z.string() }),
      execute: async ({ city }) => ({ city, tempC: 17 }),
    }),
  },
  prompt: 'Bagaimana cuaca di Moskow? Jawab dalam satu kalimat.',
});

console.log(text);

Model memanggil alat weather, menerima hasilnya, dan membentuk respons akhir. Seluruh siklus berharga sekitar $0,00001 melalui Gonka versus $0,03-0,10 pada Anthropic atau OpenAI. Untuk aplikasi agen, di mana setiap permintaan pengguna berkembang menjadi 5-10 langkah, penghematan dalam produksi diukur dalam ribuan dolar per bulan.

Jika Anda membangun aplikasi AI di Python, lihat panduan untuk LangChain — ada pendekatan yang sama melalui kelas yang kompatibel dengan OpenAI.