Vercel AI SDK + Gonka AI — Ứng dụng AI trên TypeScript giá rẻ

API key JoinGonka: đăng ký tại gate.joingonka.ai/register — khi khởi đầu chúng tôi tặng 3M token miễn phí. Trong Dashboard, hãy tạo key với tiền tố jg-.

Cài đặt gói. Đối với endpoint tùy chỉnh tương thích OpenAI, Vercel AI SDK khuyến nghị provider @ai-sdk/openai-compatible:

npm install ai @ai-sdk/openai-compatible

Kết nối tối thiểu — tạo instance provider qua createOpenAICompatible và gọi generateText:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY, // jg-your-key
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Explain what a decentralized inference network is',
});

console.log(text);

Tham số apiKey tự động thêm header Authorization: Bearer jg-your-key — không cần cấu hình riêng. Hãy lưu key trong biến môi trường GONKA_API_KEY (ví dụ trong .env.local), đừng để trong code.

Lựa chọn thay thế — gói @ai-sdk/openai với factory createOpenAI({ baseURL, apiKey }). Cả hai cách đều hoạt động; với các endpoint không thuộc OpenAI, tài liệu AI SDK khuyên dùng đúng @ai-sdk/openai-compatible — nó không mang theo những giả định riêng của OpenAI không cần thiết.

Điểm đặc sắc nhất của Vercel AI SDK là khả năng trả về phản hồi dạng stream. Hàm streamText bắt đầu stream token ngay lập tức, còn helper toUIMessageStreamResponse() trả về luồng hoàn chỉnh trực tiếp từ route handler trong Next.js App Router.

Trình xử lý phía server app/api/chat/route.ts:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText, convertToModelMessages, type UIMessage } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

// allow streaming for up to 30 seconds
export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages }: { messages: UIMessage[] } = await req.json();

  const result = streamText({
    model: gonka('MiniMaxAI/MiniMax-M2.7'),
    system: 'You are a helpful assistant. Answer briefly and to the point.',
    messages: convertToModelMessages(messages),
    maxOutputTokens: 8192, // Gateway output cap
  });

  return result.toUIMessageStreamResponse();
}

Ở phía client, hãy kết nối hook useChat từ @ai-sdk/react — nó tự gọi /api/chat và render luồng tin nhắn. Backend khi đó sẽ gọi đến Gonka chứ không phải OpenAI.

Script không có UI (Node, async-iterator trên luồng):

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const result = streamText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Write a haiku about distributed computing',
});

for await (const chunk of result.textStream) {
  process.stdout.write(chunk);
}

Tham số model. Qua Gateway có ba model khả dụng: context 180K token với MiniMax M2.7, 380K với DeepSeek V4 Flash và 390K với GLM-5.3 Flash; giới hạn phản hồi (maxOutputTokens) — 8192 với MiniMax M2.7 và GLM-5.3 Flash, 32768 với DeepSeek V4 Flash:

• MiniMaxAI/MiniMax-M2.7 — mặc định (MiniMax M2.7);
• deepseek-ai/DeepSeek-V4-Flash-0731 (DeepSeek V4 Flash, context 380K);
• zai-org/GLM-5.3-Flash (GLM-5.3 Flash, model reasoning — suy luận trước khi trả lời).

Nếu không đặt maxOutputTokens, với request non-stream Gateway mặc định trả về tối đa 1500 token — với chat dạng stream nên chỉ định giá trị rõ ràng.

Vercel AI SDK thường nằm sau giao diện tương tác — trò chuyện, tác nhân, trợ lý trong ứng dụng. Mỗi tin nhắn kéo theo lịch sử hội thoại, mỗi bước của tác nhân kéo theo ngữ cảnh công cụ. Do đó, chi phí thực tế không được tính theo một yêu cầu đơn lẻ, mà theo tải trọng production. Hãy so sánh các kịch bản điển hình:

Giá của JoinGonka là khoảng $0.0062 cho mỗi 1M token đầu vào, đầu ra đắt hơn khoảng ba lần. Đối với một ứng dụng với hàng ngàn yêu cầu mỗi ngày, đây là sự khác biệt giữa hóa đơn hàng trăm đô la và hóa đơn chỉ vài xu. 3M token miễn phí là đủ để chạy các yêu cầu đầu tiên của dự án.

Vercel AI SDK khai báo các công cụ theo kiểu khai báo thông qua đối tượng tools và schema zod. Các model trong mạng hỗ trợ function calling gốc, nhờ đó AI SDK nhận được tool_calls có cấu trúc mà không cần parse văn bản trả về. Tham số stopWhen: stepCountIs(n) cho phép nhiều bước liên tiếp — model gọi công cụ, nhận kết quả rồi tiếp tục.

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText, tool, stepCountIs } from 'ai';
import { z } from 'zod';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  stopWhen: stepCountIs(5),
  tools: {
    weather: tool({
      description: 'Get the weather in a city',
      inputSchema: z.object({ city: z.string() }),
      execute: async ({ city }) => ({ city, tempC: 17 }),
    }),
  },
  prompt: 'What is the weather in Moscow? Answer in one sentence.',
});

console.log(text);

Model gọi công cụ weather, nhận kết quả và tạo ra câu trả lời cuối cùng. Toàn bộ vòng lặp chỉ tốn khoảng $0.000048 qua Gonka, so với $0.03-0.10 ở Anthropic hay OpenAI. Với các ứng dụng agent, nơi mỗi yêu cầu của người dùng triển khai thành 5-10 bước, khoản tiết kiệm trên môi trường production lên tới hàng nghìn đô la mỗi tháng.

Nếu bạn đang xây dựng ứng dụng AI bằng Python, hãy xem hướng dẫn về LangChain — ở đó cũng dùng cách tiếp cận tương tự qua lớp tương thích OpenAI.