Vercel AI SDK + Gonka AI — টাইপস্ক্রিপ্ট এআই অ্যাপ্লিকেশন নগণ্য খরচে

JoinGonka API-কী: gate.joingonka.ai/register-এ রেজিস্টার করুন — শুরুতেই 3M ফ্রি টোকেন পাবেন। Dashboard-এ jg- প্রিফিক্সসহ একটি কী তৈরি করুন।

প্যাকেজ ইনস্টল। কাস্টম OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্টের জন্য Vercel AI SDK @ai-sdk/openai-compatible প্রোভাইডার সুপারিশ করে:

npm install ai @ai-sdk/openai-compatible

সর্বনিম্ন সংযোগ — createOpenAICompatible দিয়ে প্রোভাইডার ইনস্ট্যান্স তৈরি করে generateText কল করুন:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY, // jg-your-key
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Explain what a decentralized inference network is',
});

console.log(text);

apiKey প্যারামিটার স্বয়ংক্রিয়ভাবে Authorization: Bearer jg-your-key হেডার যোগ করে — আলাদা কনফিগারেশনের দরকার নেই। কী-টি কোডে না রেখে GONKA_API_KEY এনভায়রনমেন্ট ভেরিয়েবলে রাখুন (যেমন .env.local-এ)।

বিকল্প — createOpenAI({ baseURL, apiKey }) ফ্যাক্টরিসহ @ai-sdk/openai প্যাকেজ। দুটোই কাজ করে; তবে OpenAI-এর নয় এমন এন্ডপয়েন্টের জন্য AI SDK ডকুমেন্টেশন @ai-sdk/openai-compatible-ই সুপারিশ করে — এটি অপ্রয়োজনীয় OpenAI-নির্দিষ্ট অনুমান টানে না।

Vercel AI SDK-র মূল বৈশিষ্ট্য হলো স্ট্রিমিং রেসপন্স। streamText ফাংশন সাথে সাথেই টোকেন স্ট্রিম করা শুরু করে, আর toUIMessageStreamResponse() হেল্পার Next.js App Router-এর route handler থেকে সরাসরি প্রস্তুত স্ট্রিম ফেরত দেয়।

সার্ভার হ্যান্ডলার app/api/chat/route.ts:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText, convertToModelMessages, type UIMessage } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

// allow streaming for up to 30 seconds
export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages }: { messages: UIMessage[] } = await req.json();

  const result = streamText({
    model: gonka('MiniMaxAI/MiniMax-M2.7'),
    system: 'You are a helpful assistant. Answer briefly and to the point.',
    messages: convertToModelMessages(messages),
    maxOutputTokens: 8192, // Gateway output cap
  });

  return result.toUIMessageStreamResponse();
}

ক্লায়েন্টে @ai-sdk/react থেকে useChat হুক যোগ করুন — এটি নিজেই /api/chat-এ কল করে মেসেজ স্ট্রিম রেন্ডার করে। ব্যাকএন্ড এখানে OpenAI-র বদলে Gonka-তে যায়।

UI ছাড়া স্ক্রিপ্ট (Node, স্ট্রিমের উপর async ইটারেটর):

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const result = streamText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Write a haiku about distributed computing',
});

for await (const chunk of result.textStream) {
  process.stdout.write(chunk);
}

মডেল প্যারামিটার। Gateway-তে তিনটি মডেল পাওয়া যায়: MiniMax M2.7-এ 180K টোকেন কনটেক্সট, DeepSeek V4 Flash-এ 380K এবং GLM-5.3 Flash-এ 390K; উত্তরের সীমা (maxOutputTokens) — MiniMax M2.7 ও GLM-5.3 Flash-এ 8192, DeepSeek V4 Flash-এ 32768:

• MiniMaxAI/MiniMax-M2.7 — ডিফল্ট (MiniMax M2.7);
• deepseek-ai/DeepSeek-V4-Flash-0731 (DeepSeek V4 Flash, কনটেক্সট 380K);
• zai-org/GLM-5.3-Flash (GLM-5.3 Flash, রিজনিং মডেল — উত্তরের আগে চিন্তা করে)।

maxOutputTokens না দিলে non-stream রিকোয়েস্টে Gateway ডিফল্টভাবে 1500 টোকেন পর্যন্ত ফেরত দেয় — স্ট্রিমিং চ্যাটের জন্য মানটি স্পষ্টভাবে উল্লেখ করা ভালো।

Vercel AI SDK সাধারণত একটি ইন্টারঅ্যাকটিভ ইন্টারফেসের পেছনে থাকে — যেমন চ্যাট, এজেন্ট বা অ্যাপ্লিকেশন অ্যাসিস্ট্যান্ট। প্রতিটি বার্তা ডায়ালগের ইতিহাস টেনে আনে এবং প্রতিটি এজেন্ট পদক্ষেপ টুল কনটেক্সট ব্যবহার করে। তাই প্রকৃত খরচ একটি মাত্র রিকোয়েস্ট অনুযায়ী হিসাব করা হয় না, বরং প্রোডাকশন লোড অনুযায়ী হয়। কিছু সাধারণ দৃশ্যকল্পের তুলনা করি:

JoinGonka-এর দাম প্রতি 1M ইনপুট টোকেনের জন্য প্রায় $0.0062, আউটপুট সাধারণত তিনগুণ বেশি। প্রতিদিন হাজার হাজার রিকোয়েস্ট থাকা অ্যাপ্লিকেশনের ক্ষেত্রে এটি শত শত ডলারের বিল বনাম কয়েক সেন্টের বিলের পার্থক্য। ফ্রি 3M টোকেন আপনার প্রজেক্টের প্রাথমিক রিকোয়েস্টগুলো রান করার জন্য যথেষ্ট।

Vercel AI SDK টুলগুলোকে ডিক্লারেটিভভাবে বর্ণনা করে tools অবজেক্ট এবং zod স্কিমার মাধ্যমে। নেটওয়ার্কের মডেলগুলো নেটিভ function calling সাপোর্ট করে, তাই AI SDK টেক্সট রেসপন্স পার্স না করেই স্ট্রাকচার্ড tool_calls পায়। stopWhen: stepCountIs(n) প্যারামিটার একটানা কয়েকটি স্টেপ চালানোর অনুমতি দেয় — মডেল একটি টুল কল করে, ফলাফল পায় এবং চালিয়ে যায়।

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText, tool, stepCountIs } from 'ai';
import { z } from 'zod';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  stopWhen: stepCountIs(5),
  tools: {
    weather: tool({
      description: 'Get the weather in a city',
      inputSchema: z.object({ city: z.string() }),
      execute: async ({ city }) => ({ city, tempC: 17 }),
    }),
  },
  prompt: 'What is the weather in Moscow? Answer in one sentence.',
});

console.log(text);

মডেলটি weather টুল কল করে, ফলাফল পায় এবং চূড়ান্ত উত্তর তৈরি করে। Gonka-র মাধ্যমে পুরো চক্রটির খরচ প্রায় $0.000048, যেখানে Anthropic বা OpenAI-তে খরচ $0.03-0.10। এজেন্ট অ্যাপ্লিকেশনে, যেখানে প্রতিটি ইউজার রিকোয়েস্ট 5-10 স্টেপে ছড়িয়ে পড়ে, প্রোডাকশনে মাসে হাজার হাজার ডলার সাশ্রয় হয়।

যদি Python-এ AI অ্যাপ্লিকেশন তৈরি করেন, তাহলে LangChain-এর গাইডটি দেখুন — সেখানে OpenAI-সামঞ্জস্যপূর্ণ ক্লাসের মাধ্যমে একই পদ্ধতি ব্যবহার করা হয়েছে।