Vercel AI SDK + Gonka AI — টাইপস্ক্রিপ্ট এআই অ্যাপ্লিকেশন নগণ্য খরচে

JoinGonka API-key: gate.joingonka.ai/register-এ রেজিস্টার করুন — শুরুতে আমরা 3M ফ্রি টোকেন দিচ্ছি। Dashboard-এ jg- প্রিফিক্স দিয়ে একটি কি (key) তৈরি করুন।

প্যাকেজ ইনস্টলেশন। কাস্টম OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্টের জন্য Vercel AI SDK @ai-sdk/openai-compatible প্রোভাইডার ব্যবহারের পরামর্শ দেয়:

npm install ai @ai-sdk/openai-compatible

মিনিমাল কানেকশন — createOpenAICompatible এর মাধ্যমে প্রোভাইডার ইনস্ট্যান্স তৈরি করুন এবং generateText কল করুন:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY, // jg-your-key
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'ডি-সেন্ট্রালাইজড ইনফারেন্স নেটওয়ার্ক কী তা ব্যাখ্যা করো',
});

console.log(text);

apiKey প্যারামিটারটি স্বয়ংক্রিয়ভাবে Authorization: Bearer jg-your-key হেডার যোগ করে — আলাদা কোনো কনফিগারেশনের প্রয়োজন নেই। কি (key) টি কোডে না রেখে এনভায়রনমেন্ট ভেরিয়েবল GONKA_API_KEY-তে (যেমন: .env.local-এ) রাখুন।

বিকল্প — createOpenAI({ baseURL, apiKey }) ফ্যাক্টরি সহ @ai-sdk/openai প্যাকেজ। দুটি পদ্ধতিই কার্যকর; OpenAI নয় এমন এন্ডপয়েন্টের জন্য, AI SDK ডকুমেন্টেশন @ai-sdk/openai-compatible ব্যবহারের পরামর্শ দেয় — কারণ এটি অপ্রয়োজনীয় OpenAI-নির্দিষ্ট অনুমানগুলো লোড করে না।

Vercel AI SDK-এর প্রধান সুবিধা হলো স্ট্রিমিং রেসপন্স। streamText ফাংশনটি টোকেনগুলো সাথে সাথেই স্ট্রিম করা শুরু করে এবং toUIMessageStreamResponse() হেল্পারটি সরাসরি Next.js App Router-এর route handler থেকে রেডিমেড স্ট্রিম প্রদান করে।

সার্ভার হ্যান্ডলার app/api/chat/route.ts:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText, convertToModelMessages, type UIMessage } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

// ৩০ সেকেন্ড পর্যন্ত স্ট্রিমিং করার অনুমতি দিচ্ছি
export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages }: { messages: UIMessage[] } = await req.json();

  const result = streamText({
    model: gonka('MiniMaxAI/MiniMax-M2.7'),
    system: 'তুমি একজন সহায়ক সহকারী। সংক্ষিপ্ত এবং প্রয়োজনীয় উত্তর দাও।',
    messages: convertToModelMessages(messages),
    maxOutputTokens: 8192, // Gateway এর মাধ্যমে আউটপুট লিমিট
  });

  return result.toUIMessageStreamResponse();
}

ক্লায়েন্ট সাইডে @ai-sdk/react থেকে useChat হুকটি ইমপোর্ট করুন - এটি স্বয়ংক্রিয়ভাবে /api/chat-এ কল করে এবং মেসেজ স্ট্রিম রেন্ডার করে। এক্ষেত্রে ব্যাকএন্ড OpenAI-এর বদলে Gonka ব্যবহার করে।

UI ছাড়া স্ক্রিপ্ট (Node, স্ট্রিমের জন্য async-iterator):

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const result = streamText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'ডিস্ট্রিবিউটেড কম্পিউটিং নিয়ে একটি হাইকু লেখো',
});

for await (const chunk of result.textStream) {
  process.stdout.write(chunk);
}

মডেল প্যারামিটার। Gateway-এর মাধ্যমে তিনটি মডেল উপলব্ধ: MiniMax M2.7-এর জন্য ২০০K টোকেন কনটেক্সট, DeepSeek V4 Flash-এর জন্য ৩৮০K এবং GLM-5.3 Flash-এর জন্য ৩৯০K; রেসপন্স লিমিট (maxOutputTokens) — MiniMax M2.7 এবং GLM-5.3 Flash-এর জন্য ৮১৯২, DeepSeek V4 Flash-এর জন্য ৩২৭৬৮:

• MiniMaxAI/MiniMax-M2.7 — ডিফল্ট (MiniMax M2.7);
• deepseek-ai/DeepSeek-V4-Flash-0731 (DeepSeek V4 Flash, ৩৮০K কনটেক্সট);
• zai-org/GLM-5.3-Flash (GLM-5.3 Flash, রিজনিং মডেল — উত্তর দেওয়ার আগে বিশ্লেষণ করে)।

যদি maxOutputTokens সেট করা না থাকে, নন-স্ট্রিম রিকোয়েস্টের জন্য Gateway ডিফল্টভাবে ১৫০০ টোকেন পর্যন্ত রিটার্ন করবে — তাই স্ট্রিমিং চ্যাটের ক্ষেত্রে স্পষ্টভাবে মান উল্লেখ করা ভালো।

Vercel AI SDK সাধারণত একটি ইন্টারঅ্যাকটিভ ইন্টারফেসের পেছনে থাকে — যেমন চ্যাট, এজেন্ট বা অ্যাপ্লিকেশন অ্যাসিস্ট্যান্ট। প্রতিটি বার্তা ডায়ালগের ইতিহাস টেনে আনে এবং প্রতিটি এজেন্ট পদক্ষেপ টুল কনটেক্সট ব্যবহার করে। তাই প্রকৃত খরচ একটি মাত্র রিকোয়েস্ট অনুযায়ী হিসাব করা হয় না, বরং প্রোডাকশন লোড অনুযায়ী হয়। কিছু সাধারণ দৃশ্যকল্পের তুলনা করি:

JoinGonka-এর দাম প্রতি 1M ইনপুট টোকেনের জন্য প্রায় $0.0069, আউটপুট সাধারণত তিনগুণ বেশি। প্রতিদিন হাজার হাজার রিকোয়েস্ট থাকা অ্যাপ্লিকেশনের ক্ষেত্রে এটি শত শত ডলারের বিল বনাম কয়েক সেন্টের বিলের পার্থক্য। ফ্রি 3M টোকেন আপনার প্রজেক্টের প্রাথমিক রিকোয়েস্টগুলো রান করার জন্য যথেষ্ট।

Vercel AI SDK একটি tools অবজেক্ট এবং zod স্কিমা ব্যবহার করে টুলগুলিকে ডিক্লারেটিভভাবে বর্ণনা করে। নেটওয়ার্ক মডেলগুলি নেটিভ ফাংশন কলিং সমর্থন করে, তাই AI SDK টেক্সট রেসপন্স পার্স করা ছাড়াই স্ট্রাকচার্ড tool_calls গ্রহণ করে। stopWhen: stepCountIs(n) প্যারামিটারটি পরপর একাধিক ধাপের অনুমতি দেয় — মডেল একটি টুল কল করে, ফলাফল পায় এবং কাজ চালিয়ে যায়।

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText, tool, stepCountIs } from 'ai';
import { z } from 'zod';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  stopWhen: stepCountIs(5),
  tools: {
    weather: tool({
      description: 'Узнать погоду в городе',
      inputSchema: z.object({ city: z.string() }),
      execute: async ({ city }) => ({ city, tempC: 17 }),
    }),
  },
  prompt: 'Какая погода в Москве? Ответь одним предложением.',
});

console.log(text);

মডেলটি weather টুলটিকে কল করে, ফলাফল পায় এবং চূড়ান্ত উত্তর তৈরি করে। পুরো সাইকেলটি Gonka-এর মাধ্যমে খরচ হয় প্রায় $0.000048, যেখানে Anthropic বা OpenAI-তে $0.03-0.10। এজেন্ট অ্যাপ্লিকেশনের জন্য, যেখানে প্রতিটি ইউজার রিকোয়েস্ট ৫-১০ ধাপে সম্পন্ন হয়, প্রোডাকশনে সাশ্রয় হয় প্রতি মাসে হাজার হাজার ডলার।

আপনি যদি Python-এ AI-অ্যাপ্লিকেশন তৈরি করেন, তবে LangChain গাইডটি দেখুন — সেখানে OpenAI-সামঞ্জস্যপূর্ণ ক্লাসের মাধ্যমে একই পদ্ধতি ব্যবহার করা হয়।