Vercel AI SDK + Gonka AI — টাইপস্ক্রিপ্ট এআই অ্যাপ্লিকেশন নগণ্য খরচে

JoinGonka API কী: gate.joingonka.ai/register এ নিবন্ধন করুন - শুরুতে আমরা 10M বিনামূল্যে টোকেন দিচ্ছি। ড্যাশবোর্ডে jg- উপসর্গ সহ একটি কী তৈরি করুন।

প্যাকেজ ইনস্টলেশন। কাস্টম OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্টের জন্য, Vercel AI SDK @ai-sdk/openai-compatible প্রোভাইডারকে সুপারিশ করে:

npm install ai @ai-sdk/openai-compatible

ন্যূনতম সংযোগ — createOpenAICompatible এর মাধ্যমে প্রোভাইডারের একটি উদাহরণ তৈরি করুন এবং generateText কল করুন:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY, // jg-আপনার-কী
});

const { text } = await generateText({
  model: gonka('Qwen/Qwen3-235B-A22B-Instruct-2507-FP8'),
  prompt: 'বিতর্কিত অনুমান নেটওয়ার্ক কি তা ব্যাখ্যা করুন',
});

console.log(text);

apiKey প্যারামিটার স্বয়ংক্রিয়ভাবে Authorization: Bearer jg-আপনার-কী হেডার যোগ করে - পৃথক কনফিগারেশনের প্রয়োজন নেই। আপনার কীটি GONKA_API_KEY এনভায়রনমেন্ট ভেরিয়েবলে (যেমন, .env.local এ) সংরক্ষণ করুন, কোডে নয়।

বিকল্প — createOpenAI({ baseURL, apiKey }) কারখানা সহ @ai-sdk/openai প্যাকেজ। উভয় পদ্ধতিই কার্যকর; OpenAI এর অন্তর্ভুক্ত নয় এমন এন্ডপয়েন্টগুলির জন্য, AI SDK ডকুমেন্টেশন বিশেষভাবে @ai-sdk/openai-compatible সুপারিশ করে - এটি অপ্রয়োজনীয় OpenAI-নির্দিষ্ট অনুমান টানে না।

Vercel AI SDK এর প্রধান বৈশিষ্ট্য হল স্ট্রিমিং আউটপুট। streamText ফাংশন অবিলম্বে টোকেন স্ট্রিম করা শুরু করে, এবং toUIMessageStreamResponse() সহায়কটি সরাসরি Next.js App Router এ রুট হ্যান্ডলার থেকে প্রস্তুত স্ট্রিম ফেরত দেয়।

সার্ভার হ্যান্ডলার app/api/chat/route.ts:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText, convertToModelMessages, type UIMessage } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

// 30 সেকেন্ড পর্যন্ত স্ট্রিম করার অনুমতি দিন
export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages }: { messages: UIMessage[] } = await req.json();

  const result = streamText({
    model: gonka('Qwen/Qwen3-235B-A22B-Instruct-2507-FP8'),
    system: 'আপনি একজন সহায়ক সহকারী। সংক্ষিপ্ত এবং সরাসরি উত্তর দিন।',
    messages: convertToModelMessages(messages),
    maxOutputTokens: 8192, // গেটওয়ের মাধ্যমে Qwen3-235B এর সীমা
  });

  return result.toUIMessageStreamResponse();
}

ক্লায়েন্টে @ai-sdk/react থেকে useChat হুক সংযুক্ত করুন - এটি স্বয়ংক্রিয়ভাবে /api/chat এ অনুরোধ করে এবং বার্তা স্ট্রিম রেন্ডার করে। ব্যাকএন্ড OpenAI এর পরিবর্তে Gonka এ কল করে।

UI ছাড়া স্ক্রিপ্ট (নোড, স্ট্রিম জুড়ে অসিঙ্ক-ইটারেটর):

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const result = streamText({
  model: gonka('Qwen/Qwen3-235B-A22B-Instruct-2507-FP8'),
  prompt: 'বিতরণকৃত কম্পিউটিং নিয়ে হাইকু লিখুন',
});

for await (const chunk of result.textStream) {
  process.stdout.write(chunk);
}

মডেলের প্যারামিটার। গেটওয়ের মাধ্যমে তিনটি মডেল উপলব্ধ, সবগুলোতে 128K টোকেনের প্রসঙ্গ; আউটপুটের সীমা (maxOutputTokens) ভিন্ন:

• Qwen/Qwen3-235B-A22B-Instruct-2507-FP8 — ডিফল্ট, 8192 টোকেন পর্যন্ত আউটপুট;
• moonshotai/Kimi-K2.6 — 3072 পর্যন্ত (Kimi K2.6);
• MiniMaxAI/MiniMax-M2.7 — 4096 পর্যন্ত (MiniMax M2.7)।

যদি maxOutputTokens নির্দিষ্ট না করা হয়, নন-স্ট্রিম অনুরোধের জন্য গেটওয়ে ডিফল্টরূপে 1500 টোকেন পর্যন্ত ফেরত দেবে - স্ট্রিম চ্যাটগুলির জন্য মানটি স্পষ্টভাবে উল্লেখ করা ভাল।

Vercel AI SDK সাধারণত একটি ইন্টারেক্টিভ ইন্টারফেসের পিছনে থাকে - একটি চ্যাট, একজন এজেন্ট, অ্যাপ্লিকেশনে একজন সহকারী। প্রতিটি বার্তা কথোপকথনের ইতিহাস নিয়ে আসে, এজেন্টের প্রতিটি ধাপ - সরঞ্জামগুলির প্রসঙ্গ। অতএব, প্রকৃত খরচ একটি একক অনুরোধের উপর ভিত্তি করে গণনা করা হয় না, বরং প্রোডাকশনের লোডের উপর ভিত্তি করে। আমরা সাধারণ পরিস্থিতিগুলির তুলনা করি:

JoinGonka এর মূল্য ইনপুটে 1M টোকেন প্রতি প্রায় $0.0005, আউটপুট প্রায় তিনগুণ ব্যয়বহুল। প্রতিদিন হাজার হাজার অনুরোধ সহ একটি অ্যাপ্লিকেশনের জন্য, এটি শত শত ডলারের বিল এবং কয়েক সেন্টের বিলের মধ্যে পার্থক্য। বিনামূল্যে 10M টোকেন একটি প্রকল্প প্রোডাকশনে যাওয়ার আগে সম্পূর্ণরূপে পরীক্ষা এবং ডিবাগ করার জন্য যথেষ্ট।

Vercel AI SDK tools অবজেক্ট এবং zod স্কিমার মাধ্যমে ডিক্লেয়ারেটিভলি টুলগুলো বর্ণনা করে। Qwen3-235B নেটিভ ফাংশন কলিং সমর্থন করে, তাই AI SDK টেক্সট আউটপুট পার্স না করেই স্ট্রাকচারড tool_calls গ্রহণ করে। stopWhen: stepCountIs(n) প্যারামিটার পরপর একাধিক ধাপের অনুমতি দেয় – মডেল টুলটিকে কল করে, ফলাফল গ্রহণ করে এবং কাজ চালিয়ে যায়।

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText, tool, stepCountIs } from 'ai';
import { z } from 'zod';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const { text } = await generateText({
  model: gonka('Qwen/Qwen3-235B-A22B-Instruct-2507-FP8'),
  stopWhen: stepCountIs(5),
  tools: {
    weather: tool({
      description: 'শহরের আবহাওয়া জানুন',
      inputSchema: z.object({ city: z.string() }),
      execute: async ({ city }) => ({ city, tempC: 17 }),
    }),
  },
  prompt: 'মস্কোর আবহাওয়া কেমন? এক বাক্যে উত্তর দিন।',
});

console.log(text);

মডেল weather টুলটিকে কল করে, ফলাফল গ্রহণ করে এবং চূড়ান্ত উত্তর তৈরি করে। Gonka এর মাধ্যমে পুরো চক্রের খরচ প্রায় $0.00001, যেখানে Anthropic বা OpenAI এর জন্য $0.03-0.10। এজেন্ট অ্যাপ্লিকেশনগুলির জন্য, যেখানে ব্যবহারকারীর প্রতিটি অনুরোধ 5-10 ধাপে বিভক্ত হয়, প্রোডাকশনে প্রতি মাসে হাজার হাজার ডলার সাশ্রয় হয়।

যদি আপনি পাইথনে একটি এআই অ্যাপ্লিকেশন তৈরি করেন, তাহলে LangChain এর গাইডটি দেখুন - সেখানে OpenAI-সামঞ্জস্যপূর্ণ ক্লাসের মাধ্যমে একই পদ্ধতি ব্যবহার করা হয়।