Vercel AI SDK + گونکا AI — TypeScript پر AI-ایپلی کیشنز صرف چند روپے میں

JoinGonka API-key: gate.joingonka.ai/register پر رجسٹر کریں — شروع میں ہم 10M مفت ٹوکنز دیتے ہیں۔ ڈیش بورڈ میں jg- کا پریفکس (prefix) استعمال کرتے ہوئے ایک کی بنائیں،

پیکج انسٹالیشن۔ کسٹم OpenAI-مطابقت پذیر اینڈ پوائنٹ کے لیے Vercel AI SDK @ai-sdk/openai-compatible پرووائیڈر استعمال کرنے کی سفارش کرتا ہے:

npm install ai @ai-sdk/openai-compatible

کم سے کم کنکشن (Minimal connection) — createOpenAICompatible کے ذریعے پرووائیڈر انسٹینس بنائیں اور generateText کو کال کریں:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY, // jg-ваш-ключ
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Объясни, что такое децентрализованная сеть инференса',
});

console.log(text);

apiKey پیرامیٹر خود بخود Authorization: Bearer jg-ваш-ключ ہیڈر کا اضافہ کرتا ہے — کسی الگ کنفیگریشن کی ضرورت نہیں ہے۔ کی (key) کو کوڈ کے بجائے ماحول کے ویری ایبل GONKA_API_KEY (مثلاً .env.local فائل میں) میں محفوظ کریں۔

متبادل — createOpenAI({ baseURL, apiKey }) فیکٹری کے ساتھ @ai-sdk/openai پیکج۔ دونوں طریقے کارآمد ہیں؛ تاہم، OpenAI کے علاوہ دیگر اینڈ پوائنٹس کے لیے AI SDK کی دستاویزات @ai-sdk/openai-compatible کی تجویز دیتی ہیں — کیونکہ یہ غیر ضروری OpenAI-مخصوص مفروضات شامل نہیں کرتا۔

Vercel AI SDK کی اہم خصوصیت جواب کی اسٹریمنگ ہے۔ streamText فنکشن فوری طور پر ٹوکن اسٹریم کرنا شروع کر دیتا ہے، اور toUIMessageStreamResponse() ہیلپر Next.js App Router کے روٹ ہینڈلر سے براہ راست اسٹریم فراہم کرتا ہے۔

سرور ہینڈلر app/api/chat/route.ts:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText, convertToModelMessages, type UIMessage } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

// 30 سیکنڈ تک اسٹریمنگ کی اجازت
export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages }: { messages: UIMessage[] } = await req.json();

  const result = streamText({
    model: gonka('MiniMaxAI/MiniMax-M2.7'),
    system: 'آپ ایک مددگار اسسٹنٹ ہیں۔ مختصر اور درست جواب دیں۔',
    messages: convertToModelMessages(messages),
    maxOutputTokens: 8192, // گیٹ وے کے ذریعے آؤٹ پٹ کیپ
  });

  return result.toUIMessageStreamResponse();
}

کلائنٹ سائیڈ پر @ai-sdk/react سے useChat ہک کو جوڑیں — یہ خود بخود /api/chat کو کال کرتا ہے اور میسجز کی اسٹریمنگ کو رینڈر کرتا ہے۔ اس صورت میں بیک اینڈ OpenAI کے بجائے Gonka استعمال کر رہا ہے۔

UI کے بغیر اسکرپٹ (Node، اسٹریمنگ پر async-iterator):

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const result = streamText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'تقسیم شدہ کمپیوٹنگ پر ایک ہائیکو لکھیں',
});

for await (const chunk of result.textStream) {
  process.stdout.write(chunk);
}

ماڈل پیرامیٹرز۔ گیٹ وے کے ذریعے دو ماڈلز دستیاب ہیں، دونوں میں 200K ٹوکنز کا کانٹیکسٹ ونڈو ہے؛ آؤٹ پٹ کیپ (maxOutputTokens) ہر ایک میں 8192 تک ہے:

• moonshotai/Kimi-K2.6 — ڈیفالٹ (Kimi K2.6);
• MiniMaxAI/MiniMax-M2.7 (MiniMax M2.7).

اگر maxOutputTokens سیٹ نہیں ہے تو، نان-اسٹریم درخواست کے لیے گیٹ وے ڈیفالٹ کے طور پر 1500 ٹوکن تک لوٹائے گا — اسٹریمنگ چیٹس کے لیے ویلیو واضح طور پر بتانا بہتر ہے۔

Vercel AI SDK عام طور پر انٹرایکٹو انٹرفیس کے پیچھے ہوتا ہے - چیٹ، ایجنٹ، ایپلی کیشن میں اسسٹنٹ۔ ہر میسج گفتگو کی تاریخ کھینچتا ہے، ایجنٹ کا ہر قدم ٹولز کا کانٹیکسٹ لیتا ہے۔ لہذا، اصل لاگت کا حساب ایک درخواست کے بجائے پروڈکشن لوڈ پر کیا جاتا ہے۔ کچھ عام منظرناموں کا موازنہ کریں:

JoinGonka کی قیمت ان پٹ پر 1 ملین ٹوکنز پر تقریباً $0.003 ہے، آؤٹ پٹ تین گنا زیادہ مہنگی ہے۔ روزانہ ہزاروں درخواستوں والی ایپلی کیشن کے لیے، یہ سینکڑوں ڈالر کے بل اور چند سینٹ کے بل کا فرق ہے۔ 10 ملین مفت ٹوکنز پروجیکٹ کو پروڈکشن میں لانے سے پہلے مکمل طور پر ٹیسٹ اور ڈیبگ کرنے کے لیے کافی ہیں۔

Vercel AI SDK tools آبجیکٹ اور zod اسکیمہ کے ذریعے ٹولز کی وضاحت ڈیکلریٹو طریقے سے کرتا ہے۔ Kimi K2.6 مقامی (native) function calling کو سپورٹ کرتا ہے، لہذا AI SDK کسی بھی ٹیکسٹ رسپانس کو پارس کیے بغیر سٹرکچرڈ tool_calls وصول کرتا ہے۔ stopWhen: stepCountIs(n) پیرامیٹر مسلسل متعدد اقدامات کی اجازت دیتا ہے — ماڈل ایک ٹول کال کرتا ہے، نتیجہ حاصل کرتا ہے اور جاری رکھتا ہے۔

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText, tool, stepCountIs } from 'ai';
import { z } from 'zod';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  stopWhen: stepCountIs(5),
  tools: {
    weather: tool({
      description: 'شہر میں موسم کی صورتحال جانیں',
      inputSchema: z.object({ city: z.string() }),
      execute: async ({ city }) => ({ city, tempC: 17 }),
    }),
  },
  prompt: 'ماسکو میں موسم کیسا ہے؟ ایک جملے میں جواب دیں۔',
});

console.log(text);

ماڈل weather ٹول کو کال کرتا ہے، نتیجہ حاصل کرتا ہے اور حتمی جواب تیار کرتا ہے۔ اس پورے چکر کی قیمت Gonka کے ذریعے تقریباً $0.000048 ہے، جبکہ Anthropic یا OpenAI پر یہ $0.03-$0.10 ہے۔ ایجنٹ ایپلی کیشنز کے لیے، جہاں ہر صارف کی ریکوسٹ 5 سے 10 مراحل میں پھیل جاتی ہے، پیداواری ماحول (production) میں اس سے ہر ماہ ہزاروں ڈالر کی بچت ہوتی ہے۔

اگر آپ Python پر AI ایپلی کیشن بنا رہے ہیں، تو LangChain کے لیے گائیڈ دیکھیں — وہاں بھی OpenAI-موافق کلاس کے ذریعے یہی طریقہ کار استعمال ہوتا ہے۔