वेरसेल AI SDK + गोंका AI - बहुत कम लागत पर टाइपस्क्रिप्ट पर AI-अनुप्रयोग

JoinGonka API-की (key): gate.joingonka.ai/register पर रजिस्टर करें — शुरुआत में हम 10M फ्री टोकन देते हैं। डैशबोर्ड में jg- प्रीफिक्स के साथ एक की बनाएं।

पैकेज इंस्टॉलेशन। कस्टम OpenAI-संगत एंडपॉइंट के लिए Vercel AI SDK @ai-sdk/openai-compatible प्रदाता की सिफारिश करता है:

npm install ai @ai-sdk/openai-compatible

न्यूनतम कनेक्शन — createOpenAICompatible के माध्यम से प्रदाता का इंस्टेंस बनाएं और generateText कॉल करें:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY, // jg-ваш-ключ
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Объясни, что такое децентрализованная сеть инференса',
});

console.log(text);

apiKey पैरामीटर स्वचालित रूप से Authorization: Bearer jg-ваш-ключ हेडर जोड़ता है — अलग से कोई सेटअप करने की आवश्यकता नहीं है। की को कोड के बजाय GONKA_API_KEY पर्यावरण चर (जैसे .env.local में) में स्टोर करें।

विकल्प — createOpenAI({ baseURL, apiKey }) फैक्ट्री के साथ @ai-sdk/openai पैकेज। दोनों तरीके काम करते हैं; OpenAI के अलावा अन्य एंडपॉइंट्स के लिए, AI SDK दस्तावेज़ @ai-sdk/openai-compatible की सलाह देते हैं — यह बिना किसी अतिरिक्त OpenAI-विशिष्ट धारणाओं के काम करता है।

Vercel AI SDK की मुख्य विशेषता रिस्पॉन्स स्ट्रीमिंग है। streamText फंक्शन तुरंत टोकन स्ट्रीम करना शुरू कर देता है, और toUIMessageStreamResponse() हेल्पर सीधे Next.js App Router के रूट हैंडलर से स्ट्रीम प्रदान करता है।

सर्वर हैंडलर app/api/chat/route.ts:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText, convertToModelMessages, type UIMessage } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

// 30 सेकंड तक स्ट्रीमिंग की अनुमति दें
export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages }: { messages: UIMessage[] } = await req.json();

  const result = streamText({
    model: gonka('MiniMaxAI/MiniMax-M2.7'),
    system: 'आप एक उपयोगी सहायक हैं। संक्षिप्त और सटीक उत्तर दें।',
    messages: convertToModelMessages(messages),
    maxOutputTokens: 8192, // गेटवे के माध्यम से आउटपुट की सीमा
  });

  return result.toUIMessageStreamResponse();
}

क्लाइंट पर @ai-sdk/react से useChat हुक को कनेक्ट करें — यह स्वचालित रूप से /api/chat को कॉल करता है और मैसेज स्ट्रीम को रेंडर करता है। इस दौरान बैकएंड OpenAI के बजाय Gonka से बात करता है।

बिना UI वाली स्क्रिप्ट (Node, स्ट्रीम पर async-iterator):

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const result = streamText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'डिस्ट्रिब्यूटेड कंप्यूटिंग पर एक हाइकू लिखें',
});

for await (const chunk of result.textStream) {
  process.stdout.write(chunk);
}

मॉडल पैरामीटर्स। गेटवे के माध्यम से दो मॉडल उपलब्ध हैं, दोनों का कॉन्टेक्स्ट 200K टोकन है; रिस्पॉन्स लिमिट (maxOutputTokens) प्रत्येक के लिए 8192 तक है:

• moonshotai/Kimi-K2.6 — डिफ़ॉल्ट (Kimi K2.6);
• MiniMaxAI/MiniMax-M2.7 (MiniMax M2.7)।

यदि maxOutputTokens सेट नहीं है, तो नॉन-स्ट्रीम रिक्वेस्ट के लिए गेटवे डिफ़ॉल्ट रूप से 1500 टोकन तक लौटाएगा — स्ट्रीमिंग चैट्स के लिए मान को स्पष्ट रूप से निर्दिष्ट करना बेहतर है।

Vercel AI SDK आमतौर पर इंटरैक्टिव इंटरफ़ेस के पीछे होता है — जैसे चैट, एजेंट, या एप्लीकेशन में असिस्टेंट। प्रत्येक मैसेज संवाद का इतिहास खींचता है, एजेंट का प्रत्येक चरण टूल का कॉन्टेक्स्ट खींचता है। इसलिए वास्तविक लागत की गणना एक रिक्वेस्ट के बजाय प्रोडक्शन लोड द्वारा की जाती है। आइए विशिष्ट परिदृश्यों की तुलना करें:

JoinGonka की कीमत — इनपुट पर 1M टोकन के लिए लगभग $0.003, आउटपुट लगभग तीन गुना महंगा है। प्रति दिन हजारों रिक्वेस्ट वाली एप्लीकेशन के लिए, यह सैकड़ों डॉलर के बिल और सेंट (cents) के बिल के बीच का अंतर है। प्रोडक्शन में जाने से पहले प्रोजेक्ट को पूरी तरह से टेस्ट और डिबग करने के लिए 10M फ्री टोकन पर्याप्त हैं।

Vercel AI SDK उपकरणों को tools ऑब्जेक्ट और zod स्कीमा के माध्यम से घोषणात्मक (declaratively) रूप से वर्णित करता है। Kimi K2.6 नेटिव function calling को सपोर्ट करता है, इसलिए AI SDK टेक्स्ट प्रतिक्रियाओं को पार्स किए बिना संरचित tool_calls प्राप्त करता है। stopWhen: stepCountIs(n) पैरामीटर लगातार कई चरणों की अनुमति देता है — मॉडल एक टूल को कॉल करता है, परिणाम प्राप्त करता है और जारी रखता है।

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText, tool, stepCountIs } from 'ai';
import { z } from 'zod';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  stopWhen: stepCountIs(5),
  tools: {
    weather: tool({
      description: 'शहर में मौसम जानें',
      inputSchema: z.object({ city: z.string() }),
      execute: async ({ city }) => ({ city, tempC: 17 }),
    }),
  },
  prompt: 'मास्को में मौसम कैसा है? एक वाक्य में जवाब दें।',
});

console.log(text);

मॉडल weather टूल को कॉल करता है, परिणाम प्राप्त करता है और अंतिम उत्तर तैयार करता है। पूरा चक्र Gonka के माध्यम से लगभग $0.000048 खर्च करता है, जबकि Anthropic या OpenAI पर यह $0.03-0.10 है। उन एजेंट अनुप्रयोगों के लिए जहाँ प्रत्येक उपयोगकर्ता क्वेरी 5-10 चरणों में फैलती है, उत्पादन (production) में बचत प्रति माह हजारों डॉलर में मापी जाती है।

यदि आप Python पर AI-एप्लिकेशन बना रहे हैं, तो LangChain पर गाइड देखें — वहाँ OpenAI-संगत क्लास के माध्यम से यही तरीका उपयोग किया जाता है।