वेरसेल AI SDK + गोंका AI - बहुत कम लागत पर टाइपस्क्रिप्ट पर AI-अनुप्रयोग

JoinGonka API कुंजी: gate.joingonka.ai/register पर रजिस्टर करें — शुरुआत में हम 3M मुफ़्त टोकन देते हैं। Dashboard में jg- प्रीफ़िक्स वाली कुंजी बनाएँ।

पैकेज इंस्टॉल करना। कस्टम OpenAI-संगत एंडपॉइंट के लिए Vercel AI SDK @ai-sdk/openai-compatible प्रोवाइडर की सलाह देता है:

npm install ai @ai-sdk/openai-compatible

न्यूनतम कनेक्शन — createOpenAICompatible से प्रोवाइडर इंस्टेंस बनाएँ और generateText कॉल करें:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY, // jg-your-key
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Explain what a decentralized inference network is',
});

console.log(text);

apiKey पैरामीटर अपने आप Authorization: Bearer jg-your-key हेडर जोड़ देता है — अलग से कॉन्फ़िगर करने की ज़रूरत नहीं। कुंजी को कोड में नहीं, बल्कि एनवायरनमेंट वेरिएबल GONKA_API_KEY में रखें (जैसे .env.local में)।

विकल्प — @ai-sdk/openai पैकेज, createOpenAI({ baseURL, apiKey }) फ़ैक्ट्री के साथ। दोनों तरीके काम करते हैं; OpenAI के नहीं वाले एंडपॉइंट के लिए AI SDK का डॉक्युमेंटेशन ठीक @ai-sdk/openai-compatible की सलाह देता है — यह फ़ालतू OpenAI-विशिष्ट मान्यताएँ नहीं जोड़ता।

Vercel AI SDK की सबसे बड़ी खासियत है स्ट्रीमिंग जवाब। streamText फ़ंक्शन तुरंत टोकन स्ट्रीम करना शुरू कर देता है, और toUIMessageStreamResponse() हेल्पर Next.js App Router में route handler से सीधे तैयार स्ट्रीम लौटा देता है।

सर्वर हैंडलर app/api/chat/route.ts:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText, convertToModelMessages, type UIMessage } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

// allow streaming for up to 30 seconds
export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages }: { messages: UIMessage[] } = await req.json();

  const result = streamText({
    model: gonka('MiniMaxAI/MiniMax-M2.7'),
    system: 'You are a helpful assistant. Answer briefly and to the point.',
    messages: convertToModelMessages(messages),
    maxOutputTokens: 8192, // Gateway output cap
  });

  return result.toUIMessageStreamResponse();
}

क्लाइंट पर @ai-sdk/react से useChat हुक जोड़ें — यह ख़ुद /api/chat से बात करता है और संदेशों की स्ट्रीम रेंडर करता है। बैकएंड यहाँ OpenAI नहीं, Gonka से जुड़ता है।

बिना UI की स्क्रिप्ट (Node, स्ट्रीम पर async इटरेटर):

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const result = streamText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Write a haiku about distributed computing',
});

for await (const chunk of result.textStream) {
  process.stdout.write(chunk);
}

मॉडल पैरामीटर। Gateway के ज़रिए तीन मॉडल उपलब्ध हैं: MiniMax M2.7 में 180K टोकन का कॉन्टेक्स्ट, DeepSeek V4 Flash में 380K और GLM-5.3 Flash में 390K; जवाब की ऊपरी सीमा (maxOutputTokens) — MiniMax M2.7 और GLM-5.3 Flash में 8192, DeepSeek V4 Flash में 32768:

• MiniMaxAI/MiniMax-M2.7 — डिफ़ॉल्ट (MiniMax M2.7);
• deepseek-ai/DeepSeek-V4-Flash-0731 (DeepSeek V4 Flash, कॉन्टेक्स्ट 380K);
• zai-org/GLM-5.3-Flash (GLM-5.3 Flash, reasoning मॉडल — जवाब से पहले सोचता है)।

अगर maxOutputTokens सेट नहीं है, तो non-stream रिक्वेस्ट के लिए Gateway डिफ़ॉल्ट रूप से 1500 टोकन तक लौटाता है — स्ट्रीमिंग चैट में बेहतर है कि मान साफ़-साफ़ बताएँ।

Vercel AI SDK आमतौर पर इंटरैक्टिव इंटरफेस के पीछे होता है — चैट, एजेंट, एप्लिकेशन में असिस्टेंट। प्रत्येक संदेश संवाद के इतिहास को खींचता है, एजेंट का प्रत्येक चरण — टूल्स का संदर्भ। इसलिए वास्तविक लागत एक अनुरोध के बजाय प्रोडक्शन लोड के आधार पर गिनी जाती है। आइए सामान्य परिदृश्यों की तुलना करें:

JoinGonka की कीमत — इनपुट पर 1M टोकन के लिए लगभग $0.0062, आउटपुट लगभग तीन गुना महंगा है। प्रति दिन हजारों अनुरोध वाले एप्लिकेशन के लिए यह सैकड़ों डॉलर के बिल और सेंट के बिल के बीच का अंतर है। 3M मुफ्त टोकन प्रोजेक्ट के पहले अनुरोधों को चलाने के लिए पर्याप्त हैं।

Vercel AI SDK टूल्स को tools ऑब्जेक्ट और zod स्कीमा के ज़रिए डिक्लेरेटिव तरीके से परिभाषित करता है। नेटवर्क के मॉडल्स नेटिव function calling सपोर्ट करते हैं, इसलिए AI SDK को स्ट्रक्चर्ड tool_calls मिलते हैं — टेक्स्ट रिस्पॉन्स पार्स करने की ज़रूरत नहीं। stopWhen: stepCountIs(n) पैरामीटर एक के बाद एक कई स्टेप्स की इजाज़त देता है — मॉडल टूल कॉल करता है, नतीजा पाता है और आगे बढ़ता है।

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText, tool, stepCountIs } from 'ai';
import { z } from 'zod';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  stopWhen: stepCountIs(5),
  tools: {
    weather: tool({
      description: 'Get the weather in a city',
      inputSchema: z.object({ city: z.string() }),
      execute: async ({ city }) => ({ city, tempC: 17 }),
    }),
  },
  prompt: 'What is the weather in Moscow? Answer in one sentence.',
});

console.log(text);

मॉडल weather टूल कॉल करता है, नतीजा पाता है और फ़ाइनल जवाब बनाता है। Gonka के ज़रिए पूरे साइकल की लागत लगभग $0.000048 है, जबकि Anthropic या OpenAI पर यह $0.03-0.10 पड़ती है। एजेंटिक ऐप्स में, जहाँ हर यूज़र रिक्वेस्ट 5-10 स्टेप्स में खुलती है, प्रोडक्शन पर बचत हर महीने हज़ारों डॉलर में नापी जाती है।

अगर आप Python में AI ऐप बना रहे हैं, तो LangChain की गाइड देखें — वहाँ भी OpenAI-कम्पैटिबल क्लास के ज़रिए यही अप्रोच है।