वेरसेल AI SDK + गोंका AI - बहुत कम लागत पर टाइपस्क्रिप्ट पर AI-अनुप्रयोग

जॉइनगोंका API कुंजी: gate.joingonka.ai/register पर पंजीकरण करें - शुरुआत में हम 10M मुफ्त टोकन देते हैं। डैशबोर्ड में jg- उपसर्ग के साथ एक कुंजी बनाएं।

पैकेजों की स्थापना। कस्टम OpenAI-संगत एंडपॉइंट के लिए, वेरसेल AI SDK @ai-sdk/openai-compatible प्रदाता की सलाह देता है:

npm install ai @ai-sdk/openai-compatible

न्यूनतम कनेक्शन - createOpenAICompatible के माध्यम से प्रदाता का एक इंस्टेंस बनाएं और generateText को कॉल करें:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY, // jg-आपकी-कुंजी
});

const { text } = await generateText({
  model: gonka('Qwen/Qwen3-235B-A22B-Instruct-2507-FP8'),
  prompt: 'समझाएं कि एक विकेन्द्रीकृत अनुमान नेटवर्क क्या है',
});

console.log(text);

apiKey पैरामीटर स्वचालित रूप से Authorization: Bearer jg-आपकी-कुंजी हेडर जोड़ता है - अलग से कॉन्फ़िगरेशन की आवश्यकता नहीं है। कुंजी को GONKA_API_KEY पर्यावरण चर में संग्रहीत करें (उदाहरण के लिए, .env.local में), न कि कोड में।

विकल्प - createOpenAI({ baseURL, apiKey }) फ़ैक्टरी के साथ @ai-sdk/openai पैकेज। दोनों तरीके काम करते हैं; ऐसे एंडपॉइंट्स के लिए जो OpenAI के नहीं हैं, AI SDK दस्तावेज़ विशेष रूप से @ai-sdk/openai-compatible की सलाह देता है - यह अनावश्यक OpenAI-विशिष्ट मान्यताओं को नहीं खींचता है।

वेरसेल AI SDK की मुख्य विशेषता उत्तर का स्ट्रीमिंग आउटपुट है। streamText फ़ंक्शन तुरंत टोकन स्ट्रीम करना शुरू कर देता है, और toUIMessageStreamResponse() हेल्पर Next.js ऐप राउटर में रूट हैंडलर से सीधे तैयार स्ट्रीम लौटाता है।

सर्वर हैंडलर app/api/chat/route.ts:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText, convertToModelMessages, type UIMessage } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

// 30 सेकंड तक स्ट्रीम करने की अनुमति दें
export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages }: { messages: UIMessage[] } = await req.json();

  const result = streamText({
    model: gonka('Qwen/Qwen3-235B-A22B-Instruct-2507-FP8'),
    system: 'आप एक उपयोगी सहायक हैं। संक्षेप में और बिंदु पर उत्तर दें।',
    messages: convertToModelMessages(messages),
    maxOutputTokens: 8192, // गेटवे के माध्यम से Qwen3-235B की सीमा
  });

  return result.toUIMessageStreamResponse();
}

क्लाइंट पर, @ai-sdk/react से useChat हुक कनेक्ट करें - यह स्वयं /api/chat को कॉल करता है और संदेशों की स्ट्रीम को रेंडर करता है। बैकएंड इस बीच गोंका में जाता है, OpenAI में नहीं।

बिना UI की स्क्रिप्ट (नोड, स्ट्रीम पर एसिंक-इटररेटर):

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const result = streamText({
  model: gonka('Qwen/Qwen3-235B-A22B-Instruct-2507-FP8'),
  prompt: 'एक हाइकु लिखें वितरित कंप्यूटिंग के बारे में',
});

for await (const chunk of result.textStream) {
  process.stdout.write(chunk);
}

मॉडल पैरामीटर्स। गेटवे के माध्यम से तीन मॉडल उपलब्ध हैं, सभी का संदर्भ 128K टोकन है; आउटपुट की सीमा (maxOutputTokens) भिन्न होती है:

• Qwen/Qwen3-235B-A22B-Instruct-2507-FP8 - डिफ़ॉल्ट, 8192 टोकन आउटपुट तक;
• moonshotai/Kimi-K2.6 - 3072 तक (Kimi K2.6);
• MiniMaxAI/MiniMax-M2.7 - 4096 तक (MiniMax M2.7)।

यदि maxOutputTokens निर्दिष्ट नहीं है, तो गैर-स्ट्रीम अनुरोध के लिए गेटवे डिफ़ॉल्ट रूप से 1500 टोकन तक लौटाएगा - स्ट्रीमिंग चैट के लिए मान स्पष्ट रूप से निर्दिष्ट करना बेहतर है।

वेरसेल AI SDK आमतौर पर एक इंटरेक्टिव इंटरफ़ेस के पीछे होता है - एक चैट, एक एजेंट, एक एप्लिकेशन में एक सहायक। प्रत्येक संदेश बातचीत इतिहास को खींचता है, एजेंट का प्रत्येक चरण - उपकरणों का संदर्भ। इसलिए, वास्तविक लागत की गणना एक अनुरोध के आधार पर नहीं, बल्कि उत्पादन के भार के आधार पर की जाती है। आइए विशिष्ट परिदृश्यों की तुलना करें:

जॉइनगोंका की कीमत - इनपुट पर 1M टोकन के लिए लगभग $0.0005 है, आउटपुट लगभग तीन गुना अधिक महंगा है। प्रति दिन हजारों अनुरोधों वाले एप्लिकेशन के लिए, यह सैकड़ों डॉलर के बिल और कुछ सेंट के बिल के बीच का अंतर है। 10M मुफ्त टोकन उत्पादन में जाने से पहले परियोजना को पूरी तरह से चलाने और डिबग करने के लिए पर्याप्त हैं।

वेरसेल AI SDK tools ऑब्जेक्ट और zod योजना के माध्यम से उपकरणों का घोषणात्मक रूप से वर्णन करता है। Qwen3-235B मूल फ़ंक्शन कॉलिंग का समर्थन करता है, इसलिए AI SDK टेक्स्ट उत्तरों को पार्स किए बिना संरचित tool_calls प्राप्त करता है। stopWhen: stepCountIs(n) पैरामीटर लगातार कई चरणों की अनुमति देता है - मॉडल उपकरण को कॉल करता है, परिणाम प्राप्त करता है और जारी रखता है।

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText, tool, stepCountIs } from 'ai';
import { z } from 'zod';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const { text } = await generateText({
  model: gonka('Qwen/Qwen3-235B-A22B-Instruct-2507-FP8'),
  stopWhen: stepCountIs(5),
  tools: {
    weather: tool({
      description: 'शहर में मौसम जानें',
      inputSchema: z.object({ city: z.string() }),
      execute: async ({ city }) => ({ city, tempC: 17 }),
    }),
  },
  prompt: 'मॉस्को में मौसम कैसा है? एक वाक्य में उत्तर दें।',
});

console.log(text);

मॉडल weather उपकरण को कॉल करता है, परिणाम प्राप्त करता है और अंतिम उत्तर बनाता है। पूरा चक्र गोंका के माध्यम से लगभग $0.00001 खर्च करता है, जबकि एंथ्रोपिक या OpenAI के साथ $0.03-0.10। एजेंट अनुप्रयोगों के लिए, जहां उपयोगकर्ता का प्रत्येक अनुरोध 5-10 चरणों में बदल जाता है, उत्पादन में बचत प्रति माह हजारों डॉलर में मापी जाती है।

यदि आप पायथन पर AI-एप्लिकेशन बना रहे हैं, तो लैंगचेन (LangChain) के लिए गाइड देखें - वहां OpenAI-संगत क्लास के माध्यम से भी यही दृष्टिकोण है।