Vercel AI SDK + Gonka AI – KI-Anwendungen mit TypeScript für kleines Geld

JoinGonka API-Schlüssel: Registrieren Sie sich unter gate.joingonka.ai/register – zu Beginn erhalten Sie 10 Mio. kostenlose Token. Im Dashboard erstellen Sie einen Schlüssel mit dem Präfix jg-.

Pakete installieren. Für einen benutzerdefinierten OpenAI-kompatiblen Endpunkt empfiehlt Vercel AI SDK den Anbieter @ai-sdk/openai-compatible:

npm install ai @ai-sdk/openai-compatible

Minimale Verbindung – wir erstellen eine Instanz des Anbieters über createOpenAICompatible und rufen generateText auf:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY, // jg-Ihr-Schlüssel
});

const { text } = await generateText({
  model: gonka('Qwen/Qwen3-235B-A22B-Instruct-2507-FP8'),
  prompt: 'Erklären Sie, was ein dezentrales Inferenznetzwerk ist',
});

console.log(text);

Der Parameter apiKey fügt automatisch den Header Authorization: Bearer jg-Ihr-Schlüssel hinzu – eine separate Konfiguration ist nicht erforderlich. Speichern Sie den Schlüssel in einer Umgebungsvariablen GONKA_API_KEY (z. B. in .env.local), nicht im Code.

Alternative – das Paket @ai-sdk/openai mit der Fabrik createOpenAI({ baseURL, apiKey }). Beide Methoden funktionieren; für Endpunkte, die nicht zu OpenAI gehören, empfiehlt die AI SDK-Dokumentation genau @ai-sdk/openai-compatible – es zieht keine unnötigen OpenAI-spezifischen Annahmen mit sich.

Das Hauptmerkmal des Vercel AI SDK ist die gestreamte Antwort. Die Funktion streamText beginnt sofort mit dem Streaming von Token, und der Helfer toUIMessageStreamResponse() gibt den fertigen Stream direkt vom Route Handler an den Next.js App Router zurück.

Server-Handler app/api/chat/route.ts:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText, convertToModelMessages, type UIMessage } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

// Streamen bis zu 30 Sekunden erlauben
export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages }: { messages: UIMessage[] } = await req.json();

  const result = streamText({
    model: gonka('Qwen/Qwen3-235B-A22B-Instruct-2507-FP8'),
    system: 'Du bist ein hilfreicher Assistent. Antworte kurz und prägnant.',
    messages: convertToModelMessages(messages),
    maxOutputTokens: 8192, // Schwellenwert für Qwen3-235B über Gateway
  });

  return result.toUIMessageStreamResponse();
}

Auf der Client-Seite hängen Sie den Hook useChat aus @ai-sdk/react ein – er greift selbst auf /api/chat zu und rendert den Nachrichtenstrom. Das Backend fragt dabei Gonka ab und nicht OpenAI.

Skript ohne UI (Node, async-Iterator über den Stream):

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const result = streamText({
  model: gonka('Qwen/Qwen3-235B-A22B-Instruct-2507-FP8'),
  prompt: 'Schreibe ein Haiku über verteilte Berechnungen',
});

for await (const chunk of result.textStream) {
  process.stdout.write(chunk);
}

Modellparameter. Über das Gateway sind drei Modelle verfügbar, alle mit einem Kontext von 128K Token; die Obergrenze für die Antwort (maxOutputTokens) variiert:

• Qwen/Qwen3-235B-A22B-Instruct-2507-FP8 – Standard, bis zu 8192 Ausgabetoken;
• moonshotai/Kimi-K2.6 – bis zu 3072 (Kimi K2.6);
• MiniMaxAI/MiniMax-M2.7 – bis zu 4096 (MiniMax M2.7).

Wenn maxOutputTokens nicht angegeben ist, gibt das Gateway für eine Nicht-Stream-Anfrage standardmäßig bis zu 1500 Token zurück – für Streaming-Chats sollte der Wert explizit angegeben werden.

Vercel AI SDK steht in der Regel hinter einer interaktiven Oberfläche – Chat, Agent, Assistent in der Anwendung. Jede Nachricht zieht den Dialogverlauf nach sich, jeder Agentenschritt den Kontext von Tools. Daher werden die tatsächlichen Kosten nicht pro Anfrage, sondern pro Produktionslast berechnet. Vergleichen wir typische Szenarien:

Der Preis von JoinGonka beträgt etwa 0,0005 $ pro 1 Mio. Token für die Eingabe, die Ausgabe ist etwa dreimal teurer. Für eine Anwendung mit Tausenden von Anfragen pro Tag ist dies der Unterschied zwischen einer Rechnung von Hunderten von Dollar und einer Rechnung von Cents. Die kostenlosen 10 Mio. Token reichen aus, um das Projekt vor dem Start in die Produktion vollständig zu durchlaufen und zu debuggen.

Das Vercel AI SDK beschreibt Tools deklarativ über ein tools-Objekt und ein zod-Schema. Qwen3-235B unterstützt native Funktion Calls, sodass das AI SDK strukturierte tool_calls ohne Parsing von Textantworten empfängt. Der Parameter stopWhen: stepCountIs(n) erlaubt mehrere Schritte hintereinander – das Modell ruft das Tool auf, erhält das Ergebnis und fährt fort.

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText, tool, stepCountIs } from 'ai';
import { z } from 'zod';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const { text } = await generateText({
  model: gonka('Qwen/Qwen3-235B-A22B-Instruct-2507-FP8'),
  stopWhen: stepCountIs(5),
  tools: {
    weather: tool({
      description: 'Wetter in der Stadt erfahren',
      inputSchema: z.object({ city: z.string() }),
      execute: async ({ city }) => ({ city, tempC: 17 }),
    }),
  },
  prompt: 'Wie ist das Wetter in Moskau? Antworte in einem Satz.',
});

console.log(text);

Das Modell ruft das Tool weather auf, erhält das Ergebnis und generiert die endgültige Antwort. Der gesamte Zyklus kostet über Gonka etwa 0,00001 $ gegenüber 0,03–0,10 $ bei Anthropic oder OpenAI. Für Agentenanwendungen, bei denen jede Benutzeranfrage in 5–10 Schritte zerlegt wird, beläuft sich die Einsparung in der Produktion auf Tausende von Dollar pro Monat.

Wenn Sie eine KI-Anwendung in Python erstellen, sehen Sie sich den Leitfaden zu LangChain an – dort gibt es den gleichen Ansatz über eine OpenAI-kompatible Klasse.