Vercel AI SDK + Gonka AI – KI-Anwendungen mit TypeScript für kleines Geld

JoinGonka API-Schlüssel: Registrieren Sie sich auf gate.joingonka.ai/register — zum Start schenken wir Ihnen 3M kostenlose Token. Erstellen Sie im Dashboard einen Schlüssel mit dem Präfix jg-.

Installation der Pakete. Für einen benutzerdefinierten OpenAI-kompatiblen Endpunkt empfiehlt das Vercel AI SDK den Provider @ai-sdk/openai-compatible:

npm install ai @ai-sdk/openai-compatible

Minimale Verbindung — wir erstellen eine Provider-Instanz über createOpenAICompatible und rufen generateText auf:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY, // jg-ihr-schlüssel
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Erkläre, was ein dezentrales Inference-Netzwerk ist',
});

console.log(text);

Der Parameter apiKey fügt automatisch den Header Authorization: Bearer jg-ihr-schlüssel hinzu — eine separate Konfiguration ist nicht erforderlich. Speichern Sie den Schlüssel in der Umgebungsvariablen GONKA_API_KEY (z.B. in der .env.local), nicht im Code.

Alternative — das Paket @ai-sdk/openai mit der Factory createOpenAI({ baseURL, apiKey }). Beide Wege funktionieren; für Endpunkte, die nicht von OpenAI stammen, empfiehlt die Dokumentation des AI SDK jedoch @ai-sdk/openai-compatible — es zieht keine unnötigen OpenAI-spezifischen Annahmen nach sich.

Das Hauptfeature des Vercel AI SDK ist das Streaming der Antworten. Die Funktion streamText beginnt sofort mit dem Streamen von Tokens, und der Helfer toUIMessageStreamResponse() gibt den fertigen Stream direkt aus einem Route-Handler im Next.js App Router aus.

Server-Handler app/api/chat/route.ts:

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText, convertToModelMessages, type UIMessage } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

// maximal 30 Sekunden Streaming erlauben
export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages }: { messages: UIMessage[] } = await req.json();

  const result = streamText({
    model: gonka('MiniMaxAI/MiniMax-M2.7'),
    system: 'Du bist ein hilfreicher Assistent. Antworte kurz und prägnant.',
    messages: convertToModelMessages(messages),
    maxOutputTokens: 8192, // Ausgabe-Limit über Gateway
  });

  return result.toUIMessageStreamResponse();
}

Auf dem Client binden Sie den Hook useChat aus @ai-sdk/react ein – dieser ruft automatisch /api/chat auf und rendert den Nachrichtenstrom. Das Backend greift dabei auf Gonka zu, nicht auf OpenAI.

Skript ohne UI (Node, async-Iterator über den Stream):

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const result = streamText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Schreibe ein Haiku über verteilte Systeme',
});

for await (const chunk of result.textStream) {
  process.stdout.write(chunk);
}

Modellparameter. Über das Gateway stehen drei Modelle zur Verfügung: 200K Kontext-Token für MiniMax M2.7, 380K für DeepSeek V4 Flash und 390K für GLM-5.3 Flash; das Antwortlimit (maxOutputTokens) beträgt 8192 für MiniMax M2.7 und GLM-5.3 Flash, 32768 für DeepSeek V4 Flash:

• MiniMaxAI/MiniMax-M2.7 — Standard (MiniMax M2.7);
• deepseek-ai/DeepSeek-V4-Flash-0731 (DeepSeek V4 Flash, 380K Kontext);
• zai-org/GLM-5.3-Flash (GLM-5.3 Flash, Reasoning-Modell — denkt vor der Antwort nach).

Wenn maxOutputTokens nicht gesetzt ist, gibt das Gateway bei Non-Stream-Anfragen standardmäßig bis zu 1500 Tokens zurück – für Streaming-Chats empfiehlt es sich, den Wert explizit anzugeben.

Das Vercel AI SDK befindet sich normalerweise hinter einem interaktiven Interface — Chat, Agent, Assistent in der Anwendung. Jede Nachricht zieht eine Dialoghistorie nach sich, jeder Agent-Schritt den Tool-Kontext. Daher werden die tatsächlichen Kosten nicht pro Anfrage, sondern nach der Produktionslast berechnet. Vergleichen wir typische Szenarien:

Der Preis von JoinGonka liegt bei etwa $0.0069 pro 1M Input-Token, die Ausgabe ist etwa dreimal teurer. Für eine Anwendung mit Tausenden von Anfragen pro Tag ist dies der Unterschied zwischen einer Rechnung über Hunderte von Dollar und einer Rechnung im Cent-Bereich. Die kostenlosen 3M Token reichen aus, um die ersten Projektanfragen durchzuführen.

Vercel AI SDK beschreibt Tools deklarativ über das tools-Objekt und das zod-Schema. Die Modelle im Netzwerk unterstützen natives Function Calling, daher empfängt das AI SDK strukturierte tool_calls ohne Text-Parsing. Der Parameter stopWhen: stepCountIs(n) erlaubt mehrere Schritte hintereinander – das Modell ruft ein Tool auf, erhält das Ergebnis und fährt fort.

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText, tool, stepCountIs } from 'ai';
import { z } from 'zod';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  stopWhen: stepCountIs(5),
  tools: {
    weather: tool({
      description: 'Das Wetter in der Stadt abrufen',
      inputSchema: z.object({ city: z.string() }),
      execute: async ({ city }) => ({ city, tempC: 17 }),
    }),
  },
  prompt: 'Wie ist das Wetter in Moskau? Antworte in einem Satz.',
});

console.log(text);

Das Modell ruft das weather-Tool auf, erhält das Ergebnis und formuliert die finale Antwort. Der gesamte Zyklus kostet über Gonka etwa $0.000048 gegenüber $0.03-0.10 bei Anthropic oder OpenAI. Für Agentenanwendungen, bei denen jede Nutzeranfrage in 5-10 Schritte zerlegt wird, belaufen sich die Einsparungen in der Produktion auf Tausende Dollar pro Monat.

Wenn Sie eine KI-Anwendung mit Python bauen, werfen Sie einen Blick auf den LangChain-Leitfaden – dort wird derselbe Ansatz über eine OpenAI-kompatible Klasse verfolgt.