Vercel AI SDK + Gonka AI — TypeScript での超低コスト AI アプリケーション

JoinGonka APIキー：gate.joingonka.ai/register で登録すると、開始時に3Mの無料トークンを進呈。Dashboardで jg- プレフィックスのキーを作成します。

パッケージのインストール。カスタムのOpenAI互換エンドポイントには、Vercel AI SDKは @ai-sdk/openai-compatible プロバイダーを推奨しています：

npm install ai @ai-sdk/openai-compatible

最小構成の接続 — createOpenAICompatible でプロバイダーインスタンスを作成し、generateText を呼び出します：

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY, // jg-your-key
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Explain what a decentralized inference network is',
});

console.log(text);

apiKey パラメータは Authorization: Bearer jg-your-key ヘッダーを自動的に追加するので、個別の設定は不要です。キーはコード内ではなく、環境変数 GONKA_API_KEY（例えば .env.local）に保存してください。

代替案 — @ai-sdk/openai パッケージと createOpenAI({ baseURL, apiKey }) ファクトリー。どちらの方法も使えますが、OpenAIに属さないエンドポイントには、AI SDKのドキュメントは @ai-sdk/openai-compatible を推奨しています — 余計なOpenAI特有の前提を持ち込まないからです。

Vercel AI SDKの最大の売りは、レスポンスのストリーミング配信です。streamText 関数はトークンを即座にストリーミングし始め、toUIMessageStreamResponse() ヘルパーがNext.js App Routerのroute handlerから直接ストリームを返します。

サーバーハンドラー app/api/chat/route.ts：

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText, convertToModelMessages, type UIMessage } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

// allow streaming for up to 30 seconds
export const maxDuration = 30;

export async function POST(req: Request) {
  const { messages }: { messages: UIMessage[] } = await req.json();

  const result = streamText({
    model: gonka('MiniMaxAI/MiniMax-M2.7'),
    system: 'You are a helpful assistant. Answer briefly and to the point.',
    messages: convertToModelMessages(messages),
    maxOutputTokens: 8192, // Gateway output cap
  });

  return result.toUIMessageStreamResponse();
}

クライアント側では @ai-sdk/react の useChat フックを接続するだけ。自動的に /api/chat を呼び出し、メッセージストリームをレンダリングします。バックエンドはOpenAIではなくGonkaにアクセスします。

UIなしのスクリプト（Node、ストリームのasyncイテレータ）：

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const result = streamText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  prompt: 'Write a haiku about distributed computing',
});

for await (const chunk of result.textStream) {
  process.stdout.write(chunk);
}

モデルパラメータ。Gatewayでは3つのモデルが利用可能です：MiniMax M2.7はコンテキスト180Kトークン、DeepSeek V4 Flashは380K、GLM-5.3 Flashは390K。応答の上限（maxOutputTokens）は、MiniMax M2.7とGLM-5.3 Flashが8192、DeepSeek V4 Flashが32768です：

• MiniMaxAI/MiniMax-M2.7 — デフォルト（MiniMax M2.7）；
• deepseek-ai/DeepSeek-V4-Flash-0731（DeepSeek V4 Flash、コンテキスト380K）；
• zai-org/GLM-5.3-Flash（GLM-5.3 Flash、reasoningモデル — 回答前に推論します）。

maxOutputTokens を指定しない場合、non-streamリクエストに対してGatewayはデフォルトで最大1500トークンを返します。ストリーミングチャットでは明示的に値を指定するのがおすすめです。

Vercel AI SDKは通常、アプリケーション内のチャット、エージェント、アシスタントなどのインタラクティブなUIの背後で使用されます。各メッセージは対話履歴を引き継ぎ、各エージェントステップはツールコンテキストを伴います。そのため、実際のコストは1回のリクエスト単位ではなく、本番環境の負荷に基づいて計算されます。一般的なシナリオを比較してみましょう：

JoinGonkaの価格は、入力1Mトークンあたり約$0.0062で、出力はその約3倍です。1日に数千リクエストを行うアプリケーションでは、数百ドルの請求と数セントの請求の差となります。無料の3Mトークンは、プロジェクトの初期リクエストを実行するのに十分な量です。

Vercel AI SDKは、toolsオブジェクトとzodスキーマを通じてツールを宣言的に定義します。ネットワーク上のモデルはネイティブのfunction callingをサポートしているため、AI SDKはテキスト応答をパースすることなく構造化されたtool_callsを受け取れます。stopWhen: stepCountIs(n)パラメータを使えば複数ステップを連続実行でき、モデルはツールを呼び出し、結果を受け取り、処理を続行します。

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText, tool, stepCountIs } from 'ai';
import { z } from 'zod';

const gonka = createOpenAICompatible({
  name: 'gonka',
  baseURL: 'https://gate.joingonka.ai/v1',
  apiKey: process.env.GONKA_API_KEY,
});

const { text } = await generateText({
  model: gonka('MiniMaxAI/MiniMax-M2.7'),
  stopWhen: stepCountIs(5),
  tools: {
    weather: tool({
      description: 'Get the weather in a city',
      inputSchema: z.object({ city: z.string() }),
      execute: async ({ city }) => ({ city, tempC: 17 }),
    }),
  },
  prompt: 'What is the weather in Moscow? Answer in one sentence.',
});

console.log(text);

モデルはweatherツールを呼び出し、結果を受け取って最終回答を生成します。このサイクル全体がGonka経由なら約$0.000048、AnthropicやOpenAIでは$0.03〜$0.10かかります。ユーザーの各リクエストが5〜10ステップに展開するエージェントアプリケーションでは、本番環境での節約額は月に数千ドル規模になります。

PythonでAIアプリを構築する場合は、LangChainのガイドをご覧ください。同じアプローチをOpenAI互換クラスで実現しています。