पाइडांटिक AI + गोंका - बहुत कम लागत पर टाइप किए गए AI-एजेंट

सबसे पहले अपना कुंजी प्राप्त करें: gate.joingonka.ai/register पर रजिस्टर करें — साइन अप करने पर हम देते हैं 1.5M मुफ्त टोकन — और Dashboard → API Keys में जाकर jg-xxx कुंजी बनाएँ।

इंस्टॉलेशन:

pip install pydantic-ai
# या केवल OpenAI-निर्भरताओं के साथ हल्का विकल्प:
# pip install "pydantic-ai-slim[openai]"

न्यूनतम उदाहरण — Gonka के माध्यम से एक एजेंट। PydanticAI OpenAIProvider(base_url=..., api_key=...) के माध्यम से एक कस्टम endpoint सेट करता है, जिसे OpenAIChatModel में पास किया जाता है:

from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai import OpenAIProvider

model = OpenAIChatModel(
    "MiniMaxAI/MiniMax-M2.7",
    provider=OpenAIProvider(
        base_url="https://gate.joingonka.ai/v1",
        api_key="jg-your-key",
    ),
)

agent = Agent(model)

result = agent.run_sync("PoUW क्या है, दो वाक्यों में समझाएं")
print(result.output)

बस इतना ही — आपका PydanticAI एजेंट विकेंद्रीकृत Gonka नेटवर्क के माध्यम से बहुत कम लागत में चल रहा है। run_sync मेथड स्क्रिप्ट के लिए सुविधाजनक है; async-कोड के लिए await agent.run(...) का उपयोग करें।

मॉडल पैरामीटर्स: नेटवर्क मॉडल की कॉन्टेक्स्ट विंडो 200K टोकन (200000) है, DeepSeek V4 Flash के लिए 380K; Gateway के माध्यम से रिस्पांस की अधिकतम लंबाई 8192 टोकन तक है, DeepSeek के लिए 32768 तक। आउटपुट को मॉडल सेटिंग्स (OpenAIChatModelSettings(max_tokens=8192)) के जरिए सीमित किया जा सकता है। moonshotai/Kimi-K2.6, MiniMaxAI/MiniMax-M2.7 और deepseek-ai/DeepSeek-V4-Flash-0731 भी उपलब्ध हैं — बस OpenAIChatModel के पहले तर्क में मॉडल का नाम बदलना होगा।

PydanticAI को चुनने का मुख्य कारण structured output है। टेक्स्ट उत्तर को रेगुलर एक्सप्रेशन (regex) से पार्स करने के बजाय, आप परिणाम को Pydantic-मॉडल के रूप में वर्णित करते हैं और इसे output_type पैरामीटर में पास करते हैं। फ्रेमवर्क मॉडल के tool calling का उपयोग करता है, ताकि उसे डेटा को सख्ती से स्कीम के अनुसार वापस करने के लिए मजबूर किया जा सके, फिर यह उसे वैलिडेट करता है और result.output के माध्यम से एक तैयार ऑब्जेक्ट देता है।

from pydantic import BaseModel
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai import OpenAIProvider

model = OpenAIChatModel(
    "MiniMaxAI/MiniMax-M2.7",
    provider=OpenAIProvider(
        base_url="https://gate.joingonka.ai/v1",
        api_key="jg-आपकी-की",
    ),
)


class Profile(BaseModel):
    name: str
    role: str
    skills: list[str]


agent = Agent(model, output_type=Profile)

result = agent.run_sync(
    "डेटा निकालें: अन्ना — बैकएंड-डेवलपर, पायथन, गो और पोस्टग्रेस जानती हैं"
)
print(result.output)
# name='अन्ना' role='बैकएंड-डेवलपर' skills=['Python', 'Go', 'Postgres']
print(result.output.skills)  # ['Python', 'Go', 'Postgres'] — यह पहले से ही list[str] है, टेक्स्ट नहीं

यह काम करता है क्योंकि सभी तीन Gonka मॉडल (Kimi K2.6, MiniMax M2.7 और DeepSeek V4 Flash) नेटिव tool calling का समर्थन करते हैं — PydanticAI एक वैध JSON-स्ट्रक्चर वापस पाने के लिए इस पर निर्भर करता है। आउटपुट पर आपको एक टाइप्ड पायथन ऑब्जेक्ट मिलता है, न कि कोई स्ट्रिंग जिसे मैन्युअल रूप से पार्स करना हो। यह डेटा एक्सट्रैक्शन, क्लासिफिकेशन, फॉर्म भरने और RAG-पाइपलाइन के लिए आदर्श है, जहाँ परिणाम को सख्त प्रारूप में कोड के माध्यम से आगे बढ़ना चाहिए।

PydanticAI उन एजेंट्स और पाइपलाइन्स के लिए एक फ्रेमवर्क है जो लगातार काम करते हैं: डेटा निकालना, टूल्स को कॉल करना, रिक्वेस्ट स्ट्रीम्स को प्रोसेस करना। यहाँ टोकन की लागत यह तय करती है कि प्रोजेक्ट प्रोटोटाइप बना रहेगा या production में जाएगा। आइए सामान्य वर्कलोड की तुलना करें:

अंतर सैकड़ों और हजारों गुना है। प्रोटोटाइप के लिए, इसका मतलब है कि 1.5M मुफ्त टोकन पहले कुछ रन के लिए पर्याप्त हैं। Production के लिए, जो दिन में लाखों रिक्वेस्ट हैंडल करता है, यह बचत महीने में हजारों डॉलर की है — उसी PydanticAI कोड के साथ, बस एक अलग base_url का उपयोग करके।

एक jg-xxx कुंजी और एक बैलेंस OpenAI फॉर्मेट (/v1) और Anthropic फॉर्मेट (/v1/messages) दोनों के लिए काम करते हैं — लेकिन PydanticAI के लिए ऊपर दिखाया गया OpenAI-कम्पैटिबल endpoint ही काफी है।

PydanticAI की दूसरी महत्वपूर्ण क्षमता टूल्स है। आप किसी फ़ंक्शन को @agent.tool_plain (बिना कॉन्टेक्स्ट के) या @agent.tool (RunContext और डिपेंडेंसी इंजेक्शन के एक्सेस के साथ) डेकोरेटर का उपयोग करके रजिस्टर कर सकते हैं। मॉडल खुद तय करता है कि टूल को कब कॉल करना है, परिणाम प्राप्त करता है और तर्क जारी रखता है:

import random
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai import OpenAIProvider

model = OpenAIChatModel(
    "MiniMaxAI/MiniMax-M2.7",
    provider=OpenAIProvider(
        base_url="https://gate.joingonka.ai/v1",
        api_key="jg-ваш-ключ",
    ),
)

agent = Agent(
    model,
    instructions="Ты помощник. Используй инструменты, когда нужно.",
)


@agent.tool_plain
def roll_dice() -> str:
    """Бросает шестигранный кубик и возвращает результат."""
    return str(random.randint(1, 6))


@agent.tool_plain
def calculator(expression: str) -> str:
    """Вычисляет математическое выражение."""
    return str(eval(expression))


result = agent.run_sync("Брось кубик и умножь результат на 7")
print(result.output)

चूँकि Gonka पर टूल कॉलिंग नेटिव है, इसलिए टूल्स का उपयोग मज़बूती से होता है — टेक्स्ट रिस्पॉन्स को पार्स करने की जटिलता के बिना। पूरा चक्र (अनुरोध → टूल कॉल → अंतिम उत्तर) Gonka के माध्यम से लगभग $0.00007 का है, जबकि OpenAI/Anthropic पर यह $0.04–0.22 है।

कौन सा मॉडल चुनें: moonshotai/Kimi-K2.6 — कोडिंग और जटिल तर्क में मजबूत, 8192 तक आउटपुट। MiniMaxAI/MiniMax-M2.7 — लंबे संवादों और संतुलित कार्यों के लिए, 8192 तक आउटपुट। deepseek-ai/DeepSeek-V4-Flash-0731 — नेटवर्क का सबसे लंबा कॉन्टेक्स्ट (380K) और सस्ते बड़े प्रॉम्प्ट, 32768 तक आउटपुट। तीनों एक ही की (key) के साथ अभी उपलब्ध हैं — केवल मॉडल स्ट्रिंग बदलती है। संबंधित उपकरण: चेन और RAG के लिए LangChain, डेटा इंडेक्सिंग के लिए LlamaIndex।