पाइडांटिक AI + गोंका - बहुत कम लागत पर टाइप किए गए AI-एजेंट

सबसे पहले कुंजी लें: gate.joingonka.ai/register पर रजिस्टर करें — रजिस्ट्रेशन पर हम 3M मुफ़्त टोकन देते हैं — और Dashboard → API Keys में jg-xxx कुंजी बनाएँ।

इंस्टॉलेशन:

pip install pydantic-ai
# or the slim variant with only the OpenAI dependencies:
# pip install "pydantic-ai-slim[openai]"

न्यूनतम उदाहरण — Gonka के ज़रिए एक एजेंट। PydanticAI OpenAIProvider(base_url=..., api_key=...) के ज़रिए कस्टम endpoint सेट करता है, जिसे OpenAIChatModel में पास किया जाता है:

from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai import OpenAIProvider

model = OpenAIChatModel(
    "MiniMaxAI/MiniMax-M2.7",
    provider=OpenAIProvider(
        base_url="https://gate.joingonka.ai/v1",
        api_key="jg-your-key",
    ),
)

agent = Agent(model)

result = agent.run_sync("Explain in two sentences what PoUW is")
print(result.output)

बस इतना ही — आपका PydanticAI एजेंट विकेंद्रीकृत Gonka नेटवर्क के ज़रिए बेहद कम खर्च में चलता है। run_sync मेथड स्क्रिप्ट के लिए सुविधाजनक है; async कोड के लिए await agent.run(...) है।

मॉडल पैरामीटर: MiniMax M2.7 का कॉन्टेक्स्ट विंडो 180K टोकन (180000) है, DeepSeek V4 Flash का 380K, GLM-5.3 Flash का 390K; Gateway के ज़रिए जवाब की अधिकतम लंबाई MiniMax और GLM-5.3 Flash में 8192 टोकन तक, DeepSeek में 32768 तक। आउटपुट को मॉडल सेटिंग्स (OpenAIChatModelSettings(max_tokens=8192)) के ज़रिए सीमित किया जा सकता है। MiniMaxAI/MiniMax-M2.7, deepseek-ai/DeepSeek-V4-Flash-0731 और zai-org/GLM-5.3-Flash उपलब्ध हैं — बस OpenAIChatModel के पहले आर्ग्युमेंट में मॉडल का नाम बदलें।

PydanticAI चुनने की मुख्य वजह है — structured output। जवाब के टेक्स्ट को regex से पार्स करने के बजाय, आप नतीजे को Pydantic मॉडल के रूप में लिखते हैं और उसे output_type पैरामीटर में पास करते हैं। फ़्रेमवर्क मॉडल के tool calling का इस्तेमाल करके उसे स्कीमा के मुताबिक़ डेटा लौटाने पर मजबूर करता है, उसे वैलिडेट करता है और तैयार ऑब्जेक्ट result.output के ज़रिए देता है।

from pydantic import BaseModel
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai import OpenAIProvider

model = OpenAIChatModel(
    "MiniMaxAI/MiniMax-M2.7",
    provider=OpenAIProvider(
        base_url="https://gate.joingonka.ai/v1",
        api_key="jg-your-key",
    ),
)


class Profile(BaseModel):
    name: str
    role: str
    skills: list[str]


agent = Agent(model, output_type=Profile)

result = agent.run_sync(
    "Extract the data: Anna is a backend developer who knows Python, Go and Postgres"
)
print(result.output)
# name='Anna' role='backend developer' skills=['Python', 'Go', 'Postgres']
print(result.output.skills)  # ['Python', 'Go', 'Postgres'] — already a list[str], not text

यह इसलिए काम करता है क्योंकि Gonka के तीनों मॉडल (MiniMax M2.7, DeepSeek V4 Flash और GLM-5.3 Flash) नेटिव tool calling सपोर्ट करते हैं — PydanticAI वैध JSON स्ट्रक्चर लौटाने के लिए उसी पर निर्भर करता है। आउटपुट में आपको टाइप्ड Python ऑब्जेक्ट मिलता है, न कि ऐसा स्ट्रिंग जिसे हाथ से पार्स करना पड़े। डेटा एक्सट्रैक्शन, क्लासिफिकेशन, फ़ॉर्म भरने और RAG पाइपलाइनों के लिए एकदम सही, जहाँ नतीजा सख़्त फ़ॉर्मैट में आगे कोड तक जाना चाहिए।

PydanticAI उन एजेंट्स और पाइपलाइन्स के लिए एक फ्रेमवर्क है जो लगातार काम करते हैं: डेटा निकालना, टूल्स को कॉल करना, रिक्वेस्ट स्ट्रीम्स को प्रोसेस करना। यहाँ टोकन की लागत यह तय करती है कि प्रोजेक्ट प्रोटोटाइप बना रहेगा या production में जाएगा। आइए सामान्य वर्कलोड की तुलना करें:

अंतर सैकड़ों और हजारों गुना है। प्रोटोटाइप के लिए, इसका मतलब है कि 3M मुफ्त टोकन पहले कुछ रन के लिए पर्याप्त हैं। Production के लिए, जो दिन में लाखों रिक्वेस्ट हैंडल करता है, यह बचत महीने में हजारों डॉलर की है — उसी PydanticAI कोड के साथ, बस एक अलग base_url का उपयोग करके।

एक jg-xxx कुंजी और एक बैलेंस OpenAI फॉर्मेट (/v1) और Anthropic फॉर्मेट (/v1/messages) दोनों के लिए काम करते हैं — लेकिन PydanticAI के लिए ऊपर दिखाया गया OpenAI-कम्पैटिबल endpoint ही काफी है।

PydanticAI की दूसरी अहम क्षमता है — टूल्स। किसी फ़ंक्शन को @agent.tool_plain डेकोरेटर (बिना कॉन्टेक्स्ट) या @agent.tool (जिसमें RunContext और dependency injection तक पहुँच होती है) से रजिस्टर किया जा सकता है। मॉडल ख़ुद तय करता है कि टूल कब कॉल करना है, नतीजा पाता है और अपनी सोच आगे बढ़ाता है:

import random
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai import OpenAIProvider

model = OpenAIChatModel(
    "MiniMaxAI/MiniMax-M2.7",
    provider=OpenAIProvider(
        base_url="https://gate.joingonka.ai/v1",
        api_key="jg-your-key",
    ),
)

agent = Agent(
    model,
    instructions="You are an assistant. Use the tools when needed.",
)


@agent.tool_plain
def roll_dice() -> str:
    """Rolls a six-sided die and returns the result."""
    return str(random.randint(1, 6))


@agent.tool_plain
def calculator(expression: str) -> str:
    """Evaluates a math expression."""
    return str(eval(expression))


result = agent.run_sync("Roll the die and multiply the result by 7")
print(result.output)

चूँकि Gonka में tool calling नेटिव है, टूल्स भरोसेमंद तरीक़े से कॉल होते हैं — टेक्स्ट जवाबों की नाज़ुक पार्सिंग के बिना। पूरा चक्र (क्वेरी → tool कॉल → अंतिम जवाब) Gonka के ज़रिए लगभग $0.00007 का पड़ता है, जबकि OpenAI/Anthropic पर यह $0.04–0.22 है।

कौन सा मॉडल चुनें: MiniMaxAI/MiniMax-M2.7 — लंबी बातचीत और संतुलित कामों के लिए, आउटपुट 8192 तक। deepseek-ai/DeepSeek-V4-Flash-0731 — नेटवर्क के सबसे लंबे कॉन्टेक्स्ट में से एक (380K) और बड़े प्रॉम्प्ट सस्ते, आउटपुट 32768 तक। zai-org/GLM-5.3-Flash — जटिल सोच-विचार के लिए reasoning मॉडल और नेटवर्क का सबसे लंबा कॉन्टेक्स्ट (390K), आउटपुट 8192 तक; सोच-विचार max_tokens का हिस्सा खर्च करता है, इसे पर्याप्त रखें (600 से)। तीनों अभी एक ही कुंजी से उपलब्ध हैं — बस मॉडल की लाइन बदलनी है। इसी तरह के टूल्स: चेन और RAG के लिए LangChain, डेटा इंडेक्सिंग के लिए LlamaIndex।