पाइडांटिक AI + गोंका - बहुत कम लागत पर टाइप किए गए AI-एजेंट

सबसे पहले एक कुंजी प्राप्त करें: gate.joingonka.ai/register पर पंजीकरण करें - पंजीकरण पर हम 10M मुफ्त टोकन देते हैं - और डैशबोर्ड → API कुंजियां में jg-xxx कुंजी बनाएं।

स्थापना:

pip install pydantic-ai
# या केवल OpenAI-निर्भरताओं के साथ हल्का संस्करण:
# pip install "pydantic-ai-slim[openai]"

न्यूनतम उदाहरण - गोंका के माध्यम से एक एजेंट। पाइडांटिक AI OpenAIProvider(base_url=..., api_key=...) के माध्यम से एक कस्टम एंडपॉइंट सेट करता है, जिसे OpenAIChatModel में पास किया जाता है:

from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai import OpenAIProvider

model = OpenAIChatModel(
    "Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    provider=OpenAIProvider(
        base_url="https://gate.joingonka.ai/v1",
        api_key="jg-आपकी-कुंजी",
    ),
)

agent = Agent(model)

result = agent.run_sync("दो वाक्यों में समझाएं कि PoUW क्या है")
print(result.output)

यह सब है - आपका पाइडांटिक AI एजेंट गोंका (Gonka) के विकेन्द्रीकृत नेटवर्क के माध्यम से बहुत कम लागत पर काम कर रहा है। run_sync विधि स्क्रिप्ट के लिए सुविधाजनक है; async-कोड के लिए await agent.run(...) है।

मॉडल पैरामीटर्स: Qwen3-235B की संदर्भ विंडो - 128K टोकन (131072), गेटवे के माध्यम से उत्तर की अधिकतम लंबाई - 8192 टोकन तक। आउटपुट को मॉडल सेटिंग्स (OpenAIChatModelSettings(max_tokens=8192)) के माध्यम से सीमित किया जा सकता है। moonshotai/Kimi-K2.6 (3072 टोकन आउटपुट तक) और MiniMaxAI/MiniMax-M2.7 (4096 तक) भी उपलब्ध हैं - OpenAIChatModel के पहले तर्क में केवल मॉडल का नाम बदलना पर्याप्त है।

पाइडांटिक AI चुनने का मुख्य कारण संरचित आउटपुट है। उत्तर टेक्स्ट को रेगुलर एक्सप्रेशन से पार्स करने के बजाय, आप परिणाम को एक पाइडांटिक-मॉडल के रूप में वर्णित करते हैं और इसे output_type पैरामीटर में पास करते हैं। फ्रेमवर्क मॉडल के टूल कॉलिंग का उपयोग करता है ताकि इसे योजना के अनुसार डेटा लौटाने के लिए मजबूर किया जा सके, इसे मान्य करता है और result.output के माध्यम से पहले से तैयार वस्तु लौटाता है।

from pydantic import BaseModel
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai import OpenAIProvider

model = OpenAIChatModel(
    "Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    provider=OpenAIProvider(
        base_url="https://gate.joingonka.ai/v1",
        api_key="jg-आपकी-कुंजी",
    ),
)


class Profile(BaseModel):
    name: str
    role: str
    skills: list[str]


agent = Agent(model, output_type=Profile)

result = agent.run_sync(
    "डेटा निकालें: अन्ना एक बैकएंड डेवलपर है, पायथन, गो और पोस्टग्रेस जानती है"
)
print(result.output)
# name='अन्ना' role='बैकएंड-डेवलपर' skills=['पायथन', 'गो', 'पोस्टग्रेस']
print(result.output.skills)  # ['पायथन', 'गो', 'पोस्टग्रेस'] — पहले से ही list[str], टेक्स्ट नहीं

यह काम करता है क्योंकि Qwen3-235B (और अन्य दो गोंका मॉडल) मूल टूल कॉलिंग का समर्थन करते हैं - पाइडांटिक AI एक मान्य JSON-संरचना लौटाने के लिए इस पर निर्भर करता है। आउटपुट पर आपको एक टाइप किया हुआ पायथन ऑब्जेक्ट मिलता है, न कि एक स्ट्रिंग जिसे मैन्युअल रूप से पार्स करने की आवश्यकता होती है। डेटा एक्सट्रैक्शन, वर्गीकरण, फॉर्म भरने और RAG-पाइपलाइन के लिए आदर्श, जहां परिणाम कोड में एक सख्त प्रारूप में आगे बढ़ना चाहिए।

पाइडांटिक AI एजेंटों और पाइपलाइनों के लिए एक फ्रेमवर्क है जो लगातार काम करते हैं: डेटा निकालते हैं, उपकरण कॉल करते हैं, अनुरोध स्ट्रीम को संसाधित करते हैं। यहां टोकन की लागत यह तय करती है कि परियोजना एक प्रोटोटाइप रहेगी या उत्पादन में जाएगी। आइए विशिष्ट कार्यभार की तुलना करें:

अंतर सैकड़ों और हजारों गुना है। एक प्रोटोटाइप के लिए इसका मतलब है कि 10M मुफ्त टोकन एजेंट के सैकड़ों रनों के लिए पर्याप्त हैं। उत्पादन के लिए, जो प्रति दिन लाखों अनुरोधों को संसाधित करता है, एक ही पाइडांटिक AI कोड पर, केवल एक अलग base_url के साथ, बचत प्रति माह दसियों हज़ार डॉलर में होती है।

एक jg-xxx कुंजी और एक शेष राशि OpenAI-फ़ॉर्मेट (/v1) और एंथ्रोपिक-फ़ॉर्मेट (/v1/messages) दोनों के लिए काम करती है - लेकिन पाइडांटिक AI के लिए, ऊपर दिखाया गया OpenAI-संगत एंडपॉइंट पर्याप्त है।

पाइडांटिक AI की दूसरी प्रमुख क्षमता उपकरण हैं। एक फ़ंक्शन को @agent.tool_plain (बिना संदर्भ के) या @agent.tool (RunContext और डिपेंडेंसी इंजेक्शन तक पहुंच के साथ) डेकोरेटर के साथ पंजीकृत किया जा सकता है। मॉडल स्वयं तय करता है कि उपकरण कब कॉल करना है, परिणाम प्राप्त करता है और तर्क जारी रखता है:

import random
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai import OpenAIProvider

model = OpenAIChatModel(
    "Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    provider=OpenAIProvider(
        base_url="https://gate.joingonka.ai/v1",
        api_key="jg-आपकी-कुंजी",
    ),
)

agent = Agent(
    model,
    instructions="आप एक सहायक हैं। जरूरत पड़ने पर उपकरणों का उपयोग करें।",
)


@agent.tool_plain
def roll_dice() -> str:
    """छह-पक्षीय पासा फेंकता है और परिणाम लौटाता है।"""
    return str(random.randint(1, 6))


@agent.tool_plain
def calculator(expression: str) -> str:
    """गणितीय अभिव्यक्ति की गणना करता है।"""
    return str(eval(expression))


result = agent.run_sync("पासा फेंकें और परिणाम को 7 से गुणा करें")
print(result.output)

चूंकि गोंका की टूल कॉलिंग मूल है, इसलिए उपकरण विश्वसनीय रूप से कॉल किए जाते हैं - टेक्स्ट उत्तरों को भंगुर रूप से पार्स किए बिना। पूरा चक्र (अनुरोध → टूल कॉल → अंतिम उत्तर) गोंका के माध्यम से लगभग $0.00001 खर्च करता है, जबकि OpenAI/एंथ्रोपिक के साथ $0.04–0.22।

कौन सा मॉडल चुनें: Qwen/Qwen3-235B-A22B-Instruct-2507-FP8 - डिफ़ॉल्ट, गुणवत्ता का सबसे अच्छा संतुलन और सबसे बड़ी आउटपुट सीमा (8192)। moonshotai/Kimi-K2.6 कोडिंग और जटिल तर्क में मजबूत है (आउटपुट 3072 तक)। MiniMaxAI/MiniMax-M2.7 - लंबी बातचीत के लिए (आउटपुट 4096 तक)। तीनों एक ही कुंजी के साथ तुरंत उपलब्ध हैं - केवल मॉडल स्ट्रिंग बदलती है। समान भावना वाले उपकरण: श्रृंखला और RAG के लिए लैंगचेन (LangChain), डेटा अनुक्रमणिका के लिए लामाइंडेक्स (LlamaIndex)।