LangChain + Gonka AI – AI ایپلیکیشنز بہت کم قیمت پر

کم سے کم مثال — LangChain کو Gonka سے جوڑنا:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
)

response = llm.invoke("Explain what RAG is")
print(response.content)

بس اتنا ہی۔ تین لائنیں — اور آپ کا LangChain پروجیکٹ غیر مرکزی Gonka نیٹ ورک کے ذریعے بہت کم خرچ پر کام کرے گا۔

ڈیپنڈنسیاں انسٹال کریں:

pip install langchain langchain-openai

سفارش: واضح طور پر max_tokens=8192 دیں — یہ MiniMax M2.7 اور GLM-5.3 Flash کے لیے JoinGonka Gateway کے ذریعے آؤٹ پٹ کی حد ہے (DeepSeek V4 Flash کے لیے — 32768 تک)۔ کانٹیکسٹ ونڈو — MiniMax M2.7 میں 200K ٹوکنز (DeepSeek V4 Flash میں 380K، GLM-5.3 Flash میں 390K) — RAG پائپ لائنز میں chunk_size کنفگ کرتے وقت اسے مدنظر رکھیں۔

RAG (Retrieval-Augmented Generation) — AI ایپلیکیشنز کا سب سے مقبول پیٹرن۔ دستاویزات اپ لوڈ کریں، چنکس میں تقسیم کریں، ایمبیڈنگز بنائیں، متعلقہ حصے تلاش کریں اور سیاق و سباق کے ساتھ جواب تیار کریں۔

from langchain_openai import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. LLM via Gonka
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    streaming=True,
)

# 2. Load and index documents
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. Vector store (local, free)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. RAG chain
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. Query
result = qa.invoke("What is this document about?")
print(result["result"])

لاگت: ایک RAG پائپ لائن کی درخواست (retrieval + generation) میں تقریباً 2-5K LLM ٹوکنز استعمال ہوتے ہیں۔ Gonka کے ذریعے یہ $0.00001-0.000024 ہے۔ OpenAI کے ذریعے — $0.005-0.05۔ فرق — 1,300x۔

روزانہ ہزاروں درخواستیں سنبھالنے والے پروڈکشن سسٹمز کے لیے یہ بچت ماہانہ کئی ہزار ڈالرز بنتی ہے۔

LangChain کی مدد سے آپ ٹولز کے ساتھ ایجنٹس بنا سکتے ہیں۔ نیٹ ورک کے ماڈلز مقامی tool calling کو سپورٹ کرتے ہیں — ایجنٹس ٹیکسٹ جوابات پارس کیے بغیر قابلِ اعتماد انداز میں کام کرتے ہیں۔

from langchain_openai import ChatOpenAI
from langchain.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
)

@tool
def calculator(expression: str) -> str:
    """Evaluates a math expression."""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """Searches the web for information."""
    return f"Search results for: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a helpful assistant."),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "What is 2**10 * 3.14?"})
print(result["output"])

ایجنٹ calculator کو کال کرتا ہے، نتیجہ حاصل کرتا ہے اور جواب ترتیب دیتا ہے۔ Gonka کے ذریعے پورے سائیکل کی لاگت ~$0.00005 ہے۔ OpenAI کے ذریعے — $0.01-0.05۔ ہزاروں صارفین والے سسٹمز کے لیے یہ کئی ہزار ڈالرز کا فرق ہے۔