LangChain + Gonka AI — অল্প খরচে এআই অ্যাপ্লিকেশন

সবচেয়ে ছোট উদাহরণ — LangChain-কে Gonka-র সাথে সংযুক্ত করা:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
)

response = llm.invoke("Explain what RAG is")
print(response.content)

ব্যস। তিনটি লাইন — আর আপনার LangChain প্রজেক্ট ডিসেন্ট্রালাইজড Gonka নেটওয়ার্ক-এর মাধ্যমে নগণ্য খরচে কাজ করবে।

ডিপেন্ডেন্সি ইনস্টল:

pip install langchain langchain-openai

# for the RAG and agent examples below
pip install langchain-classic langchain-community langchain-text-splitters faiss-cpu sentence-transformers

উদাহরণগুলোর ইমপোর্ট LangChain 1.x-এর জন্য দেওয়া (১.৪ সংস্করণে যাচাই করা): সাবেক চেইন ও AgentExecutor এতে langchain-classic প্যাকেজে থাকে, আর টেক্সট স্প্লিটিং থাকে langchain-text-splitters-এ।

পরামর্শ: স্পষ্টভাবে max_tokens=8192 দিন — JoinGonka Gateway দিয়ে MiniMax M2.7 ও GLM-5.3 Flash-এর আউটপুট সীমা এটাই (DeepSeek V4 Flash-এ — 32768 পর্যন্ত)। কনটেক্সট উইন্ডো — MiniMax M2.7-এ 200K টোকেন (DeepSeek V4 Flash-এ 380K, GLM-5.3 Flash-এ 390K) — RAG পাইপলাইনে chunk_size সেট করার সময় এটি মাথায় রাখুন।

RAG (Retrieval-Augmented Generation) — AI অ্যাপ্লিকেশনের সবচেয়ে জনপ্রিয় প্যাটার্ন। ডকুমেন্ট লোড করুন, চাঙ্কে ভাগ করুন, এমবেডিং তৈরি করুন, প্রাসঙ্গিক অংশ খুঁজুন এবং কনটেক্সটসহ উত্তর জেনারেট করুন।

from langchain_openai import ChatOpenAI
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_classic.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. LLM via Gonka
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    streaming=True,
)

# 2. Load and index documents
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. Vector store (local, free)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. RAG chain
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. Query
result = qa.invoke("What is this document about?")
print(result["result"])

খরচ: একটি RAG পাইপলাইনের রিকোয়েস্ট (retrieval + generation) ~2-5K LLM টোকেন ব্যবহার করে। Gonka-র মাধ্যমে এটি $0.00001-0.000024। OpenAI-র মাধ্যমে — $0.005-0.05। পার্থক্য — 1,300x।

দিনে হাজার হাজার রিকোয়েস্ট প্রসেস করা প্রোডাকশন সিস্টেমের জন্য সঞ্চয় দাঁড়ায় মাসে কয়েক হাজার ডলারে।

LangChain দিয়ে টুলসহ (tools) এজেন্ট তৈরি করা যায়। নেটওয়ার্কের মডেলগুলো নেটিভ tool calling সাপোর্ট করে — এজেন্টগুলো টেক্সট রেসপন্স পার্স না করেই নির্ভরযোগ্যভাবে কাজ করে।

from langchain_openai import ChatOpenAI
from langchain_classic.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain_core.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
)

@tool
def calculator(expression: str) -> str:
    """Evaluates a math expression."""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """Searches the web for information."""
    return f"Search results for: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a helpful assistant."),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "What is 2**10 * 3.14?"})
print(result["output"])

এজেন্ট calculator কল করে, ফলাফল পায় এবং উত্তর তৈরি করে। Gonka-র মাধ্যমে পুরো সাইকেলের খরচ ~$0.00005। OpenAI-র মাধ্যমে — $0.01-0.05। হাজার হাজার ইউজারের সিস্টেমে এটি কয়েক হাজার ডলারের পার্থক্য।