LangChain + Gonka AI — অল্প খরচে এআই অ্যাপ্লিকেশন

একটি মিনিমাল উদাহরণ — LangChain কে Gonka এর সাথে কানেক্ট করা:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-আপনার-কি",
    model="MiniMaxAI/MiniMax-M2.7",
)

response = llm.invoke("RAG কী তা ব্যাখ্যা করো")
print(response.content)

ব্যাস, এটুকুই। মাত্র তিনটি লাইন — এবং আপনার LangChain প্রজেক্টটি বিকেন্দ্রীভূত Gonka নেটওয়ার্ক ব্যবহার করে অতি কম খরচে চলছে।

ডিপেন্ডেন্সি ইন্সটলেশন:

pip install langchain langchain-openai

পরামর্শ: স্পষ্টভাবে max_tokens=8192 উল্লেখ করুন — নেটওয়ার্কের সকল মডেলের জন্য JoinGonka Gateway এর মাধ্যমে আউটপুট লিমিট এটাই। নেটওয়ার্ক মডেলগুলোর কনটেক্সট উইন্ডো ২০০K টোকেন — RAG পাইপলাইনে chunk_size সেট করার সময় এটি মাথায় রাখুন।

RAG (Retrieval-Augmented Generation) — AI-অ্যাপ্লিকেশনের সবচেয়ে জনপ্রিয় প্যাটার্ন। ডকুমেন্ট আপলোড করুন, সেগুলোকে চাঙ্কে ভাগ করুন, এম্বেডিং তৈরি করুন, প্রাসঙ্গিক অংশ খুঁজুন এবং কনটেক্সটসহ উত্তর জেনারেট করুন।

from langchain_openai import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. Gonka-এর মাধ্যমে LLM
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-আপনার-কী",
    model="MiniMaxAI/MiniMax-M2.7",
    streaming=True,
)

# 2. ডকুমেন্ট লোড এবং ইনডেক্সিং
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. ভেক্টর স্টোরেজ (লোকাল, ফ্রিতে)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. RAG-চেইন
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. কুয়েরি
result = qa.invoke("এই ডকুমেন্টে কী বলা হয়েছে?")
print(result["result"])

খরচ: একটি RAG-পাইপলাইন কুয়েরি (retrieval + generation) প্রায় ২-৫K LLM টোকেন ব্যবহার করে। Gonka-এর মাধ্যমে এটি $0.00001-0.000024। OpenAI-এর মাধ্যমে সেটি $0.005-0.05। পার্থক্য — ২,০০০ গুণ।

প্রতিদিন হাজার হাজার কুয়েরি প্রসেস করা প্রোডাকশন সিস্টেমের জন্য, এটি মাসে হাজার হাজার ডলার সাশ্রয় করতে পারে।

LangChain টুলের মাধ্যমে এজেন্ট তৈরি করতে দেয়। Kimi K2.6 নেটিভ টুল কলিং সাপোর্ট করে — এজেন্টরা কোনো টেক্সট পার্সিং ছাড়াই নির্ভরযোগ্যভাবে কাজ করে।

from langchain_openai import ChatOpenAI
from langchain.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-আপনার-কী",
    model="MiniMaxAI/MiniMax-M2.7",
)

@tool
def calculator(expression: str) -> str:
    """গাণিতিক এক্সপ্রেশন গণনা করে।"""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """ইন্টারনেটে তথ্য অনুসন্ধান করে।"""
    return f"অনুসন্ধানের ফলাফল: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "আপনি একজন সহায়ক অ্যাসিস্ট্যান্ট।"),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "2**10 * 3.14 কত হয়?"})
print(result["output"])

এজেন্ট `calculator` কল করে, ফলাফল পায় এবং উত্তর তৈরি করে। পুরো চক্রটি Gonka-এর মাধ্যমে প্রায় $0.00005 খরচ করে। OpenAI-এর ক্ষেত্রে এটি $0.01-0.05। হাজার হাজার ব্যবহারকারী আছে এমন সিস্টেমের জন্য এটি হাজার হাজার ডলারের পার্থক্য তৈরি করে।