LangChain + Gonka AI — অল্প খরচে এআই অ্যাপ্লিকেশন

ন্যূনতম উদাহরণ – ল্যাংচেইনকে গংকার সাথে সংযুক্ত করা:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-আপনার-কী",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
)

response = llm.invoke("RAG মানে কি ব্যাখ্যা কর")
print(response.content)

এইটুকুই। তিনটি লাইন – এবং আপনার LangChain প্রকল্পটি বিকেন্দ্রীভূত Gonka নেটওয়ার্কের মাধ্যমে খুব কম খরচে কাজ করছে।

নির্ভরতা ইনস্টল করুন:

pip install langchain langchain-openai

সুপারিশ: স্পষ্টভাবে max_tokens=2048 উল্লেখ করুন – এটি JoinGonka Gateway এর মাধ্যমে সর্বোচ্চ। Qwen3-235B এর কনটেক্সট উইন্ডো 128K টোকেন – RAG পাইপলাইনে chunk_size সেট করার সময় এটি মনে রাখবেন।

RAG (Retrieval-Augmented Generation) — এআই অ্যাপ্লিকেশনগুলির জন্য সবচেয়ে জনপ্রিয় প্যাটার্ন। আপনি ডকুমেন্ট আপলোড করেন, সেগুলিকে খণ্ডে বিভক্ত করেন, এম্বেডিং তৈরি করেন, প্রাসঙ্গিক অংশগুলি অনুসন্ধান করেন এবং প্রসঙ্গ সহ একটি উত্তর তৈরি করেন।

from langchain_openai import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. Gonka এর মাধ্যমে LLM
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-আপনার-কী",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    streaming=True,
)

# 2. ডকুমেন্ট লোড এবং ইনডেক্স করা
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. ভেক্টর স্টোর (স্থানীয়, বিনামূল্যে)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. RAG-চেইন
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. ক্যোয়ারী
result = qa.invoke("এই ডকুমেন্টটি কী সম্পর্কে?")
print(result["result"])

খরচ: RAG-পাইপলাইনের একটি অনুরোধ (retrieval + generation) ~2-5K LLM টোকেন ব্যবহার করে। Gonka এর মাধ্যমে এটি $0.000002-0.000005। OpenAI এর মাধ্যমে — $0.005-0.05। পার্থক্য — 10,000x।

প্রতিদিন হাজার হাজার অনুরোধ প্রক্রিয়াজাতকারী প্রোডাকশন সিস্টেমগুলির জন্য, মাসিক হাজার হাজার ডলার সাশ্রয় হয়।

LangChain সরঞ্জাম (tools) সহ এজেন্ট তৈরি করার সুযোগ দেয়। Qwen3-235B নেটিভ টুল কলিং সমর্থন করে — এজেন্টরা নির্ভরযোগ্যভাবে কাজ করে, টেক্সট অ্যানসার পার্সিং ছাড়াই।

from langchain_openai import ChatOpenAI
from langchain.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-আপনার-কী",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
)

@tool
def calculator(expression: str) -> str:
    """গণিতিক অভিব্যক্তি গণনা করে।"""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """ইন্টারনেটে তথ্য অনুসন্ধান করে।"""
    return f"অনুসন্ধানের ফলাফল: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "আপনি একজন দরকারী সহকারী।"),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "2**10 * 3.14 কত হবে?"})
print(result["output"])

এজেন্ট calculator কল করে, ফলাফল পায় এবং একটি উত্তর তৈরি করে। Gonka এর মাধ্যমে পুরো চক্রের খরচ ~$0.00001। OpenAI এর মাধ্যমে — $0.01-0.05। হাজার হাজার ব্যবহারকারী সহ সিস্টেমগুলির জন্য এটি হাজার হাজার ডলারের পার্থক্য।