LlamaIndex + Gonka AI — RAG অ্যাপ্লিকেশন নগণ্য খরচে

JoinGonka API কী: gate.joingonka.ai/register-এ নিবন্ধন করুন — শুরুতে আমরা 3M বিনামূল্যের টোকেন দিই — এবং Dashboard-এ একটি jg-xxx কী তৈরি করুন।

ইনস্টলেশন:

pip install llama-index llama-index-llms-openai-like

যেকোনো OpenAI-সামঞ্জস্যপূর্ণ API-এর জন্য LlamaIndex llama_index.llms.openai_like প্যাকেজ থেকে OpenAILike ক্লাস প্রদান করে। Gonka-তে একটি ন্যূনতম অনুরোধের উদাহরণ:

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,            # Gonka is a chat endpoint
    is_function_calling_model=True, # native tool calling is supported
    context_window=180000,         # MiniMax M2.7 context window
    max_tokens=8192,               # Gateway output cap
)

response = llm.complete("Explain what RAG is in three sentences.")
print(response)

OpenAILike সম্পর্কে গুরুত্বপূর্ণ: অবশ্যই is_chat_model=True উল্লেখ করুন — নাহলে LlamaIndex কথোপকথনের বদলে কাঁচা প্রম্পট নিয়ে পুরনো Completions এন্ডপয়েন্টে যাবে। is_function_calling_model=True নেটিভ tool calls সক্রিয় করে। LlamaIndex যাতে সঠিকভাবে কনটেক্সট ভাগ করতে পারে, সেজন্য মডেল অনুযায়ী context_window সেট করুন।

LlamaIndex-এর ক্লাসিক দৃশ্যপট — আপনার ডকুমেন্টের উপর একটি ইনডেক্স তৈরি করে query_engine-এর মাধ্যমে সেটিতে কোয়েরি করা। গ্লোবাল LLM একবার Settings.llm দিয়ে সেট করা হয়, এরপর পুরো পাইপলাইন স্বয়ংক্রিয়ভাবে Gonka ব্যবহার করে।

from llama_index.core import (
    VectorStoreIndex,
    SimpleDirectoryReader,
    Settings,
)
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

# 1. LLM via Gonka (set once, globally)
Settings.llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    context_window=180000,
    max_tokens=8192,
)

# 2. Local embeddings (free, no OpenAI)
Settings.embed_model = HuggingFaceEmbedding(
    model_name="BAAI/bge-small-en-v1.5"
)

# 3. Load and index documents from the ./data folder
documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)

# 4. Query the knowledge base
query_engine = index.as_query_engine()
response = query_engine.query("What is this document about?")
print(response)

এমবেডিং সম্পর্কে একটি গুরুত্বপূর্ণ সূক্ষ্ম দিক: ডিফল্টভাবে VectorStoreIndex OpenAI-এর এমবেডিং (text-embedding-ada-002) ব্যবহার করে — এগুলো OpenAI-তে আলাদা সশুল্ক কল, Gonka-তে নয়। OpenAI থেকে সম্পূর্ণভাবে মুক্ত হতে Settings.embed_model-এর মাধ্যমে একটি লোকাল এমবেডিং মডেল সেট করুন (উপরের উদাহরণের মতো — HuggingFaceEmbedding, প্যাকেজ pip install llama-index-embeddings-huggingface)। তাহলে জেনারেশন চলবে Gonka-র মাধ্যমে, আর ভেক্টরাইজেশন হবে লোকালি ও বিনামূল্যে।

খরচ: একটি RAG-পাইপলাইন কোয়েরি (সার্চ + জেনারেশন) প্রায় 2–5K LLM টোকেন খরচ করে। Gonka-র মাধ্যমে এটি সেন্টের ভগ্নাংশ; OpenAI/Anthropic-এর মাধ্যমে 3–4 অর্ডার ম্যাগনিচিউড বেশি ব্যয়বহুল। দিনে হাজার হাজার কোয়েরির প্রবাহে পার্থক্যটি মাসে কয়েক হাজার ডলারের সাশ্রয়ে পরিণত হয়।

RAG অ্যাপ্লিকেশন একটি এককালীন চ্যাট নয়, বরং অনুরোধের একটি ধ্রুবক প্রবাহ: প্রতিটি ব্যবহারকারীর প্রশ্ন ২–৫K টোকেন LLM নিয়ে আসে (প্রশ্নটি নিজেই প্লাস পাওয়া কনটেক্সটের অংশ)। সাধারণ পরিমাণ এবং বিভিন্ন প্রোভাইডারে সেগুলোর খরচ হিসাব করা যাক। JoinGonka Gateway-এর মাধ্যমে Gonka-র মূল্য: ইনপুট ~$0.0062/1M, আউটপুট ×3।

বিনামূল্যের 3M টোকেনে RAG পাইপলাইনের প্রথম অনুরোধগুলো চালানো, একটি পরীক্ষামূলক কর্পাস সূচীকরণ এবং হাজার হাজার অনুরোধ চালানো সম্ভব — এবং এক পয়সাও খরচ না করে। Production পরিমাণে JoinGonka Gateway RAG-কে একটি ব্যয়বহুল সার্ভিস থেকে এমন একটি ব্যয়ের লাইনে পরিণত করে যা সম্পূর্ণভাবে উপেক্ষা করা যায়।

LlamaIndex শুধু ডকুমেন্টের ভিত্তিতে উত্তর দিতে পারে না, বরং টুলসহ এজেন্টও তৈরি করতে পারে। Gonka-র তিনটি মডেলই নেটিভ tool calling সাপোর্ট করে — এজেন্টরা টেক্সট পার্স না করেই ফাংশন স্ট্রাকচার্ডভাবে কল করতে পারে। টুলসহ একটি এজেন্টের উদাহরণ:

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=180000,
    max_tokens=8192,
)

def multiply(a: float, b: float) -> float:
    """Multiplies two numbers."""
    return a * b

agent = FunctionAgent(
    tools=[multiply],
    llm=llm,
    system_prompt="You are a helpful assistant. Use the tools for calculations.",
)

async def main():
    result = await agent.run("What is 1234 multiplied by 5678?")
    print(result)

asyncio.run(main())

মডেল নির্বাচন (model ফিল্ড এবং সংশ্লিষ্ট context_window / max_tokens সীমা):

Gateway-এর মাধ্যমে max_tokens সীমা — MiniMax M2.7 এবং GLM-5.3 Flash-এর জন্য 8192 পর্যন্ত, DeepSeek V4 Flash-এর জন্য 32768 পর্যন্ত। নন-স্ট্রিমিং রিকোয়েস্টে max_tokens সেট না থাকলে ডিফল্টভাবে 1500 টোকেন পর্যন্ত ফেরত আসে — RAG উত্তর ও এজেন্টিক ধাপের জন্য মানটি স্পষ্টভাবে দিন।

TypeScript: LlamaIndex.TS-এর জন্য মিরর পথ আছে — @llamaindex/openai প্যাকেজের OpenAI ক্লাস baseURL ও apiKey নেয় (বা OPENAI_BASE_URL / OPENAI_API_KEY ভেরিয়েবল পড়ে), তাই একই Gateway Node.js স্ট্যাকেও যুক্ত হয়। যদি Python ফ্রেমওয়ার্কেও AI অ্যাপ্লিকেশন বানান, তবে LangChain-এর গাইডও দেখুন।