LangChain + Gonka AI — ứng dụng AI giá rẻ

Ví dụ tối giản — kết nối LangChain với Gonka:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
)

response = llm.invoke("Explain what RAG is")
print(response.content)

Vậy là xong. Chỉ ba dòng — và dự án LangChain của bạn chạy qua mạng lưới phi tập trung Gonka với chi phí rẻ hơn nhiều lần.

Cài đặt phụ thuộc:

pip install langchain langchain-openai

Khuyến nghị: hãy chỉ định rõ max_tokens=8192 — đây là mức trần đầu ra qua JoinGonka Gateway cho MiniMax M2.7 và GLM-5.3 Flash (với DeepSeek V4 Flash — lên tới 32768). Cửa sổ ngữ cảnh — 200K token với MiniMax M2.7 (380K với DeepSeek V4 Flash, 390K với GLM-5.3 Flash) — hãy lưu ý điều này khi cấu hình chunk_size trong các pipeline RAG.

RAG (Retrieval-Augmented Generation) — mô hình AI application phổ biến nhất. Bạn tải tài liệu lên, chia thành các chunk, tạo embedding, tìm các đoạn liên quan và sinh câu trả lời kèm ngữ cảnh.

from langchain_openai import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. LLM via Gonka
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    streaming=True,
)

# 2. Load and index documents
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. Vector store (local, free)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. RAG chain
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. Query
result = qa.invoke("What is this document about?")
print(result["result"])

Chi phí: một truy vấn RAG pipeline (retrieval + generation) sử dụng ~2-5K token LLM. Qua Gonka là $0.00001-0.000024. Qua OpenAI — $0.005-0.05. Chênh lệch — 1.300x.

Với các production system xử lý hàng nghìn truy vấn mỗi ngày, khoản tiết kiệm lên đến hàng chục nghìn đô la mỗi tháng.

LangChain cho phép bạn tạo agent với các tool. Các model trong mạng hỗ trợ native tool calling — agent hoạt động đáng tin cậy, không cần parse văn bản trả lời.

from langchain_openai import ChatOpenAI
from langchain.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
)

@tool
def calculator(expression: str) -> str:
    """Evaluates a math expression."""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """Searches the web for information."""
    return f"Search results for: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a helpful assistant."),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "What is 2**10 * 3.14?"})
print(result["output"])

Agent gọi calculator, nhận kết quả và tạo câu trả lời. Toàn bộ vòng lặp tốn ~$0.00005 qua Gonka. Qua OpenAI — $0.01-0.05. Với các hệ thống có hàng nghìn người dùng, đây là chênh lệch hàng chục nghìn đô la.