LangChain + Gonka AI — ứng dụng AI giá rẻ

Ví dụ tối thiểu — kết nối LangChain với Gonka:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-khóa-của-bạn",
    model="MiniMaxAI/MiniMax-M2.7",
)

response = llm.invoke("Giải thích RAG là gì")
print(response.content)

Đó là tất cả. Ba dòng — và dự án LangChain của bạn hoạt động thông qua mạng lưới phi tập trung Gonka với chi phí cực thấp.

Cài đặt các phụ thuộc:

pip install langchain langchain-openai

Khuyến nghị: hãy chỉ định rõ ràng max_tokens=8192 — đây là giới hạn đầu ra thông qua JoinGonka Gateway cho tất cả các mô hình trong mạng lưới. Cửa sổ ngữ cảnh của các mô hình mạng lưới là 200K token — hãy lưu ý điều này khi cài đặt chunk_size trong các pipeline RAG.

RAG (Retrieval-Augmented Generation) — mô hình phổ biến nhất cho các ứng dụng AI. Bạn tải tài liệu lên, chia thành các đoạn (chunk), tạo embedding, tìm kiếm các đoạn liên quan và tạo phản hồi dựa trên ngữ cảnh.

from langchain_openai import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. LLM qua Gonka
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    streaming=True,
)

# 2. Tải và lập chỉ mục tài liệu
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. Vector store (cục bộ, miễn phí)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. RAG-chain
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. Truy vấn
result = qa.invoke("Tài liệu này nói về cái gì?")
print(result["result"])

Chi phí: một truy vấn RAG (retrieval + generation) sử dụng ~2-5K token LLM. Qua Gonka, chi phí chỉ là $0.00001-0.000024. Qua OpenAI — $0.005-0.05. Chênh lệch lên tới 1,300 lần.

Đối với các hệ thống production xử lý hàng nghìn yêu cầu mỗi ngày, số tiền tiết kiệm được lên tới hàng chục nghìn đô la mỗi tháng.

LangChain cho phép bạn tạo các tác nhân (agents) với các công cụ (tools). Kimi K2.6 hỗ trợ gọi công cụ (tool calling) tự nhiên — các tác nhân hoạt động tin cậy mà không cần phải phân tích phản hồi văn bản.

from langchain_openai import ChatOpenAI
from langchain.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-ваш-ключ",
    model="MiniMaxAI/MiniMax-M2.7",
)

@tool
def calculator(expression: str) -> str:
    """Tính toán biểu thức toán học."""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """Tìm kiếm thông tin trên internet."""
    return f"Kết quả tìm kiếm cho: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "Bạn là một trợ lý hữu ích."),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "2**10 nhân 3.14 bằng bao nhiêu?"})
print(result["output"])

Tác nhân gọi calculator, nhận kết quả và tạo phản hồi. Toàn bộ vòng lặp có giá khoảng ~$0.00005 thông qua Gonka. Thông qua OpenAI — $0.01-0.05. Đối với các hệ thống có hàng nghìn người dùng, đây là sự khác biệt hàng chục nghìn đô la.