LangChain + Gonka AI — ứng dụng AI giá rẻ

Ví dụ tối thiểu — kết nối LangChain với Gonka:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-khóa-của-bạn",
    model="MiniMaxAI/MiniMax-M2.7",
)

response = llm.invoke("Giải thích RAG là gì")
print(response.content)

Đó là tất cả. Ba dòng — và dự án LangChain của bạn hoạt động thông qua mạng lưới phi tập trung Gonka với chi phí cực thấp.

Cài đặt các phụ thuộc:

pip install langchain langchain-openai

Khuyến nghị: hãy chỉ định rõ ràng max_tokens=8192 — đây là giới hạn đầu ra thông qua JoinGonka Gateway cho tất cả các mô hình trong mạng lưới. Cửa sổ ngữ cảnh của các mô hình mạng lưới là 200K token — hãy lưu ý điều này khi cài đặt chunk_size trong các pipeline RAG.

RAG (Retrieval-Augmented Generation) là mô hình phổ biến nhất cho các ứng dụng AI. Bạn tải tài liệu, chia nhỏ thành các đoạn (chunks), tạo embedding, tìm kiếm các phân đoạn liên quan và tạo phản hồi dựa trên ngữ cảnh.

from langchain_openai import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. LLM thông qua Gonka
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-ваш-ключ",
    model="MiniMaxAI/MiniMax-M2.7",
    streaming=True,
)

# 2. Tải và lập chỉ mục tài liệu
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. Vector storage (cục bộ, miễn phí)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. Chuỗi RAG
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. Truy vấn
result = qa.invoke("Tài liệu này nói về cái gì?")
print(result["result"])

Chi phí: Một truy vấn RAG pipeline (retrieval + generation) tiêu tốn khoảng 2-5K token LLM. Thông qua Gonka, chi phí chỉ là $0.00001-0.000024. Thông qua OpenAI — $0.005-0.05. Sự khác biệt lên tới 2,000 lần.

Đối với các hệ thống production xử lý hàng nghìn yêu cầu mỗi ngày, khoản tiết kiệm lên tới hàng chục nghìn đô la mỗi tháng.

LangChain cho phép bạn tạo các tác nhân (agents) với các công cụ (tools). Kimi K2.6 hỗ trợ gọi công cụ (tool calling) tự nhiên — các tác nhân hoạt động tin cậy mà không cần phải phân tích phản hồi văn bản.

from langchain_openai import ChatOpenAI
from langchain.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-ваш-ключ",
    model="MiniMaxAI/MiniMax-M2.7",
)

@tool
def calculator(expression: str) -> str:
    """Tính toán biểu thức toán học."""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """Tìm kiếm thông tin trên internet."""
    return f"Kết quả tìm kiếm cho: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "Bạn là một trợ lý hữu ích."),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "2**10 nhân 3.14 bằng bao nhiêu?"})
print(result["output"])

Tác nhân gọi calculator, nhận kết quả và tạo phản hồi. Toàn bộ vòng lặp có giá khoảng ~$0.00005 thông qua Gonka. Thông qua OpenAI — $0.01-0.05. Đối với các hệ thống có hàng nghìn người dùng, đây là sự khác biệt hàng chục nghìn đô la.