LangChain + Gonka AI — ứng dụng AI giá rẻ

Ví dụ tối thiểu - kết nối LangChain với Gonka:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
)

response = llm.invoke("Giải thích RAG là gì")
print(response.content)

Chỉ vậy thôi. Ba dòng - và dự án LangChain của bạn hoạt động thông qua mạng lưới phi tập trung Gonka với giá rẻ.

Cài đặt phụ thuộc:

pip install langchain langchain-openai

Khuyến nghị: chỉ định rõ ràng max_tokens=2048 - đây là tối đa thông qua JoinGonka Gateway. Cửa sổ ngữ cảnh của Qwen3-235B là 128K token - hãy tính đến điều này khi định cấu hình chunk_size trong các pipeline RAG.

RAG (Retrieval-Augmented Generation) — mô hình ứng dụng AI phổ biến nhất. Tải tài liệu, chia thành các đoạn nhỏ, tạo nhúng, tìm các đoạn liên quan và tạo câu trả lời với ngữ cảnh.

from langchain_openai import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. LLM thông qua Gonka
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-khóa-của-bạn",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    streaming=True,
)

# 2. Tải và lập chỉ mục tài liệu
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. Kho lưu trữ vector (cục bộ, miễn phí)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. Chuỗi RAG
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. Truy vấn
result = qa.invoke("Tài liệu này nói về gì?")
print(result["result"])

Chi phí: một truy vấn RAG-pipeline (truy xuất + tạo) sử dụng ~2-5K token LLM. Qua Gonka, con số này là 0.000002-0.000005 USD. Qua OpenAI — 0.005-0.05 USD. Khác biệt — 10.000x.

Đối với các hệ thống sản xuất xử lý hàng nghìn truy vấn mỗi ngày, tiết kiệm hàng chục nghìn đô la mỗi tháng.

LangChain cho phép tạo tác nhân với các công cụ (tools). Qwen3-235B hỗ trợ tool calling gốc — các tác nhân hoạt động đáng tin cậy, không cần phân tích phản hồi văn bản.

from langchain_openai import ChatOpenAI
from langchain.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-khóa-của-bạn",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
)

@tool
def calculator(expression: str) -> str:
    """Tính toán biểu thức toán học."""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """Tìm kiếm thông tin trên internet."""
    return f"Kết quả tìm kiếm cho: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "Bạn là một trợ lý hữu ích."),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "2**10 * 3.14 là bao nhiêu?"})
print(result["output"])

Tác nhân gọi calculator, nhận kết quả và tạo câu trả lời. Toàn bộ chu trình có giá ~0.00001 USD thông qua Gonka. Qua OpenAI — 0.01-0.05 USD. Đối với các hệ thống có hàng nghìn người dùng, đây là sự khác biệt hàng chục nghìn đô la.