LangChain + Gonka AI - แอปพลิเคชัน AI ในราคาที่ถูกมาก

ตัวอย่างแบบมินิมอล — เชื่อมต่อ LangChain เข้ากับ Gonka:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
)

response = llm.invoke("Explain what RAG is")
print(response.content)

เท่านี้เอง สามบรรทัด — โปรเจกต์ LangChain ของคุณก็ทำงานผ่านเครือข่ายแบบกระจายศูนย์ Gonkaในราคาถูกมาก

ติดตั้ง dependencies:

pip install langchain langchain-openai

คำแนะนำ: ระบุ max_tokens=8192 อย่างชัดเจน — นี่คือเพดานการตอบกลับผ่าน JoinGonka Gateway สำหรับ MiniMax M2.7 และ GLM-5.3 Flash (DeepSeek V4 Flash รับได้ถึง 32768) หน้าต่างบริบท — 200K โทเค็นสำหรับ MiniMax M2.7 (380K สำหรับ DeepSeek V4 Flash, 390K สำหรับ GLM-5.3 Flash) — โปรดคำนึงถึงเรื่องนี้เมื่อตั้งค่า chunk_size ในไปป์ไลน์ RAG

RAG (Retrieval-Augmented Generation) เป็นแพตเทิร์นที่ได้รับความนิยมสูงสุดสำหรับแอป AI คุณอัปโหลดเอกสาร แบ่งเป็นชังก์ สร้าง embedding ค้นหาส่วนที่เกี่ยวข้อง แล้วสร้างคำตอบพร้อมบริบท

from langchain_openai import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. LLM via Gonka
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    streaming=True,
)

# 2. Load and index documents
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. Vector store (local, free)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. RAG chain
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. Query
result = qa.invoke("What is this document about?")
print(result["result"])

ค่าใช้จ่าย: หนึ่งคำขอของไปป์ไลน์ RAG (retrieval + generation) ใช้โทเคน LLM ประมาณ 2-5K ผ่าน Gonka อยู่ที่ $0.00001-0.000024 ผ่าน OpenAI อยู่ที่ $0.005-0.05 ต่างกัน 1,300 เท่า

สำหรับระบบ production ที่ประมวลผลคำขอหลายพันรายการต่อวัน ประหยัดได้หลายหมื่นดอลลาร์ต่อเดือน

LangChain ช่วยให้คุณสร้างเอเจนต์ที่มีเครื่องมือ (tools) ได้ โมเดลในเครือข่ายรองรับ native tool calling — เอเจนต์ทำงานได้อย่างเสถียรโดยไม่ต้องแยกวิเคราะห์ข้อความตอบกลับ

from langchain_openai import ChatOpenAI
from langchain.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
)

@tool
def calculator(expression: str) -> str:
    """Evaluates a math expression."""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """Searches the web for information."""
    return f"Search results for: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a helpful assistant."),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "What is 2**10 * 3.14?"})
print(result["output"])

เอเจนต์เรียก calculator รับผลลัพธ์แล้วสร้างคำตอบ วงจรทั้งหมดมีค่าใช้จ่ายประมาณ $0.00005 ผ่าน Gonka ผ่าน OpenAI อยู่ที่ $0.01-0.05 สำหรับระบบที่มีผู้ใช้หลายพันคน นี่คือส่วนต่างหลายหมื่นดอลลาร์