LangChain + Gonka AI — 便宜的 AI 应用程序

最简示例——将 LangChain 连接到 Gonka：

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
)

response = llm.invoke("Explain what RAG is")
print(response.content)

就这么简单。三行代码——你的 LangChain 项目就能以极低成本通过去中心化 Gonka 网络运行。

安装依赖：

pip install langchain langchain-openai

建议：显式设置 max_tokens=8192——这是通过 JoinGonka Gateway 使用 MiniMax M2.7 和 GLM-5.3 Flash 时的输出上限（DeepSeek V4 Flash 最高可达 32768）。上下文窗口为：MiniMax M2.7 为 200K token（DeepSeek V4 Flash 为 380K，GLM-5.3 Flash 为 390K）——在 RAG 流水线中设置 chunk_size 时请考虑这一点。

RAG（Retrieval-Augmented Generation，检索增强生成）是最流行的 AI 应用模式。你加载文档、切分成块、生成嵌入、检索相关片段，并结合上下文生成回答。

from langchain_openai import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. LLM via Gonka
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    streaming=True,
)

# 2. Load and index documents
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. Vector store (local, free)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. RAG chain
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. Query
result = qa.invoke("What is this document about?")
print(result["result"])

成本：一次 RAG 流水线请求（检索 + 生成）约消耗 2-5K LLM token。通过 Gonka 只需 $0.00001-0.000024。通过 OpenAI 则需 $0.005-0.05。差距高达 1,300 倍。

对于每天处理数千次请求的生产系统，每月可节省数万美元。

LangChain 让你可以构建带工具（tools）的智能体。网络中的模型支持原生 tool calling——智能体运行可靠，无需解析文本回复。

from langchain_openai import ChatOpenAI
from langchain.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
)

@tool
def calculator(expression: str) -> str:
    """Evaluates a math expression."""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """Searches the web for information."""
    return f"Search results for: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a helpful assistant."),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "What is 2**10 * 3.14?"})
print(result["output"])

智能体调用 calculator，获取结果并生成回答。整个循环通过 Gonka 只需约 $0.00005。通过 OpenAI 则需 $0.01-0.05。对于拥有数千用户的系统，这就是数万美元的差距。