LangChain + Gonka AI — 저렴한 AI 애플리케이션

LangChain을 Gonka에 연결하는 최소 예제:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-YOUR-KEY",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
)

response = llm.invoke("RAG가 무엇인지 설명해 주세요")
print(response.content)

이것이 전부입니다. 세 줄이면 LangChain 프로젝트가 분산형 Gonka 네트워크를 통해 거의 비용 없이 작동합니다.

종속성 설치:

pip install langchain langchain-openai

권장 사항: max_tokens=2048을 명시적으로 지정하세요. 이것이 JoinGonka Gateway를 통한 최대값입니다. Qwen3-235B의 컨텍스트 창은 128K 토큰이므로, RAG 파이프라인에서 chunk_size를 설정할 때 이를 고려하세요.

RAG (검색 증강 생성)은 가장 인기 있는 AI 애플리케이션 패턴입니다. 문서를 로드하고, 청크로 분할하고, 임베딩을 생성하고, 관련 조각을 검색한 다음 컨텍스트와 함께 응답을 생성합니다.

from langchain_openai import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. Gonka를 통한 LLM
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    streaming=True,
)

# 2. 문서 로드 및 인덱싱
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. 벡터 저장소 (로컬, 무료)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. RAG 체인
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. 질의
result = qa.invoke("이 문서의 내용은 무엇인가요?")
print(result["result"])

비용: 하나의 RAG 파이프라인 요청(검색 + 생성)은 LLM 토큰 2-5K를 사용합니다. Gonka를 통해 $0.000002-0.000005입니다. OpenAI를 통해 $0.005-0.05입니다. 차이는 10,000배입니다.

하루에 수천 개의 요청을 처리하는 프로덕션 시스템의 경우, 절감액은 월 수만 달러에 달합니다.

LangChain을 사용하면 도구(tools)를 사용하여 에이전트를 만들 수 있습니다. Qwen3-235B는 기본 도구 호출을 지원합니다. 에이전트는 텍스트 응답을 파싱할 필요 없이 안정적으로 작동합니다.

from langchain_openai import ChatOpenAI
from langchain.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
)

@tool
def calculator(expression: str) -> str:
    """수학적 표현을 계산합니다."""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """인터넷에서 정보를 검색합니다."""
    return f"검색 결과: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "당신은 유용한 어시스턴트입니다."),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "2**10 * 3.14는 얼마입니까?"})
print(result["output"])

에이전트는 calculator를 호출하고 결과를 얻은 다음 응답을 구성합니다. 전체 주기는 Gonka를 통해 ~$0.00001입니다. OpenAI를 통해 $0.01-0.05입니다. 수천 명의 사용자가 있는 시스템의 경우 이는 수만 달러의 차이입니다.