LlamaIndex + Gonka AI — 저렴한 RAG 애플리케이션

JoinGonka API 키: gate.joingonka.ai/register 에 가입하여(처음 가입 시 1,000만 토큰 무료 제공) Dashboard에서 jg-xxx 키를 생성하세요.

설치:

pip install llama-index llama-index-llms-openai-like

일반 OpenAI 호환 API의 경우, LlamaIndex는 llama_index.llms.openai_like 패키지의 OpenAILike 클래스를 제공합니다. Gonka로 보내는 최소한의 요청 예시:

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,            # Gonka는 chat 엔드포인트입니다
    is_function_calling_model=True, # 네이티브 tool calling 지원
    context_window=200000,         # 네트워크 모델 200K
    max_tokens=8192,               # Gateway를 통한 출력 제한
)

response = llm.complete("RAG가 무엇인지 세 문장으로 설명해주세요.")
print(response)

OpenAILike 관련 중요 사항: 반드시 is_chat_model=True를 설정하십시오. 그렇지 않으면 LlamaIndex가 Gonka에서 지원하지 않는 completion 엔드포인트로 이동합니다. is_function_calling_model=True는 네이티브 tool call을 활성화합니다. context_window는 모델별로 설정하여 LlamaIndex가 컨텍스트를 올바르게 분할하도록 하십시오.

LlamaIndex의 일반적인 시나리오는 문서 인덱싱 및 query_engine을 통한 쿼리입니다. 전역 LLM은 Settings.llm을 통해 한 번 설정하며, 그 이후 모든 파이프라인에서 Gonka가 자동으로 사용됩니다.

from llama_index.core import (
    VectorStoreIndex,
    SimpleDirectoryReader,
    Settings,
)
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

# 1. Gonka를 통한 LLM (전역 설정)
Settings.llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    context_window=200000,
    max_tokens=8192,
)

# 2. 로컬 임베딩 (무료, OpenAI 사용 안 함)
Settings.embed_model = HuggingFaceEmbedding(
    model_name="BAAI/bge-small-en-v1.5"
)

# 3. ./data 폴더에서 문서 로드 및 인덱싱
documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)

# 4. 지식 베이스 검색
query_engine = index.as_query_engine()
response = query_engine.query("이 문서는 무엇에 대한 내용인가요?")
print(response)

임베딩(embeddings) 관련 중요한 팁: 기본적으로 VectorStoreIndex는 OpenAI 임베딩(text-embedding-ada-002)을 사용합니다. 이는 Gonka가 아닌 OpenAI에 부과되는 별도의 유료 호출입니다. OpenAI에 의존하지 않으려면 Settings.embed_model을 통해 로컬 임베딩 모델(예: 위 예제의 HuggingFaceEmbedding, 별도 pip install llama-index-embeddings-huggingface 필요)을 지정하십시오. 이렇게 하면 생성이 Gonka를 통해 이루어지고 벡터화는 로컬에서 무료로 처리됩니다.

비용: RAG 파이프라인 요청 한 번(검색+생성)은 약 2~5K의 LLM 토큰을 소비합니다. Gonka를 사용하면 극히 적은 비용으로 가능하며, OpenAI/Anthropic 대비 3~4배 이상 저렴합니다. 하루 수천 건의 요청이 발생하는 환경에서는 매달 수만 달러의 비용을 절감할 수 있습니다.

RAG 애플리케이션은 일회성 채팅이 아니라 지속적인 요청 스트림입니다. 각 사용자 질문은 2~5K 토큰의 LLM 리소스를 소비합니다(질문 자체와 검색된 문맥 조각 포함). 일반적인 사용량과 각 공급자별 비용을 계산해보겠습니다. JoinGonka Gateway를 통한 Gonka 가격: 입력 약 $0.003/1M, 출력은 3배입니다.

무료 10M 토큰을 활용하면 RAG 파이프라인 전체를 디버깅하고, 테스트 코퍼스를 인덱싱하며, 수천 개의 요청을 처리하는 테스트를 비용 없이 진행할 수 있습니다. 프로덕션 규모에서 JoinGonka Gateway는 RAG를 고비용 서비스에서 거의 눈에 띄지 않는 수준의 지출로 바꿔줍니다.

LlamaIndex는 문서 기반 답변뿐만 아니라 도구를 사용하는 에이전트 구축도 가능합니다. 모든 Gonka 모델은 네이티브 tool calling을 지원하므로 에이전트가 텍스트 파싱 없이 구조화된 함수를 호출할 수 있습니다. 도구 사용 에이전트 예시:

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=200000,
    max_tokens=8192,
)

def multiply(a: float, b: float) -> float:
    """두 수를 곱합니다."""
    return a * b

agent = FunctionAgent(
    tools=[multiply],
    llm=llm,
    system_prompt="당신은 유용한 어시스턴트입니다. 계산 시 도구를 사용하세요.",
)

async def main():
    # 1234 곱하기 5678은?
    result = await agent.run("1234 곱하기 5678은 얼마인가요?")
    print(result)

asyncio.run(main())

모델 선택 (model 필드 및 그에 맞는 context_window / max_tokens 제한):

Gateway를 통한 max_tokens 제한은 네트워크의 모든 모델에 대해 최대 8192입니다. 비스트리밍 요청에서 max_tokens를 명시하지 않으면 기본적으로 1500 토큰까지만 반환되므로, RAG 응답이나 에이전트 작업 시 값을 명시적으로 설정하세요.

TypeScript: LlamaIndex.TS의 경우 동일한 경로를 사용합니다. @llamaindex/openai 패키지의 OpenAI 클래스가 baseURL과 apiKey를 받아들이므로(또는 OPENAI_BASE_URL / OPENAI_API_KEY 변수 읽기), Node.js 스택에서도 동일한 Gateway를 연결할 수 있습니다. Python 프레임워크로 AI 애플리케이션을 구축 중이라면 LangChain 가이드도 확인해 보세요.