자료가 많을 때 전부 보내는 방식과 필요한 부분만 찾아 보내는 방식이 있습니다. 요금 면에서 둘의 차이가 큽니다.
이 글은 어느 규모에서 어느 쪽이 유리한지 확인된 단가로 계산합니다.
이 글의 요금·조건은 2026년 8월 26일에 각 서비스 공식 페이지에서 확인한 값입니다. 이후 변경됐을 수 있습니다.
두 방식의 요금 구조
| 방식 | 매 질문의 입력 | 추가 비용 |
|---|---|---|
| 전부 보내기 | 자료 전체 | 없음 |
| 찾아서 보내기 | 골라낸 일부 | 찾는 과정의 비용 |
두 번째가 싸 보이지만 찾는 과정에도 비용이 듭니다. 그 비용이 절감분보다 크면 뒤집힙니다.
그래서 계산은 자료 크기와 질문 횟수 두 변수에 달렸습니다.
자료 크기별로 계산하기
Sonnet 5 기준, 질문 하나당 입력 비용만 봅니다. 찾아서 보내는 방식은 5,000토큰을 골라 보낸다고 두겠습니다.
| 자료 크기 | 전부 보내기 | 골라 보내기(5,000) | 차이 |
|---|---|---|---|
| 5,000 | $0.010 | $0.010 | 없음 |
| 20,000 | $0.040 | $0.010 | $0.030 |
| 100,000 | $0.200 | $0.010 | $0.190 |
| 500,000 | $1.000 | $0.010 | $0.990 |
자료가 5,000토큰이면 두 방식이 같습니다 — 전부가 곧 일부이기 때문입니다. 자료가 커질수록 차이가 벌어집니다.
여기서 알 수 있는 것은 자료가 작으면 찾는 구조를 만들 이유가 없다는 점입니다. 복잡도만 늘고 요금은 그대로입니다.
캐시를 넣으면 판단이 바뀐다
전부 보내는 방식에도 절감 수단이 있습니다. 같은 자료가 매번 실리므로 캐시 조건에 맞습니다.
100,000토큰 자료에 질문 10개를 던지는 경우를 세 방식으로 계산했습니다.
| 방식 | 입력 비용 |
|---|---|
| 전부 보내기(캐시 없음) | $2.000 |
| 전부 보내기(캐시 사용) | $0.430 |
| 골라 보내기(5,000씩) | $0.100 |
계산: 캐시 없음은 100,000 × 10 ÷ 100만 × $2 = $2.00. 캐시는 쓰기 100,000 ÷ 100만 × $2.50 = $0.25에 읽기 100,000 × 9 ÷ 100만 × $0.20 = $0.18을 더해 $0.43. 골라 보내기는 5,000 × 10 ÷ 100만 × $2 = $0.10입니다.
캐시만 켜도 4.7배가 줄어듭니다. 골라 보내기는 여기서 다시 4.3배입니다.
그런데 캐시에는 조건이 있습니다 — 유지 시간 5분이라 질문 10개를 연달아 던져야 합니다. 띄엄띄엄 물으면 매번 쓰기 비용($0.25)만 더 내게 됩니다.
찾는 비용을 넣어야 공정하다
위 표의 “골라 보내기 $0.10″에는 찾는 비용이 빠져 있습니다. 방식에 따라 다릅니다.
| 찾는 방식 | 비용 성격 |
|---|---|
| 키워드 검색 | 모델 호출 없음 — 요금 거의 0 |
| 임베딩 검색 | 색인 만들 때 한 번 + 질문마다 소액 |
| 모델에게 고르게 함 | 자료 전체가 다시 입력으로 들어감 — 절감 효과 사라짐 |
세 번째가 함정입니다. “어느 부분이 관련 있는지 골라 줘”라고 모델에게 물으면 자료 전체를 보내는 셈이 되어, 절감하려던 것을 그대로 냅니다.
저희는 임베딩 요율을 대조하지 않았으므로 구체적 금액을 적지 않겠습니다. 다만 구조상 색인 비용은 자료가 바뀔 때만 들고 질문마다 드는 것이 아니라는 점은 적어 둡니다.
판단 기준
| 상황 | 맞는 방식 | 이유 |
|---|---|---|
| 자료가 작다 | 전부 보내기 | 차이가 없는데 복잡도만 늘어남 |
| 자료가 크고 질문을 몰아서 함 | 전부 + 캐시 | 구조 변경 없이 4~5배 절감 |
| 자료가 크고 질문이 흩어져 있다 | 골라 보내기 | 캐시가 만료되므로 |
| 자료가 자주 바뀐다 | 상황에 따라 | 색인을 다시 만드는 비용을 함께 셈 |
순서로 보면 캐시를 먼저 시험하는 편이 낫습니다. 코드 구조를 바꾸지 않고 켜 볼 수 있고, 효과가 충분하면 거기서 멈춰도 됩니다.
캐시 판단 기준은 캐시 5분을 활용하는 법에 적었습니다.
요금 말고 확인할 것
이 판단에는 요금 외의 축이 있습니다. 골라 보내기는 잘못 고르면 답이 틀립니다.
전부 보내면 적어도 자료에 있는 내용은 다 들어가 있습니다. 골라 보내면 고르는 단계에서 빠진 것은 없는 것과 같습니다.
그래서 요금이 비슷한 구간이라면 전부 보내는 쪽이 안전합니다. 골라 보내기는 요금 차이가 클 때 감수하는 선택입니다.
긴 컨텍스트 요율에 걸리는지도 함께 보셔야 합니다 — 오픈AI 기준 2배 차이입니다. 구조는 긴 컨텍스트는 왜 두 배인가에 있습니다.
자주 묻는 질문
임베딩 요금은 얼마인가요?
저희가 대조하지 않아 적지 않습니다. 구조상 색인 비용은 자료가 바뀔 때 들고 질문마다 드는 것이 아닙니다.
자료가 몇 토큰부터 골라 보내야 하나요?
저희가 기준선을 정하지 않습니다. 위 표에 자료 크기별 차이를 적었으니 자기 질문 횟수를 곱해 판단하시면 됩니다.
캐시와 골라 보내기를 같이 쓸 수 있나요?
골라 보낸 부분이 매번 다르면 캐시가 안 맞습니다. 공통으로 실리는 지시문 부분만 캐시하는 방식은 가능합니다.
모델에게 골라 달라고 하면 안 되나요?
그러면 자료 전체가 입력으로 들어가 절감 효과가 사라집니다. 요금 면에서는 전부 보내는 것과 같습니다.