최종 갱신
성능과 비용은 트레이드오프가 아니다 — 오버뷰
안녕하세요! 재니미입니다.
글을 읽으시는 분들께서는 토큰이 넉넉하신가요? 저는 가끔 토큰이 부족할 때가 있습니다. 일반적으로 좋은 결과를 얻으려면, 즉 성능을 높이려면 더 많은 토큰을 투입해야 합니다. 비용 관점에서 생각해 보면 최소한의 토큰으로 기대하는 만큼의 결과가 나오도록 하는 것도 방법인 것 같습니다.
다들 비슷한 고민을 하는지, Claude 공식 블로그에서 토큰 비용을 줄이면서 성능을 높일 수 있는 방법을 세 가지로 정리해서 알려준 글이 있습니다. 이 글을 요약하면 프롬프트 캐시 히트율을 최대화하고, 구모델 시대의 안티패턴을 지우고, 작업 난이도에 맞게 노력(effort)을 보정하는 것입니다.
이 시리즈는 Anthropic 공식 글 Reducing cost and improving performance with the Claude Platform을 읽고 정리한 것입니다. 벤치마크 수치는 전부 원문 출처이며, 별도 표기 없는 한 직접 재현한 결과가 아닙니다.
다만 이 시리즈에서 다루는 구체적인 수치나 명령어는 Claude를 기준으로 한 내용입니다. 캐시 히트율을 높이고, 안티패턴을 지우고, 난이도에 맞게 effort를 보정한다는 세 가지 축 자체는 ChatGPT나 Gemini에도 비슷하게 적용해볼 수 있는 방법이라고 생각합니다.
세 가지 축
- 프롬프트 캐시: 입력 전처리 상태(KV 캐시)를 재사용해서 반복 요청 비용을 줄입니다. 바이트 단위로 정확히 일치해야 히트합니다.
- 프롬프트 안티패턴 제거: “이중 확인해라”, “최대한 철저히” 같은 구모델용 지시는 신모델에서 토큰만 태웁니다.
- Effort 보정: 무조건 높이는 게 능사가 아닙니다. 강한 모델을 낮은 effort로 쓰는 게 약한 모델을 높은 effort로 쓰는 것보다 쌀 때가 있습니다.
이 시리즈에서 다룰 것
- (이 글) 오버뷰
- 프롬프트 캐시 — 원리와 쓰는 법
- 프롬프트 안티패턴 제거 —
prompt-audit - Effort 보정 —
hillclimb cost-optimize로 한 번에 감사하기- 정리 — 상황별로 뭘 쓸지
다음 편은 가장 손쉬운 절감 지점인 프롬프트 캐시부터 다루겠습니다.
감사합니다.