하나씩 만지지 말고 한 번에 — cost-optimize
안녕하세요! 재니미입니다.
지난 글에서는 effort 보정을 다뤘습니다. 캐싱, 프롬프트 정리, effort까지 세 축을 하나씩 봤는데, 실제로는 이걸 따로따로 만지는 대신 /claude-api cost-optimize 한 번으로 전체를 훑을 수 있습니다.
이 글은 Anthropic 공식 글 Reducing cost and improving performance with the Claude Platform을 읽고 정리한 것입니다. 벤치마크 수치는 전부 원문 출처이며, 별도 표기 없는 한 직접 재현한 결과가 아닙니다.
동작 순서
- 토큰 사용처를 파악합니다. Admin API 키(조직 전체의 사용량·비용 데이터까지 볼 수 있는 관리자용 키. 일반 API 키는 자기가 보낸 요청 정보만 봅니다)가 있으면 조직의 사용·비용 보고서로, 없으면 API 응답마다 딸려오는 usage 객체(그 요청 하나가 토큰을 얼마나 썼는지 담은 값) 로그나 요청 코드 분석으로 추정합니다.
- 절감 우선순위를 매깁니다. 프롬프트 캐싱을 먼저 보고, 그다음 요청에 담기는 내용을 정리하고(앞 편의
prompt-audit포함), 출력 길이를 제한하고, 마지막으로 Batch API(실시간 응답이 필요 없는 작업을 모아서 비동기로 처리하는 대신 토큰당 요금을 절반으로 깎아주는 방식)로 전환하는 순서입니다. - 평가셋이 있으면 한 단계 더 나갑니다. effort 수준별 비용-성능과 모델 선택 트레이드오프까지 계산해줍니다.
공개 벤치마크 결과
LegalBench는 계약서 분석 같은 법률 추론 작업, tau2-bench retail은 정책을 지키면서 실제로 주문 취소 같은 작업을 끝까지 완료하는지 보는 소매 고객 응대 시뮬레이션, OfficeQA Pro는 방대한 문서에서 근거를 찾아 값을 계산하는 기업 문서 업무, SWE-bench Verified는 실제 깃허브 이슈 약 500개를 사람이 검증해서 만든, 코드를 고쳐 테스트를 통과시키는 벤치마크입니다.
| 벤치마크 | 절감폭 | 적용 방법 | 성능 |
|---|---|---|---|
| LegalBench | ~58% | 캐싱 + low effort + Batch API | pass rate 유지 |
| tau2-bench retail | ~73% | 명시적 브레이크포인트 캐싱 | pass rate 동일 |
| OfficeQA Pro | ~52% | Batch + 문서 캐싱 | $136.20 → $64.87 |
| SWE-bench Verified | ~55% | medium effort + 출력 제한 | 중간 단계 수(작업 하나를 끝내기까지 도구를 부르고 응답받은 횟수) 29 → 17 |
LegalBench는 thinking 토큰이 102,779에서 8,284로 93% 줄었고, SWE-bench는 prompt 토큰이 75.2M에서 33.7M으로 절반 넘게 줄었습니다. 두 경우 다 성능 지표는 유지되거나 개선됐습니다.
왜 순서가 이런가
캐싱을 먼저 보는 이유는 코드를 안 바꿔도 되기 때문이고, 프롬프트 정리가 그다음인 이유는 앞 편에서 본 안티패턴 제거가 공짜 절감이기 때문입니다. 출력 제한과 Batch API는 지연이나 배치 처리 가능 여부 같은 제약이 있어 뒤로 갑니다.
다음 편은 지금까지 나온 세 가지 명령(prompt-audit, hillclimb, cost-optimize)을 상황별로 언제 꺼내는지 정리입니다.
감사합니다.