07 · 서버리스 에이전틱 AI 비용 최적화 — AWS 처방적 지침
한 문장 요약: 서버리스 생성형 AI의 비용은 토큰당 추론·호출당 청구·이벤트 볼륨이라는 새로운 축으로 움직이며, 처방은 계층형 모델 라우팅·프롬프트 트리밍·RAG 범위 제어·캐싱·태깅의 조합으로 "각 결정의 비즈니스 가치에 지출을 맞추는 것"이다.
- 태스크: T-DOC-07 · 연계 주차: 5주차(비용·성능)
- 원본: docs.aws.amazon.com/ko_kr/prescriptive-guidance/latest/agentic-ai-serverless/cost-optimization.html (2026-11-18 수집·본문 5,621자)
- 원문 사본:
downloads/12-비용최적화/cost-optimization.html
개요
인스턴스 시간당 비용으로 예측하던 전통 컴퓨팅과 달리 서버리스·생성형 AI는 토큰 사용량(Bedrock)·호출당 청구(Lambda·Step Functions)·이벤트 볼륨(EventBridge·S3)·KB/RAG 확장 역학이라는 비용 차원을 도입한다. 신중한 계획·모니터링 없으면 "대규모 LLM이나 무제한 이벤트 루프에서 예상치 못한 결제 급증" 위험이 있다 (원문).
핵심 메시지 3
1. 토큰이 최대 비용 동인이다 — "프롬프트 길이·세부 정보: 입력·출력이 길수록 Bedrock 비용이 선형적으로 증가한다." 모델 크기(Nova Premier 등 상위 티어)는 토큰당 단가를 몇 배로 올린다.
2. 에이전트 특유의 비용 누수가 있다 — 도구 호출 스프롤(과다·중복 도구 → Lambda·데이터 전송 요금), 과도하게 조각난 Step Functions 워크플로(상태 전환·실행 기간 증가), 불필요한 재시도·폴백 체인.
3. 종합 예가 수치를 제공한다 — 지원 어시스턴트 예에서 간단 질문의 90%는 Nova Lite+KB로, 에스컬레이션이 필요한 10%만 Claude 3 Sonnet · 응답 검사기 Lambda가 출력 토큰 약 25% 절감.
주제별 심화
비용 최적화 전략 10가지 (원문 목록)
| # | 전략 | 구현 포인트 |
|---|---|---|
| 1 | 계층형 모델 선택 | 단순 프롬프트는 Nova Micro급으로 라우팅, 신뢰도 낮을 때만 에스컬레이션 |
| 2 | 프롬프트·출력 트리밍 | 최대 프롬프트 크기 강제·간결한 표현·장황한 완성 차단 |
| 3 | RAG 검색 범위 제어 | 메타데이터 필터 + 상위 K 순위 — 관련 콘텐츠만 프롬프트에 주입 |
| 4 | 배치 추론 | 감정 분석·요약 등 입력 그룹화 → 배치당 단일 추론 |
| 5 | Step Functions 집계 | 로직을 Lambda 단위로 그룹화, 상태 폭발 패턴 방지 |
| 6 | 비동기 응답 처리 | EventBridge+SQS, 지연 응답 패턴 — 느린 모델 대기로 컴퓨팅 차단 금지 |
| 7 | Bedrock 비용 할당 태그 | 예: Project=MarketingAI, Team=GenOps — 앱·팀별 가시성 |
| 8 | 재시도·신뢰도 로직 조정 | 구조화된 신뢰도 임계값·조기 종료로 재시도 제한 |
| 9 | 도구 호출 캐싱 | 최근 도구 결과를 TTL로 DynamoDB 저장 후 재사용 |
| 10 | 예약/프로비저닝된 동시성(필요 시) | 예측 가능한 트래픽·긴 워밍업 함수만 — 콜드 스타트·비용 불확실 감소 |
예: 비용 인식 지원 어시스턴트 (원문 수치)
- 구조: API Gateway 채팅 → 간단 질문(Nova Lite + KB 근거) / 복잡 쿼리(Bedrock 에이전트 + Lambda 도구
getOrderStats·initiateReturn·lookupDeliveryOptions) → 응답 후처리 - 적용: FAQ성 프롬프트의 90% Nova Lite, 10%만 Claude 3 Sonnet · 프롬프트 최대 400토큰 템플릿 · KB 메타데이터 필터(제품 범주·정책 도메인) · 도구 결과 10분 TTL DynamoDB 캐시 · 신뢰도 낮으면 Claude·인적 큐 에스컬레이션 · 응답 검사기로 출력 토큰 ~25% 절감 · 태깅(Application/Environment/Team)
- 재사용: HR 어시스턴트·IT 헬프데스크·파트너 온보딩 봇·고객 교육 템플릿
모니터링·경고 신호
- 도구: CloudWatch 지표(토큰 사용량·SFN 단계 기간·Lambda 비용) · AWS Budgets(일일 토큰 비용 임계) · Cost Explorer/Cost Categories · Bedrock API 로그 · Athena 쿼리
- 경고 신호 5: 토큰 사용량 급증(프롬프트 변경·새 모델 버전·과도한 RAG 검색) · Bedrock 지연 증가( Lambda 기간·추론당 비용 증가) · 세션당 도구 호출 급증(도구 오용) · 장기 실행 SFN 단계(상태 과다 분해) · 저사용 모델 티어(저위험 요청에 최고 티어 비용)
적용 체크리스트 (시험·실습 관점)
- ☐ 비용 3축(토큰·호출·이벤트)과 전략 10가지를 짝지을 수 있는가 (도메인 4)
- ☐ 5주차 계획의 "캐싱·배치 추론·모델 선택 비교"가 이 문서의 전략 1·4·9에 대응함을 확인했는가
- ☐ 토큰 급증의 원인 후보 3가지(프롬프트 변경·모델 버전·과도한 RAG)를 진단 순서로 말할 수 있는가 (도메인 5 연결)
- ☐ requestMetadata(요약본 06)와 비용 할당 태그가 같은 목적(팀·앱별 비용 가시성)임을 연결했는가
최종 정리
이 지침의 결론 문장이 곧 답안 템플릿이다 — "비용 최적화는 지출 최소화가 아니라 컴퓨팅·모델 사용량을 각 결정의 비즈니스 가치에 맞추는 것". 시험에서 "가장 비용 효율적인 설계를 고르라"면 계층형 라우팅+범위 제한+캐싱이 있는 보기를 고르면 된다.
Provenance: 원문 인용·수치(90/10·400토큰·10분 TTL·25%)는 2026-11-18 수집 본문 기준. 기계 번역 한국어 문서로 원문 영어 우선 고지. 해석·체크리스트는 학습용 편집임.