08 · Bedrock 모델·RAG 평가 — 4가지 평가 방식
한 문장 요약: Bedrock 평가 도구 세트는 모델·지식 기반(및 외부 모델·RAG 소스)의 성능을 프로그래밍 방식·인간 작업자·판단 모델·LLM 기반 RAG 평가의 4가지 방식으로 측정하며, RAG 평가에는 검증 가능한 기대 답(실제 데이터)이 포함된 데이터세트가 필요하다.
- 태스크: T-DOC-08 · 연계 주차: 5주차(평가)
- 원본: docs.aws.amazon.com/ko_kr/bedrock/latest/userguide/evaluation.html (2026-11-18 수집·본문 2,169자 — 개요·하위 주제 링크로 구성된 허브 문서)
- 원문 사본:
downloads/13-모델평가/evaluation.html
개요
평가 도구 세트는 모델의 의미 체계 견고성, 지식 기반의 정확성 같은 성능 지표를 계산한다. 이 허브 문서가 정의하는 것은 "누가/무엇이 평가하느냐"의 4가지 방식과 평가 대상 모델 범위다. 작업 생성·보고서·데이터 관리 등 상세는 하위 문서에 있다.
핵심 메시지 3
1. 평가 주체 4종류가 곧 선택지다 — ①자동(계산된 점수·지표) ②인간 작업자(회사 직원 또는 분야별 전문가) ③판단 모델(두 번째 LLM이 점수+설명) ④LLM 기반 RAG 평가.
2. RAG 평가에는 정답 데이터가 필요하다 — 데이터세트에 프롬프트/사용자 쿼리와 함께 "실제 데이터"(검증된 예상 텍스트·응답)를 포함해야 지식 기반이 기대와 일치하는지 확인할 수 있다 (원문) — 2주차 "질의 10개+기대 문서 기록" 실습이 정확히 이 재료다.
3. 평가 가능한 모델 범위가 넓다 — 파운데이션 모델·Bedrock Marketplace 모델·사용자 지정 FM·가져온 FM·프롬프트 라우터·프로비저닝된 처리량을 구매한 모델.
주제별 심화
평가 방식 비교
| 방식 | 평가 주체 | 특징 |
|---|---|---|
| 프로그래밍 방식 모델 평가 | 자동 | 커스텀 프롬프트 데이터세트 또는 내장 데이터세트로 빠른 평가 |
| 작업자 기반 모델 평가 | 사람 | 직원·분야 전문가가 지표별 평가와 선호도 제공 |
| 판단 모델(LLM-as-judge) | 두 번째 LLM | 응답에 점수 + 각 응답에 대한 설명 제공 |
| LLM 기반 RAG 평가 | LLM | KB의 검색 관련성·응답 유용성 지표 — 실제 데이터 포함 데이터세트 필수 |
하위 주제 (별도 문서)
평가 작업 생성(자동·작업자·판단 모델) · RAG 소스 성능 평가 · CORS 권한 · 보고서·지표 검토 · 데이터 관리·암호화 · CloudTrail 관리 이벤트 · 지원 리전·모델.
적용 체크리스트 (시험·실습 관점)
- ☐ 4가지 평가 방식을 문제 상황에 맞게 고를 수 있는가 — 빠른 스케일링=자동, 주관 품질=작업자, 대량 정성=판단 모델, KB=RAG 평가 (도메인 1·5)
- ☐ "RAG 평가 데이터세트에 실제 데이터(ground truth) 포함" 요건을 암기했는가
- ☐ 판단 모델이 점수와 함께 설명을 준다는 점(감사 가능성)을 기억하는가
- ☐ 2주차 평가셋(질의 10개·기대 문서)을 5주차 채점의 입력으로 재사용하는 계획과 연결했는가
최종 정리
평가 문제의 정답 패턴은 "평가 주체 고르기"와 "데이터세트 요건" 두 가지로 압축된다. RAG 품질을 "그냥 돌려보고 느낌"으로 평가하는 보기는 정답이 될 수 없고, 검증 가능한 기대 답이 있는 보기가 정답 방향이다.
Provenance: 원문 인용은 2026-11-18 수집 본문 기준. 기계 번역 한국어 문서로 원문 영어 우선 고지. 하위 주제(작업 생성·지표 상세) 미수집 — 필요 시 개별 다운로드. 해석은 학습용 편집임.