AWS 생성형 AI 자격증 학습요약본원본·요약본 목록은 자료실 페이지에서

08 · Bedrock 모델·RAG 평가 — 4가지 평가 방식

한 문장 요약: Bedrock 평가 도구 세트는 모델·지식 기반(및 외부 모델·RAG 소스)의 성능을 프로그래밍 방식·인간 작업자·판단 모델·LLM 기반 RAG 평가의 4가지 방식으로 측정하며, RAG 평가에는 검증 가능한 기대 답(실제 데이터)이 포함된 데이터세트가 필요하다.

개요

평가 도구 세트는 모델의 의미 체계 견고성, 지식 기반의 정확성 같은 성능 지표를 계산한다. 이 허브 문서가 정의하는 것은 "누가/무엇이 평가하느냐"의 4가지 방식과 평가 대상 모델 범위다. 작업 생성·보고서·데이터 관리 등 상세는 하위 문서에 있다.

핵심 메시지 3

1. 평가 주체 4종류가 곧 선택지다 — ①자동(계산된 점수·지표) ②인간 작업자(회사 직원 또는 분야별 전문가) ③판단 모델(두 번째 LLM이 점수+설명) ④LLM 기반 RAG 평가.

2. RAG 평가에는 정답 데이터가 필요하다 — 데이터세트에 프롬프트/사용자 쿼리와 함께 "실제 데이터"(검증된 예상 텍스트·응답)를 포함해야 지식 기반이 기대와 일치하는지 확인할 수 있다 (원문) — 2주차 "질의 10개+기대 문서 기록" 실습이 정확히 이 재료다.

3. 평가 가능한 모델 범위가 넓다 — 파운데이션 모델·Bedrock Marketplace 모델·사용자 지정 FM·가져온 FM·프롬프트 라우터·프로비저닝된 처리량을 구매한 모델.

주제별 심화

평가 방식 비교

방식평가 주체특징
프로그래밍 방식 모델 평가자동커스텀 프롬프트 데이터세트 또는 내장 데이터세트로 빠른 평가
작업자 기반 모델 평가사람직원·분야 전문가가 지표별 평가와 선호도 제공
판단 모델(LLM-as-judge)두 번째 LLM응답에 점수 + 각 응답에 대한 설명 제공
LLM 기반 RAG 평가LLMKB의 검색 관련성·응답 유용성 지표 — 실제 데이터 포함 데이터세트 필수

하위 주제 (별도 문서)

평가 작업 생성(자동·작업자·판단 모델) · RAG 소스 성능 평가 · CORS 권한 · 보고서·지표 검토 · 데이터 관리·암호화 · CloudTrail 관리 이벤트 · 지원 리전·모델.

적용 체크리스트 (시험·실습 관점)

최종 정리

평가 문제의 정답 패턴은 "평가 주체 고르기"와 "데이터세트 요건" 두 가지로 압축된다. RAG 품질을 "그냥 돌려보고 느낌"으로 평가하는 보기는 정답이 될 수 없고, 검증 가능한 기대 답이 있는 보기가 정답 방향이다.


Provenance: 원문 인용은 2026-11-18 수집 본문 기준. 기계 번역 한국어 문서로 원문 영어 우선 고지. 하위 주제(작업 생성·지표 상세) 미수집 — 필요 시 개별 다운로드. 해석은 학습용 편집임.