AWS 생성형 AI 자격증 학습요약본원본·요약본 목록은 자료실 페이지에서

15 · [영상] Contextual Retrieval 기반 RAG와 AWS 구성 방안

한 문장 요약: 표준 RAG의 실패 원인은 "청크가 원 문서의 맥락을 잃는 것"이고, Anthropic의 Contextual Retrieval은 각 청크에 LLM이 생성한 짧은 컨텍스트를 주입해 재색인·재검색하며, 프롬프트 캐싱과 리랭킹까지 더하면 검색 실패율을 5.7%→1.9%(67% 감소)까지 낮추는 기법이다.

개요 — 타임라인

구간내용
0:01~2:39발표자(AWS 솔루션즈 아키텍트)·Contextual Retrieval 발표 배경(Anthropic)
2:41~8:00기본 RAG — 20만 토큰 한계·청킹→임베딩→벡터DB→유사도 검색
8:00~11:23BM25(TF-IDF 키워드 검색) → 하이브리드 서치 → RRF 순위 융합
12:01~15:36표준 RAG 실패 사례 + 보완 기법(HyDE·요약 기반 인덱싱)
15:39~20:43Contextual Retrieval 원리와 수치(5.7%→3.7%→2.9%)
20:43~23:24프롬프트 캐싱 — 비용·지연 해결(어텐션 재활용·cache_control)
23:24~27:07리랭킹 — 크로스 인코더·2.9%→1.9%(67% 감소)
27:07~30:35AWS 구현 아키텍처 + 실용 팁(Parent Document) + 강점 조건
30:31~35:32데모 — 일본 화재보험 약관 PDF(표준 실패→Contextual 성공)
35:33~37:15요약 — 조합·top-20 청크 권장

핵심 메시지 3

1. 실패의 원인은 맥락 상실이다 — "이 회사의 수익은 이전 분기보다 3% 성장했습니다"라는 청크에는 질문("아마존 2024년 3분기 수익 성장률?")의 키워드가 없어 검색되지 못한다 (12:07~13:10) — 청크는 원 문서 안에서의 위치 정보를 잃는다.

2. 해법은 "청크에 컨텍스트 주입 후 재색인"이다 — Haiku 같은 저비용 모델에 〈전체(또는 상위) 문서+청크〉를 주고 "이 청크의 답변을 돕는 짧고 명료한 컨텍스트"를 생성해 청크 앞에 붙인 뒤, contextual embedding + contextual BM25를 함께 저장·검색한다 (15:39~19:15).

3. 숫자로 증명된 조합 — 실패율: 표준 RAG 5.7% → +contextual embedding 3.7% → +contextual BM25 2.9% → +리랭킹 1.9% (발표 원문 수치, 20:05~20:30·26:14~26:35). 검색은 top-20 청크가 최적 (36:05).

주제별 심화

검색 기법 사다리 (2:41~11:23)

기법원리비고
벡터(유사도) 검색질의 임베딩 ↔ 청크 임베딩 거리의미 유사 — but 맥락·키워드 약함
BM25TF-IDF 기반 키워드 스코어정확한 키워드에 강함
하이브리드두 검색 병행
RRF(Reciprocal Rank Fusion)점수가 아닌 순위 기반 융합점수 스케일 차이 회피
리랭킹(크로스 인코더)질의·문서를 하나의 인코더에 넣어 유사도 산출bi-encoder(개별 인코딩)보다 정확 — 코퍼스 전체가 아닌 top-N에만 적용

보완 기법 (13:10~15:36)

프롬프트 캐싱 (20:43~23:24)

컨텍스트 생성 시마다 전체 문서를 입력하는 비용 부담을 해소 — 동일 프리픽스의 이미 계산된 어텐션을 재활용해 입력 토큰 비용 절감·지연 단축. Anthropic API에서 cache_control 타입으로 캐시 대상 명시.

AWS 구현 아키텍처 (27:07~30:35)

데모 (30:31~35:32)

일본 화재보험 약관 PDF → PDF 파싱(마크다운) → 표준 RAG로 "회사 지출 비용이 보상되는가?" 답변 실패(제11조 '보상하는 손'과 어휘 거리) → Parent Document 분할 + 컨텍스트 생성(한국어 프롬프트) 적용 → "회사에 비용을 따라 지출한 기타 필요 비용은 보상받을 수 있다"(제11조 명시) 로 정답 + 근거 조항 반환.

적용 체크리스트 (시험·실습 관점)

최종 정리

이 영상은 RAG의 "왜 실패하는가"부터 시작해 실측 수치로 개선 계단을 하나씩 쌓는, 2주차 심화의 결정판이다. 표·수치 중심 복습은 이 요약본으로, 원리의 뉘앙스(12:07 실패 사례·30:31 데모)는 타임스탬프 닻으로 원 영상을 재청취하면 된다.


Provenance: 전사 원문 보관(타임스탬프 세그먼트). 수치(5.7→3.7→2.9→1.9%·top-20)는 발표자 발언 인용(Anthropic 테스트 기반) — ASR 오인식 보정 표기(컨택스 리틀립→Contextual Retrieval·VM25→BM25 외). 원문 대조는 전사 md로.