15 · [영상] Contextual Retrieval 기반 RAG와 AWS 구성 방안
한 문장 요약: 표준 RAG의 실패 원인은 "청크가 원 문서의 맥락을 잃는 것"이고, Anthropic의 Contextual Retrieval은 각 청크에 LLM이 생성한 짧은 컨텍스트를 주입해 재색인·재검색하며, 프롬프트 캐싱과 리랭킹까지 더하면 검색 실패율을 5.7%→1.9%(67% 감소)까지 낮추는 기법이다.
- 태스크: T-VID-02 · 연계 주차: 2주차(RAG)
- 원본 영상: aws.amazon.com/ko/video/watch/fd1e7279d71/ (37분 15초)
- 전사:
downloads/14-영상오디오/fd1e7279d71_transcript.md(762세그먼트·AI Ready MCP D44 STT 2026-11-18)
개요 — 타임라인
| 구간 | 내용 |
|---|---|
| 0:01~2:39 | 발표자(AWS 솔루션즈 아키텍트)·Contextual Retrieval 발표 배경(Anthropic) |
| 2:41~8:00 | 기본 RAG — 20만 토큰 한계·청킹→임베딩→벡터DB→유사도 검색 |
| 8:00~11:23 | BM25(TF-IDF 키워드 검색) → 하이브리드 서치 → RRF 순위 융합 |
| 12:01~15:36 | 표준 RAG 실패 사례 + 보완 기법(HyDE·요약 기반 인덱싱) |
| 15:39~20:43 | Contextual Retrieval 원리와 수치(5.7%→3.7%→2.9%) |
| 20:43~23:24 | 프롬프트 캐싱 — 비용·지연 해결(어텐션 재활용·cache_control) |
| 23:24~27:07 | 리랭킹 — 크로스 인코더·2.9%→1.9%(67% 감소) |
| 27:07~30:35 | AWS 구현 아키텍처 + 실용 팁(Parent Document) + 강점 조건 |
| 30:31~35:32 | 데모 — 일본 화재보험 약관 PDF(표준 실패→Contextual 성공) |
| 35:33~37:15 | 요약 — 조합·top-20 청크 권장 |
핵심 메시지 3
1. 실패의 원인은 맥락 상실이다 — "이 회사의 수익은 이전 분기보다 3% 성장했습니다"라는 청크에는 질문("아마존 2024년 3분기 수익 성장률?")의 키워드가 없어 검색되지 못한다 (12:07~13:10) — 청크는 원 문서 안에서의 위치 정보를 잃는다.
2. 해법은 "청크에 컨텍스트 주입 후 재색인"이다 — Haiku 같은 저비용 모델에 〈전체(또는 상위) 문서+청크〉를 주고 "이 청크의 답변을 돕는 짧고 명료한 컨텍스트"를 생성해 청크 앞에 붙인 뒤, contextual embedding + contextual BM25를 함께 저장·검색한다 (15:39~19:15).
3. 숫자로 증명된 조합 — 실패율: 표준 RAG 5.7% → +contextual embedding 3.7% → +contextual BM25 2.9% → +리랭킹 1.9% (발표 원문 수치, 20:05~20:30·26:14~26:35). 검색은 top-20 청크가 최적 (36:05).
주제별 심화
검색 기법 사다리 (2:41~11:23)
| 기법 | 원리 | 비고 |
|---|---|---|
| 벡터(유사도) 검색 | 질의 임베딩 ↔ 청크 임베딩 거리 | 의미 유사 — but 맥락·키워드 약함 |
| BM25 | TF-IDF 기반 키워드 스코어 | 정확한 키워드에 강함 |
| 하이브리드 | 두 검색 병행 | |
| RRF(Reciprocal Rank Fusion) | 점수가 아닌 순위 기반 융합 | 점수 스케일 차이 회피 |
| 리랭킹(크로스 인코더) | 질의·문서를 하나의 인코더에 넣어 유사도 산출 | bi-encoder(개별 인코딩)보다 정확 — 코퍼스 전체가 아닌 top-N에만 적용 |
보완 기법 (13:10~15:36)
- HyDE — 질문을 LLM에 미리 답하게 하고 그 가상 답변과 유사한 청크를 검색(질문-답변 어휘 거리 문제 회피)
- 요약 기반 인덱싱 — 문서 요약을 앞세워 검색 (단, 부정확 경향 보고)
프롬프트 캐싱 (20:43~23:24)
컨텍스트 생성 시마다 전체 문서를 입력하는 비용 부담을 해소 — 동일 프리픽스의 이미 계산된 어텐션을 재활용해 입력 토큰 비용 절감·지연 단축. Anthropic API에서 cache_control 타입으로 캐시 대상 명시.
AWS 구현 아키텍처 (27:07~30:35)
- 프리프로세싱: 문서 청킹 → Haiku로 컨텍스트 생성 → Titan 임베딩 → Knowledge Bases(OpenSearch) 저장
- 런타임: 질의 Titan 임베딩 → KB 하이브리드 검색 → top-N → 리랭크 → Bedrock Claude 답변 — "전부 AWS 생태계로 구현 가능"
- 실용 팁: 전체 문서가 너무 크면 Parent Document(목차/조항 단위)로 잘라 프롬프트에 투입 — 비용·컨텍스트 한계 완화
- 강점 조건: 복잡한 질문에서 효과 큼, 간단한 질문은 표준과 비슷 (29:57~30:26 — 내부 테스트)
데모 (30:31~35:32)
일본 화재보험 약관 PDF → PDF 파싱(마크다운) → 표준 RAG로 "회사 지출 비용이 보상되는가?" 답변 실패(제11조 '보상하는 손'과 어휘 거리) → Parent Document 분할 + 컨텍스트 생성(한국어 프롬프트) 적용 → "회사에 비용을 따라 지출한 기타 필요 비용은 보상받을 수 있다"(제11조 명시) 로 정답 + 근거 조항 반환.
적용 체크리스트 (시험·실습 관점)
- ☐ RAG 5단계(시트5)의 ②청킹 뒤 "컨텍스트 주입" 단계가 어디에 끼는지 그릴 수 있는가 (도메인 1)
- ☐ 하이브리드+RRF+리랭킹의 역할 계층을 한 문장씩 설명할 수 있는가 (도메인 1·5 — 21호 학습자료와 상호 보완)
- ☐ 프롬프트 캐싱이 비용 최적화 수단임을 Converse cachePoint(요약본 01)와 연결했는가 (도메인 4)
- ☐ "복잡한 질문에 강점"이라는 적용 조건을 시험 시나리오의 도입 판단 기준으로 갖췄는가
최종 정리
이 영상은 RAG의 "왜 실패하는가"부터 시작해 실측 수치로 개선 계단을 하나씩 쌓는, 2주차 심화의 결정판이다. 표·수치 중심 복습은 이 요약본으로, 원리의 뉘앙스(12:07 실패 사례·30:31 데모)는 타임스탬프 닻으로 원 영상을 재청취하면 된다.
Provenance: 전사 원문 보관(타임스탬프 세그먼트). 수치(5.7→3.7→2.9→1.9%·top-20)는 발표자 발언 인용(Anthropic 테스트 기반) — ASR 오인식 보정 표기(컨택스 리틀립→Contextual Retrieval·VM25→BM25 외). 원문 대조는 전사 md로.