하이브리드 검색
시각화 학습자료
OpenSearch 공식 문서 「Hybrid search」 섹션(메인 1편 + 연결 문서 11편 + 프로세서 레퍼런스 2편)을 전부 분석해, 「키워드(BM25)와 의미(k-NN)를 한 줄로 묶는 법」을 모션 지도로 정리했다. 8번 시트에서 건설도면프로젝트 T13 실측과 대조한다.
왜 키워드와 의미를 섞는가 — 스케일 문제
공식 문서 정의: 「하이브리드 검색은 키워드 검색과 의미 검색을 결합해 검색 관련성을 개선한다. 구현에는 검색 시점에 실행되는 search pipeline이 필요하고, 파이프라인이 중간 단계에서 결과를 가로채 점수를 정규화·결합한다.」
키워드 검색 — BM25 match
· 정확한 단어·태그·기호에 강하다(공식: 「키워드가 포함된 질의에 정확한 결과」)
· 점수 스케일: TF·IDF 기반 — 값의 상한이 없다(예: 12.4)
· 약점: 「최신 개정」처럼 표현이 바뀌는 의미 질의에 약하다
의미 검색 — k-NN·neural neural
· 자연어 이해가 필요한 질의에 강하다(공식)
· 점수 스케일: 유사도 — 보통 0~1 (예: 0.87)
· 약점: 태그·기호 exact 매칭은 키워드가 더 정확하다
핵심 문제 — 두 점수는 "서로 다른 양"이다
공식 문서의 예시 그대로: BM25 점수 12.4와 벡터 유사도 0.87은 서로 다른 양을 다른 스케일로 측정한다. 하지만 순위 1등은 어느 목록에서도 "1등"이라는 뜻이다 — 이것이 RRF(순위 기반)의 아이디어. 반대로 점수의 여백(1등과 2등의 격차)에 정보가 있으면, 정규화로 같은 눈금을 만든 뒤 결합(점수 기반)해야 한다.
해법 — 검색 파이프라인이 중간에서 가로챈다
공식 레퍼런스의 query-then-fetch 흐름 — normalization processor는 질의와 인출 단계 사이(search phase results processor)에서 동작한다.
프로젝트 실측과 일치: 하이브리드 파이프라인 키는 phase_results_processors(복수형) — 06호 실측에서 단수형 키는 "지원하지 않는 파라미터" 오류로 확인.
공식 5단계 — 수집 파이프라인부터 hybrid 질의까지
공식 문서의 설정 순서 그대로. 경로를 따라가는 이동체(rover)가 학습 순서다 — 각 단계의 공식 JSON을 옆에 축약해 싣는다.
공식 예제(3단계) — min_max 정규화 + 산술 평균 결합, 첫 절 30%·둘째 절 70%. 프로젝트 실측과 동일 구성: 06호에서 min_max+산술평균으로 하이브리드 파이프라인 동작을 확인했다. weights 합계는 정확히 1.0이어야 하고 개수는 질의 절 수와 같다(공식 제약).
공식 예제(5단계) — hybrid 쿼리는 queries 배열에 임의의 절을 나열한다(match+neural, match+term 등).
응답 예시에서 문서 2가 1.0점, 문서 1이 0.3007점 — 결합 후 점수는 정규화 눈금 위의 값이다.
인덱스에 default_search_pipeline을 두면 요청마다 지정하지 않아도 된다(공식).
점수 기반 vs 순위 기반 — 공식 선택표
두 search phase results processor는 "무엇을 결합하느냐"가 다르다. 표는 공식 문서(RRF 편)의 대조 내용이다.
| 비교 항목 | score ranker processor (순위 기반) | normalization processor (점수 기반) |
|---|---|---|
| 결합 입력 | 문서 순위(rank) | 문서 관련성 점수(score) |
| 기법 | rrf 단일 | arithmetic_mean·geometric_mean·harmonic_mean — min_max·l2·z_score 정규화 후 적용 |
| 점수 크기 정보 | 버린다 — 근소한 격차도 큰 격차와 동일 취급 | 보존한다 — 문서 간 여백이 최종 순위에 반영 |
| 조정 파라미터 | rank_constant + 선택적 weights | 정규화 기법 + 결합 기법 + weights + 선택적 점수 경계(bounds) |
| 도입 버전 | 2.19 | 2.10 |
공식 선택 가이드 — "RRF부터 시작하라"
RRF(score ranker)가 유리한 경우
· 절의 점수 스케일을 비교 불가능할 때(예: 멀티모달 — 텍스트 관련성 폭이 넓고 시각 유사도 폭이 좁음)
· 데이터에 이상치가 있거나 점수 분산이 클 때 — 공식 명시: min-max와 L2 정규화는 이상치에 민감(과학·로그 데이터류)
· 점수 분포를 측정하기 전에 "동작하는 구성"이 필요할 때 — 공식 권고 문구: 「측정 없이 시작할 수 있는 출발점」
normalization이 유리한 경우
· 두 문서 점수 차이(여백)가 최종 순위에 반영되어야 할 때
· 정규화·결합 기법·점수 경계로 정밀 제어가 필요할 때
· 점수 분포를 이미 측정해 가중치를 근거로 정할 수 있을 때 — 공식: 「두 문서 점수 차에 정보가 있거나, 정규화 기법·결합 기법·점수 경계로 세밀한 제어가 필요하면 고른다」
RRF 공식과 rank_constant
k = rank_constant(기본 60, 범위 1~10000).
크게 → 점수가 균등해져 상위권 영향력이 줄고, 작게 → 순위 간 점수차가 커져 상위권에 가중.
여러 목록의 상위권에 동시에 나오는 문서가 높은 결합 점수를 얻는다. 상세 예제는 9번 시트의 공인 링크(rrf·score ranker 편)로.
정규화 3종 + 결합 3종 + 점수 경계
normalization processor 레퍼런스 전문 기준. 기법 조합은 자유이지만 z_score는 arithmetic_mean만 허용된다(공식).
min_max 기본값
결과 집합의 실제 최솟값·최댓값으로 0~1 눈금. 이상치에 민감(공식).
l2
벡터 정규화 관점의 눈금. 역시 이상치 민감도가 있어 분산 큰 데이터엔 RRF 권장(공식).
z_score
평균·표준편차 기준. 결합은 arithmetic_mean만 허용(공식 제약).
arithmetic_mean 기본값
가중 산술 평균 — Σ wᵢ·nᵢ. 가장 통상적 조합. 프로젝트 실측도 이 조합(min_max+산술평균).
geometric_mean
가중 기하 평균 — 곱의 근. 한쪽 절의 낮은 정규 점수가 결과를 더 강하게 끌어내린다.
harmonic_mean
가중 조화 평균 — 역수 평균. 두 절이 모두 좋아야 높다(F1 계열). 한쪽만 강한 문서를 억제.
weights 규칙과 점수 경계(bounds)
weights(공식 제약)
· 값 범위 [0.0, 1.0] — 소수 비율
· 합계 = 정확히 1.0
· 개수 = 질의 절 수
· 생략 시 모든 절 동일 가중치
· 1.0에 가까울수록 그 절에 무게
lower_bounds · upper_bounds (min_max 전용)
절별 하한(min_score 기본 0.0)·상한(max_score 기본 1.0), 값 범위 ±10000. 모드 3종:
· apply(기본) — 경계를 정규화 기준으로만 사용, 원 점수 유지
· clip — 경계 밖 점수를 0.0(하한)/1.0(상한)으로 자름
· ignore — 이 절에는 경계를 적용하지 않음(표준 min_max)
경계 미지정 시 실제 결과의 최솟·최댓값을 사용(공식).
pre-filter vs post-filter — 점수·집계에 미치는 위치
같은 "필터"라도 파이프라인 앞에 있느냐 뒤에 있느냐가 점수 재계산과 집계 결과를 갈린다.
pre-filtering 3.0 — 가장 일반적(공식)
· hybrid 쿼리 최상위 filter 하나 — 실행 중 모든 서브쿼리에 공통 적용, 중복 쓰기 불필요
· 반드시 단일 질의 객체 — 복수 조건은 bool로 감싼다
· 서브쿼리 자체 필터와는 AND로 결합(더 좁아짐)
· k-NN에도 필터가 push-down 되어 통과 문서만 점수화
post-filtering 2.13 — 패싯 탐색용
· 검색 요청의 post_filter — 결과 회수 이후 표시 목록만 좁힘
· 정규화 프로세서는 필터링된 결과에 다시 동작 → 점수가 재정규화된다(공식 주의)
· 집계 결과에는 영향 없음 — 패싯 카운트는 필터 전 질의 기준(공식: faceted search 용도)
· 실행 중 필터링이 필요하면 pre-filter로(공식 안내)
집계와 결합 2.13
hybrid 쿼리와 모든 종류의 집계를 함께 쓸 수 있다(공식 2.13).
대부분의 집계는 hybrid 쿼리가 돌려준 문서 부분집합 위에서 동작하고, 유일하게 global 집계만 전체 문서를 대상으로 한다.
공식 예제: hybrid(term+bool) + sum(가격 합) + terms(키워드 버킷) — 히트 4건 기준 합계 680·버킷 3개 반환.
팁: 집계 대상 필드는 keyword·integer 등 특수 타입이 통상적(공식). collapse(다음 시트) 사용 시 집계는 collapse 이전 결과에 돌므로 주의.
결과를 다루는 6가지 공식 확장
하이브리드 결과를 정렬·페이지·그룹·해설하는 공식 문서 6편 요약 — 배지는 도입 버전이다.
① 정렬 2.16
sort 지정 시 그 기준으로 인출·정렬되고 점수는 null이 된다(_score 정렬일 때만 점수 존재).
3.5부터 min_score는 정규화·결합 이후에 적용되며, _score 정렬(또는 무정렬)일 때만 사용 가능 — 다른 정렬과 함께 쓰면 오류(공식).
② 페이지 2.19
pagination_depth = 샤드·서브쿼리당 메모리 유지 결과 상한. from>0이면 필수, index.max_result_window 초과 불가.
값을 페이지 이동 내내 고정해야 순서가 일정하다 — depth가 정규화 전 표본을 바꾸기 때문(공식). 깊은 페이지는 성능 비용 증가.
③ search_after 2.16
정렬 기준 + 이전 페이지 마지막 sort 값을 커서로 넘겨 다음 페이지를 얻는 라이브 커서 방식(공식: sort 뒤 search_after).
깊은 페이지에서 from/size 방식보다 안정적 — 프로젝트 게시 판(current 별칭) 페이징에도 같은 원리를 적용할 수 있다.
④ collapse 3.1
필드 값별로 최고 점수 문서만 남겨 중복을 제거(keyword·숫자형). 결과 수는 size로 통제. 주의(공식): 집계는 collapse 이전 결과에 실행, 페이지 분포가 달라질 수 있어 depth 증가 고려, collapse 응답 프로세서와는 결과가 다를 수 있다.
⑤ inner_hits 3.0
중첩(nested) 객체·자식 문서 중 무엇이 매칭됐는지 회수. 하이브리드에서는 각 서브쿼리가 inner hit 관련성으로 부모를 고르고, 부모 순위는 정규화된 하이브리드 점수로 결정된다. inner_hits 응답에는 정규화 전 원점수가 보인다(공식).
⑥ explain 2.19
explain=true + 파이프라인에 hybrid_score_explanation 응답 프로세서 필수 — 정규화 기법·결합 계산을 문서별로 해설(공식).
자원·시간이 크게 드는 연산 — 운영 클러스터에선 문제 해결용으로만. _explain 단일 문서 엔드포인트는 search_pipeline 미지원(정규화 통계를 만들 수 없어).
버전 타임라인 (공식 도입 순서)
로컬 OpenSearch 2.13 기준 판정 + T13 실측 대조
프로젝트 로컬 엔진은 2.13.0(06호). 공식 최신 문서의 기능이 2.13에서 쓸 수 있는지 도입 버전으로 판정한다 — 청록=사용(실측) · 파랑=버전상 가능(미검증) · 주황=불가(대체안).
| 기능 | 도입 | 로컬 2.13 판정 | 대체안·비고 |
|---|---|---|---|
| hybrid 쿼리 | 2.11 | 사용 — 실측 | test-knn.py·test-pipeline.sh로 종단 실측(06호) |
| normalization processor | 2.10 | 사용 — 실측 | min_max+arithmetic_mean 구성 동작 확인 |
| phase_results_processors 키 | 2.10 | 함정 실측 | 복수형 필수 — 단수형은 "지원하지 않는 파라미터" 오류(06호) |
| 집계 결합 | 2.13 | 버전상 가능 | 도입=2.13이나 프로젝트 미검증 — 필요 시 실측 후 기록 |
| post_filter | 2.13 | 버전상 가능 | 같음 — 재정규화 주의(공식) 적용 시 실측 필요 |
| sort 결합 | 2.16 | 불가 | 2.13 미포함 — 앱에서 재정렬로 대체 |
| search_after | 2.16 | 불가 | 앱 커서로 대체 |
| pagination_depth | 2.19 | 불가 | from+size 공식(2.13 동작)으로만 |
| RRF score ranker | 2.19 | 불가 | 하이브리드 결합은 normalization 경로만 가능 — 2.19+ 전환 시 선택지 확대 |
| explain | 2.19 | 불가 | hybrid_score_explanation 프로세서도 미보유 |
| top-level pre-filter | 3.0 | 불가 | 공식 동등형으로 대체 — 각 서브쿼리에 bool.filter / knn.filter 직접 부착(공식 예제가 동등형을 명시) |
| collapse | 3.1 | 불가 | 앱 그룹핑으로 대체 |
| min_score 후처리 | 3.5 | 불가 | 앱 임계 필터로 대체(kev 게이트가 동일 역할) |
공식 이론 ↔ 프로젝트 실측 — 맞아떨어지는 점
· 공식 「min_max·L2는 이상치에 민감」 ↔ 프로젝트 역전 사례: 이 코퍼스에서 kNN 단독(bge-m3) 5/5 > 하이브리드 4/5 — 결합이 손해인 질의 실증(06호 T13)
· 공식 weights(합 1.0·절 수 일치) ↔ 가중치 스윕 [0.3/0.5/0.7] 실측으로 선택 프로토콜 초안
· 공식 query-then-fetch 구조 ↔ phase_results_processors 복수형 키 실측 함정 기록
· 공식 size 권고(100~200) ↔ OSB 10k 실측: kNN p50 3.7ms·195ops — size 증분은 지연 증가
프로젝트 운영 규칙(공식과 충돌 없음 확인)
· 임베딩은 문서·질의 모두 같은 모델(bge-m3 1024차 채택 권장, nomic 768차 병행) — 7.2절 요건
· 하이브리드 도입 여부는 평가셋 스윕으로 판단 — 역전 사례를 기록 의무로 명문화(18호 단원3)
· 판 게시 전 kev 근거검증(conf≥0.5) — min_score 후처리(3.5)가 없어도 앱 게이트가 같은 역할
· 2.19+ 전환 시 후보: RRF 병행 비교(공식 권고의 "측정 전 출발점"), pagination_depth로 깊은 페이지
공인 출처 14편 — 분석 대상 전체 목록
docs.opensearch.org 「Hybrid search」 섹션의 연결 문서를 빠짐없이 수집해(2026-11-17) 본 학습자료를 만들었다. 학습 순서는 번호 순.
공식 01Hybrid search (메인) — 개념·5단계 설정·프로세서 소개docs.opensearch.org/latest/vector-search/ai-search/hybrid-search/index/ 공식 02Reciprocal rank fusion — RRF 공식·프로세서 선택표(2.19)docs.opensearch.org/latest/vector-search/ai-search/hybrid-search/rrf/ 공식 03Normalization processor — 기법·bounds·튜닝 전문(2.10)docs.opensearch.org/latest/search-plugins/search-pipelines/normalization-processor/ 공식 04Score ranker processor — rank_constant·weights(2.19)docs.opensearch.org/latest/search-plugins/search-pipelines/score-ranker-processor/ 공식 05Hybrid 쿼리 DSL — queries 배열·파라미터docs.opensearch.org/latest/query-dsl/compound/hybrid/ 공식 06Pre-filtering(3.0) — top-level filter·동등형 예제docs.opensearch.org/latest/vector-search/ai-search/hybrid-search/pre-filtering/ 공식 07Post-filtering(2.13) — 재정규화·패싯 탐색docs.opensearch.org/latest/vector-search/ai-search/hybrid-search/post-filtering/ 공식 08집계 결합(2.13) — 부분집합 집계·global 예외docs.opensearch.org/latest/vector-search/ai-search/hybrid-search/aggregations/ 공식 09정렬 결합(2.16) — 점수 null·min_score(3.5)docs.opensearch.org/latest/vector-search/ai-search/hybrid-search/sorting/ 공식 10페이지(2.19) — pagination_depth 규칙docs.opensearch.org/latest/vector-search/ai-search/hybrid-search/pagination/ 공식 11search_after(2.16) — sort 커서 페이징docs.opensearch.org/latest/vector-search/ai-search/hybrid-search/search-after/ 공식 12collapse(3.1) — 그룹 대표 문서·주의점docs.opensearch.org/latest/vector-search/ai-search/hybrid-search/collapse/ 공식 13inner_hits(3.0) — nested 매칭·원점수 표시docs.opensearch.org/latest/vector-search/ai-search/hybrid-search/inner-hits/ 공식 14explain(2.19) — 점수 해설·운영 주의docs.opensearch.org/latest/vector-search/ai-search/hybrid-search/explain/프로젝트 문서 연결
※ 내부 칩 링크는 게시 위치(폴더 구조)에 따라 경로가 다르다 — zip 게시판에서는 output/ 폴더 구조 유지가 전제(19 시트9 발행 규칙 참조).