스케일 문제의 실제 숫자(발췌 원문): 「In this example, BM25 gives you 1427 as a score and the vector gives 0.87.」 — 같은 문서(dock 17)에 대해 BM25 1427 vs 벡터 0.87. 21호가 공식 문서 예시(12.4 vs 0.87)로 설명한 정규화 필요성을 현장 발표가 더 극단적인 실측치로 확인한다.
해법도 공식 문서와 동일선상: 「before you combine them you need to normalize it」·「the normalization processor you can configure it, you don't need to code it」 — 클러스터 안에서 설정만으로 돌아간다(22호 Step 4와 동일 경로).
가중치는 실험값: 「we used here 0.34 BM25 and 0.7 for the vector but we just pick up them」 — 0.3/0.7 같은 가중치는 "고른 것"이며 프로젝트 T13의 스윕 프로토콜(가중치는 평가셋으로 결정)이 정당화된다.
3아키텍처: ①BM25+dense 벡터(표준 하이브리드) ②… ③「retrieves a short list with BM25 and then reorders with a cross-encoder」(재순위 2단) — 평가축은 「Relevance, performance and price per query」 + 「recall for how many relevant documents made it at all」.
프로젝트 대조: 평가축(관련성·성능·질의당 비용·재현율)은 06호 T13 스윕 설계와 동일 프레임 — 발표의 벤치마크 축을 그대로 채택할 만하다.
3 V2 — JVector의 하이브리드 확장
하이브리드의 두 다리(발췌): 「You have a lexical leg which does your term dictionary and you do a BM25 on it」 — 어휘 다리(BM25)+벡터 다리 구조를 "leg"라는 용어로 설명. 「That is normalizing or re-ranking different words, different techniques」 — 결합은 정규화 또는 재순위 계열(21호 4번 시트의 프로세서 선택표와 1:1 대응).
JVector의 역할: 기존 k-NN 엔진(루씬·Faiss·NMSLIB)에 더해 JVector 플러그인이 하이브리드 공간에서 차지할 위치 — 「how we actually brought JVector into the hybrid search space, some results, and future thinking」.
생태계 전망: 「a vision of how we see the hybrid search ecosystem within OpenSearch evolve」 — 프로젝트 전환 설계(12호 D-1)의 엔진 선택 슬롯에 JVector를 후보로 추가 검토할 근거.
프로젝트 대조: 로컬 2.13은 lucene 고정(ARM64 nmslib 결함 — 06호). JVector는 신규 플러그인으로 버전·플랫폼 요건 확인이 선행(미검증 — 필요 시 실측 후 기록).
4 V3 — 키워드의 한계와 시맨틱 전환 실무
BM25의 근본 한계(발췌): 「BM25 is just a bag of words」·「It has zero token overlap with the query and BM25 scores it zero」·「The fundamental limit is that BM25 was never designed to understand what humans actually mean」 — "버그가 아니라 설계 그대로"라는 명확한 프레임(22호 시트5의 문서3 누락 장면의 원리 설명).
임베딩의 정의: 「Text embedding captures what text means, not just what words it contains」·「this cosine similarity will become the new relevance signal」.
차원 선택의 실무 기준(발췌): 「we went ahead with the 384, but 768 is more relevant if you have 500,000 to 1 million products」 — 코퍼스 규모에 따른 차원 선택 가이드. 프로젝트의 bge-m3 1024차 채택(한국어 우선)과 배치되지 않음 — 차원은 "정확도 아님, 규모·언어·비용의 균형"임을 뒷받침.
평가 방법: 「a test set of real user queries with human relevance labels」 — 사람 라벨 평가셋. T13 평가셋(5문항)의 확장 방향으로 실사용자 질의+사람 라벨을 지목.
5 3편을 관통하는 교훈 (프로젝트 규약과의 정합)
정규화는 선택이 아니라 전제 — V1의 1427 vs 0.87, V2의 "normalizing or re-ranking" — 21·22호와 현장이 일치.
가중치·차원은 실험값 — V1 "we just pick up them"·V3 규모 기준 → 고정값 복사 금지, 스윕 프로토콜(T13)이 유일한 근거 경로.
평가축의 표준화 — 관련성·지연·질의당 비용·재현율(V1) + 사람 라벨 평가셋(V3) — 배치 전환(711편) 전에 평가셋부터 고도화하라는 방향.
엔진 생태계는 계속 확장 — JVector(V2) 등 신규 후보는 "버전·플랫폼 요건 확인 후 후보 등록"(06호 결함 기록 문화와 동일 절차).
6 블로그 게시 상태와 다음 단계
게시 대기: 블로그 MCP(blog_publish_mcp :8770)가 이 세션 호스트에서 무응답(000) — draft 생성 자체가 불가(26호 R6·재확인 동일). 서버 바인딩·방화벽 확인이 필요하다(MCP팀 문의 항목).
게시 형식 계획(개통 시): 본 문서의 V1~V5를 초안(body_markdown)으로 — source_url에 각 영상 링크, 태그 내부학습,하이브리드검색 — 사람 preview 검수 → publish(confirm=true) → status 해시 대사(26호 §4 절차 그대로).
전량 배치(711편): YT_BATCH_ENABLED 운영 승인 + 게시 일일 한도 상향이 별도 게이트 — 파일럿 3편의 영상당 실측(케이스 생성 수십 초~수분·전사 조회 즉시)을 근거로 문의한다.
7 재현 경로·근거
전사 재취득: aws-emulator/local/pilot.sh transcript --video_id <ID>(토큰은 SSOT 런타임 주입 — 26호 §3.1). 케이스: pilot.sh case --url <watch URL>(case_name 필수).
원문: 학습자료/youtube_transcripts/(3편·provenance 포함). 발췌 인용은 전부 그 원문에서(오탈자는 ASR 특성으로 보존).