# 건설도면 로컬 보완 환경 구성 및 검증 결과

AWS 에뮬레이터 검증([시나리오 검증 보고서](<C:/work/서치독_프로젝트/output/05_KIKUM_건설도면_AWS에뮬레이터_시나리오검증_20261113.md>))에서 "실제 환경 필수"로 판정했던 항목 중, 이 머신의 로컬 자원으로 즉시 보완 가능한 것을 구성·실험한 기록이다. 구성 방법과 운영 메모는 [local/README.md](<C:/work/서치독_프로젝트/aws-emulator/local/10_README.md>)에 있다.

| 항목 | 내용 |
| --- | --- |
| 구성일 | 2026년 11월 13일 |
| 하이브리드 구성 | AWS Emulator 1.0.342(9297) + 로컬 OpenSearch 2.13.0(9200) + 로컬 Ollama(11435) + 로컬 PostgreSQL 18(5432) + Tesseract 5.5 |
| 판정 기준 | 에뮬레이터 검증과 동일 — "실제와 동일한 증거로 동작하는가" |

## 1 기존 자원 확인과 추가 구성

| 구성요소 | 상태 | 확인·조치 |
| --- | --- | --- |
| LLM 서빙 (기존) | Ollama 0.40.12 @ `127.0.0.1:11435` | `mica-v0.5-4b-q8-hermes64k`(4.2B, qwen3.5계열, 256K ctx, tools/thinking) · `mica-v0.5-4b-q8-nt` 상주. LLM 응답 실측: `think:false`+짧은 질의 0.4초, 긴 선별 프롬프트 37초(CPU ~7 tok/s) |
| 임베딩 모델 (추가) | `nomic-embed-text` (274MB, 768차) | 기존 인스턴스에 pull. `/api/embed` 실측 — 문서·질의 동일 모델 사용(7.2절 요건) |
| 로컬 OpenSearch (추가) | 2.13.0 tarball(arm64) @ `127.0.0.1:9200` | 공식 배포판 — k-NN·neural-search·flow-framework 플러그인 포함. 단일노드, 보안 비활성(개발), 힙 2GB, 비root 계정 실행 |
| 로컬 PostgreSQL (추가) | PG 18.6 (apt) @ `127.0.0.1:5432` | 에뮬레이터 RDS(SQLite 기반) 대체용 |
| OCR (추가) | Tesseract 5.5.0 + `kor`/`eng` | 에뮬레이터 Textract(문자 인식 스텁) 대체용 |

## 2 검증 결과

### 2.1 L1 · OCR 실측 (T21/S01) — Tesseract

- **정상 사례**: `PUMP` 도면 → `PUMP` 인식, confidence 84, bbox=(40,40,276,86) — 원문 위치·정확 일치
- **오인식 사례(기록됨)**: `P101` 도면 → `Pil`(conf 84) / 화이트리스트 적용 시 `P1`. 합성 비트맵 폰트의 슬래시 0·세리프 1이 원인. 2배 확대에도 동일 → 저해상도 태그의 OCR 한계를 실제 사례로 확보
- 판정: **실제 OCR 엔진으로 동작** (에뮬레이터 Textract는 안티앨리어싱 무관 동일 출력 = 스텁이었음과 대조). T21의 "원문과 추출 태그 대조·오인식 목록" 완료 증거를 생산할 수 있음. 실도면 스캔 품질 실험은 여전히 실자료 필요.

### 2.2 L2 · PostgreSQL 18 제한 역할·RLS (T26/T28, 17.6/17.9/19.7절)

| 시험 | 결과 |
| --- | --- |
| 제한 역할 report_reader | `SELECT count(*)=3` 허용, `INSERT` → `permission denied for table work_records` ✓ |
| RLS (user_alpha, policy project='ALPHA') | user_alpha는 `1|ALPHA` 1건만 조회 — BETA 자료 미노출 ✓ |
| 소유자/슈퍼유저 우회 (17.9절 예외 규칙) | postgres는 `1|ALPHA, 2|BETA` 모두 조회 ✓ (BYPASSRLS 역할은 GRANT 없이는 여전히 거부 — 권한과 RLS가 별개임도 확인) |
| 읽기 전용 트랜잭션 | SELECT 9.5 허용, INSERT → `cannot execute INSERT in a read-only transaction` ✓ |
| statement_timeout 300ms | `canceling statement due to statement timeout` ✓ |
| 역할 기본 설정 | `ALTER ROLE ... SET statement_timeout='5s'` → rolconfig 반영 ✓ |

판정: 에뮬레이터 RDS에서 불가했던 T26 심화·T28 권한 시험 전 항목을 **실제 PG 18에서 실증**.

### 2.3 L3 · 임베딩 + k-NN + 하이브리드 (T12/T13, 7.2/7.3절, 5.2절)

| 실험 | 결과 |
| --- | --- |
| k-NN (질의 "P101이 표시된 최신 도면과 위치") | `D001 B 0.9895 > D001 A 0.9834 > D002(P110) 0.9165` — 최신 개정 1위 ✓ |
| BM25 (동일 개발셋) | D001 A/B만 후보(P110 제외) — 벡터가 관련 문서를 더 넓게 회수하는 차이 관찰 ✓ |
| 하이브리드 + 점수 정규화 | min_max 정규화 + 산술평균 결합 동작(`phase_results_processors`). 결과 `D001 A 0.9582 > D001 B 0.5005 > D002 0.0005` — **결합 방식에 따라 A/B 순위가 뒤집힘**(BM25의 짧은 텍스트 우세가 반영) → 7.3절 "결합 기준을 평가로 결정" 필요성의 실증 |
| 유사 식별자 (P110 질의) | `D002 0.9869` 1위 — P101/P110 의미 구분 ✓ |

판정: **T12·T13가 로컬에서 실제 증거로 완전 동작**. 주의: ARM64에서 nmslib 엔진은 색인 중 JVM 세그폴트(공식 빌드 결함) → `engine:"lucene"` 사용 필수.

### 2.4 L4 · 종단 통합 시험 (문서 12절 예제의 실재화, run_id `seachdog-e2e-001`)

```
S3 원본 보관(sha256 기록) → Tesseract OCR(정상 PUMP/오인식 P101 기록)
→ OpenSearch v1 적재(BM25+벡터, bulk errors:false) → BM25 후보(D003 B, score 0.8288)
→ Ollama LLM 선별(format=json, 34 tok):
   {"results":[{"candidate_id":"DEMO:D003:B:p1","decision":"accept","reason":"개정 B이고 PUMP 표시됨"}]}
→ 17.5절 검증: pass (JSON·허용값·ID 대사)
→ v2 릴리스 빌드 + 별칭 원자 전환(acknowledged, v1 2건 보존)
→ SQS 변경 이벤트 발행(event_id/run_id 포함 왕복 OK)
→ 최종 재조회: current 판 = DEMO:D003:B:p1 rev=B review=approved 1건
```

판정: 문서 2절의 논리 흐름(원본→추출→적재→검색→LLM 선별→게시→이벤트→재조회)이 에뮬레이터+로컬 하이브리드로 **종단 실증**됨. LLM은 4B 소형 모델이나 가이드 8.1절 프롬프트 계약·17.5절 검증 규칙을 그대로 통과.

## 3 종합: 이전 보고서 판정의 갱신

| 이전 판정 (에뮬레이터만) | 갱신 (하이브리드) |
| --- | --- |
| T12 임베딩 검색 — 불가 | **가능** (로컬 OpenSearch k-NN + nomic) |
| T13 하이브리드 — 불가 | **가능** (정규화 파이프라인 포함, 결합 기준 비교 실험까지) |
| T14 LLM 선별 — 파이프라인만 가능 | **품질 검증까지 가능** (로컬 LLM 응답 검증 실증) |
| T21 OCR 품질 — 불가 | **가능** (실측·오인식 기록. 실도면 스캔 품질은 실자료 필요) |
| T26/T28 RLS·제한 역할 — 불가 | **가능** (로컬 PG 18 전 항목 통과) |
| fgac 세부 권한(T28) — 불가 | 유지 (실제 환경 필수) |
| Neptune/AOSS/실제 AWS 규모 성능 — 불가 | 유지 (실제 환경 필수) |

문서 원칙 재확인: 실행계획 4.3절 "모델 단계가 빠진 경우 전체 흐름 검증이 끝났다고 판정하지 않는다" — 이제 모델 단계까지 포함한 흐름을 이 머신에서 재현할 수 있게 되었으므로, T17 종단 평가의 **실험 인프라**는 갖추어짐. 단 실제 도면 데이터·도메인 정답·운영 환경 검증(T28 전체)은 여전히 실환경 과제.

## 4 kev-9b 근거 지지(grounding) 검증 — 2026-11-14 추가

사용자 확인으로 메인 LLM 토폴로지를 정정하고, 검증기 kev-9b를 통합했다.

**서빙 토폴로지 정정**: 메인 챗 = `llm-gateway(8092) → ornith-vllm(8001, vLLM, Ornith-1.5-9B-FP8 루트 + NVFP4 별칭, 262K ctx, dflash)`. kev/jev-9b(8009)는 메인이 아닌 **검증기**(Qwen3.5-9B-Base + LoRA r16 + pointer head, System One 프로토콜). 11435 Ollama(mica)는 보조. `/root/models/`에 35B는 없음(9B 계열이 실체). WSL 종료 시 vLLM 컨테이너도 내려감 → `docker start ornith-vllm`(로드 ~90초).

**메인 모델 T14 재검증**: 가이드 8.1절 3-후보 선별을 게이트웨이 경유로 실행 — **3초, 3-후보 전부 정확**(D001:B accept, D001:A 과거개정 reject, D002 다른설비 reject), 17.5절 검증(허용값·ID 대사) 통과.

**kev-9b grounding 실측** (`local/test-grounding.sh`, GPU cuda bf16, RTX Spark N1X):

| 사례 | 근거 | 판정 | 확률 | 소요 |
| --- | --- | --- | --- | --- |
| 근거가 판단을 지지 | D001 B 문서에 P101 표시 기록, accept 주장 | **supported** | 0.949 | 1.3s |
| 근거와 판단 모순 | P110 문서에 P101 표시 주장 | **contradicted** | 0.966 | 1.1s |
| 존재하지만 지지하지 않는 인용 | 표시 기록만 있고 정비주기 주장 | **insufficient_evidence** | 0.988 | 1.0s |

판정: 문서 17.5절 "존재하는 문구를 엉뚱한 관계의 근거로 사용한 경우도 실패다"의 3유형을 검증기가 구분. **03/grounding 노드(근거가 판단을 지지하는지)가 로컬에서 실제 증거로 동작**.

**파이프라인 통합**: `test-pipeline.sh` 5.5단계 추가 — LLM accept 항목에 대해 kev grounding을 호출하고 `supported`만 게시 유지, 미지지 시 needs_review 강등(문서: "형식 통과와 별개로 근거 부적합 탐지"). 최종 실행: 메인 LLM(Ornith) 선별 3초 → kev grounding supported(0.829) → v2 게시·별칭 전환 → SQS 이벤트 발행 → current 판 approved 1건 — **8단계 전부 단일 실행으로 통과**.

## 5 A그룹 후속 실험 — 2026-11-14 추가

에뮬레이터·로컬 하이브리드로 불가했던 항목의 후속 기술 과제(선택 가능 그룹)를 5건 실험했다. 스크립트는 모두 `local/` — `test-t24.sh`, `test-embed-compare.sh`, `test-relation.sh`, `test-ocr-vision.sh`, `run-osb.sh`.

### 5.1 T24 온톨로지 형식·제약 검사기 구현과 파이프라인 통합 (S04, 17.4절·21.24절)

**구성**: 관계 사전·규칙 `t24-rules-v1.json`(관계 4유형 shown_in/supersedes/part_of/connected_to, 허용 출발·도착 유형쌍, 방향, 실패 코드 E101~E110/H201) + 기준 개체판 `t24-baseline.json`(개체 7종, 문서별 개정 order·status·valid_until, S3 원문 색인) + 검사기 `t24-check.py`(코드·JSON 필수 최소).

**단위 시험** (`test-t24.sh`, 13사례 기대 대조 — 21.24.2~3):

| 사례 | 기대 | 실제 |
| --- | --- | --- |
| R001 정상 shown_in(근거 bbox 포함) | pass | pass ✓ |
| R002 없는 개체 참조 P999 | E103 | E103 ✓ |
| R003 근거 누락 | E107 | E107 ✓ |
| R004 무효 개정 rev C | E106 | E106 ✓ |
| R005 방향 뒤집힘(문서→설비) / R005b 유형 불일치(계통→문서) | E105 / E104 | E105 / E104 ✓ |
| R006 supersedes 역순(A→B) / R006b 정상(B→A) | E109+E110 / pass | 일치 ✓ |
| R007 superseded 개정 근거 | E109 | E109 ✓ |
| R008 근거 참조 대상 없음 / R010 필수 ID 없음 / R011 사전 밖 유형 | E108 / E101 / E102 | 일치 ✓ |
| R009 식별 신뢰 0.35 | hold(H201) | hold ✓ |

**기대 대조 13/13 일치.** JSON Schema 구조 검사가 못 하는 참조 존재(E103)·유효 기간(E109)·개정 순서 비교(E110)가 코드 검사로 검출됨을 실증. 결과물에 규칙 버전·기준판 버전·후보 해시를 기록하고 `review_status=None`을 유지(21.24.4 "검사를 통과해도 업무상 사실성 승인 칸은 비워둔다").

**파이프라인 통합** (`test-pipeline.sh` 5.7단계): 승인 문서에서 관계 후보 4건 생성(정상 2 + 고의 실패 2) → T24 검사 → pass만 게시 첨부. 실측: `REL-D003-shown`·`REL-D003-partof` pass, `REL-bad-ref`(E103)·`REL-bad-dir`(E104) 게이트 제외, 최종 current 판 문서에 `relations=['REL-D003-shown']` 첨부 — **T24→T15→T16 흐름의 기계 검사 구간이 종단에서 동작**.

### 5.2 한국어 임베딩 비교 — bge-m3 vs nomic-embed-text (T12, 7.2절)

`test-embed-compare.sh` — 한국어 서술 문서 6건을 각 모델로 색인(별도 인덱스, 동일 lucene HNSW), 한국어 질의 5개의 1위 정확도·지연 비교.

| 질의 | nomic(768차) | bge-m3(1024차) |
| --- | --- | --- |
| P101이 표시된 최신 도면 | **2위**(A/B 순서 역전 0.9679/0.9656) | **1위** ✓ |
| PUMP가 표시된 최신 도면 | 1위 ✓ | 1위 ✓ |
| P110이 표시된 도면 | 1위 ✓ | 1위 ✓ |
| 예방정비 주기 기록 문서 | 1위 ✓ | 1위 ✓ |
| 태그가 흐리게 찍힌 도면(ID 없는 의미 질의) | **탈락(0위)** | **1위** ✓ |
| 합계 | 3/5 | **5/5** |
| 평균 질의 임베딩 / 검색 | 168ms / 26ms | 212ms / 25ms |

판정: 한국어·의미 질의·"최신" 뉘앙스에서 **bge-m3 완승**. 지연은 26% 느리나 절대값 212ms로 충분, 모델 크기 1.2GB(공급 완료). 7.2절 "문서·질의 동일 모델" 요건 유지 시 **bge-m3 채택 권고**(전환은 매핑 차원 768→1024 변경).

### 5.3 kev-9b 관계 사실성 검수 확장 (17.4.2절)

`test-relation.sh` — T24 통과 관계의 근거 지지(사실성) 3-way 판정. "형식에 맞는 connected_to라도 원문이 뒷받침하지 않으면 승인하지 않는다"의 검증기 실측.

| 사례 | 중립 문구 판정 | 비고 |
| --- | --- | --- |
| shown_in 지지(표시 기술 직접 존재) | **supported** 0.920 | |
| 표시 설비 모순(P110 주장↔P101 기술) | **contradicted** 0.173 | 정판, 낮은 신뢰도 |
| connected_to 근거 없음(존재 기술만 있음) | **insufficient_evidence** 0.968 | 17.4.2 핵심 사례 |
| 방향 뒤집힘(도면→설비) | **contradicted** 0.131 | |
| supersedes 지지(개정 이력 존재) | **supported** 0.867 | |

**운영 원칙 실증**: 판정문에 "T24 검사 통과"처럼 이전 게이트 결과를 포함하면 supported로 편향(2건 오판, conf 0.243/0.742) → **검증기 입력은 질문·주장·근거로 한정**하고 게이트 이력은 분리해야 한다. 중립 문구에서는 5/5 정판(~0.7s/건). 사실성 게이트는 T24(형식)와 보완적이며 T15 사람 검수를 대체하지 않는다는 17.4.2절 구분이 그대로 성립.

### 5.4 OCR 비교 — Tesseract vs Ornith 비전, PaddleOCR 가용성 (T21/S01)

| 입력 | Tesseract 5.5 | Ornith-1.5-9B-Vision(8092) |
| --- | --- | --- |
| sample_pump.png (PUMP) | **PUMP** ✓ conf 84 | 'PUP' ✗ (5.8s) |
| sample_p101.png (P101) | 'Pil' ✗ conf 84 | 'P4H1' ✗ (0.4s) |

합성 비트맵 폰트는 9B 비전 모델도 못 읽었다(오히려 Tesseract가 PUMP는 정확). 판정: 해당 샘플은 **엔진 공통의 데이터 품질 스트레스 사례**이며, 실도면 스캔 품질 비교는 실자료 수령 전까지 불가라는 종전 판정 유지. 비전 경로 자체는 파이프라인 대체 OCR로 기계적 동작 확인.

**PaddleOCR ARM64 불가(실증 2건)**: ① PyPI `pip install paddlepaddle` → `No matching distribution found for paddlepaddle`(aarch64 휠 미배포) ② 공식 docker 이미지 `paddlepaddle/paddle:2.6.2` → 단일 아키텍처(amd64) 매니페스트. 이 머신(ARM64 WSL)에서는 소스 빌드 또는 x86 에뮬레이션 외에 불가 — 비교 대상에서 제외하고 기록.

### 5.5 OpenSearch Benchmark 구성 (T17 성능 기반, 5.2절)

제약 실측: OSB 2.5.0은 Python ≥3.10,<3.14 요구 → WSL 기본 3.14에서 pip 설치 불가(버전 목록 전부 제외됨), 공식 docker 이미지 미배포. 우회 구성: 멀티아키텍처 공식 `python:3.12-slim` 상시 컨테이너(`osb-runner`)에 pip 설치, `--network host`·benchmark-only 파이프라인으로 로컬 9200 측정. 재현: `run-osb.sh`.

| 작업 | 평균 처리량 | p50 지연 | p99 지연 | 오류율 |
| --- | --- | --- | --- | --- |
| match-all(BM25 계열) | 96.6 ops/s | 7.9ms | 21.8ms | 0% |
| kNN-1024차 | 138.5 ops/s | 6.1ms | 10.8ms | 0% |

판정: **측정 도구가 이 머신에서 구동됨**(smoke 규모 6건, 단일 클라이언트). 실규모 성능 수치(T28/G4)는 실자료·실환경 필수 — 여기서는 도구 체인과 워크로드 교체 경로 확보가 산출물.

## 6 T27·실패 경로 로컬 검증 완료 — 2026-11-14 추가 (G2 잔여 조건)

[충족도 종합판정](<C:/work/서치독_프로젝트/output/07_KIKUM_건설도면_시나리오충족도_종합판정_20261114.md>) §6-C의 로컬 검증 7건을 전부 실행했다.

### 6.1 T27 최소 동기화 소비자 — 4시나리오+멱등+판 일관성 18/18 통과

**소비자 설계** (`t27-consumer.py` + `test-t27-events.sh`): 이벤트 수신 → ①같은 event_id면 **DUPLICATE**(멱등, 원장 `seachdog_event_ledger`) → ②entity 최신 버전 이하면 **STALE**(역순, 상태 `seachdog_entity_state`, GET _doc 실시간 조회) → ③변경 문서는 **동일 게이트**(LLM 선별 17.5절 검증 + kev grounding + 신뢰도 임계 0.5) 통과 후에만 → ④새 판(v{N+1}) reindex 구성 → **별칭 원자 전환**(이전 판 보존) → 원장·상태 기록 → 하류 SQS 이벤트. 게이트 미통과·오류는 **BLOCKED(보류)** — reject로 바꾸지 않음(17.5.4).

| 시나리오 | 결과 |
| --- | --- |
| 변경(개정 C 도착) | APPLIED v3 — rev C approved 1건, v2 보존, 하류 SQS 발행 ✓ |
| 삭제 | APPLIED v4 — current 0건, v3 이력 보존 ✓ |
| 중복(동일 event_id 재전송) | DUPLICATE — 새 판 미생성·상태 불변 ✓ |
| 역순(개정 B 이벤트 늦게 도착, 2≤4) | STALE — 기록만 하고 미적용 ✓ |
| 같은 판 버전 일관성 | 전환 전 판을 고정한 실행은 전환 후에도 동일 판 조회(alias=0건 vs 고정 판=1건) ✓ |
| 재실행 멱등 | 파이프라인 동일 입력 재실행 — current 1건·v1 2건, 중복 없음 ✓ |

**시험이 발견해 고친 결함 2건**: ① `_bulk` 본문 종결 개행 누락(400 오류) ② 상태 읽기를 검색으로 해서 삭제 직후 1초 미만 이전 값 관측(refresh 지연) → GET _doc 실시간 조회로 수정. 이력은 원장 인덱스에 영구 기록.

### 6.2 실패 경로 9/9 통과 (`test-failure-paths.sh`)

| 시험 | 결과 |
| --- | --- |
| LLM 응답 결함 4종(타임아웃·잘린 JSON·허용값 밖 decision·ID 불일치) | 전부 **needs_review(보류)** — reject 아님(17.5.4) ✓ |
| kev grounding 신뢰도 임계(0.5) 단위 4사례 | 저신뢰 supported 0.30 → 미통과, 0.90 → 통과, contradicted/insufficient → 미통과 ✓ |
| BLOCKED 종단(관련 없는 변경 이벤트) | 게이트 차단·새 판 미생성·원장 blocked+사유 기록(재검수 대기열) ✓ |
| T24 검사 후 후보 수정(개정 B→A) | 해시 불일치 감지 → 재검사에서 E109 검출 — 승인 자동 이월 금지(18.2절 C06) ✓ |
| kev-9b 정지 상태 파이프라인 | "grounding 생략 기록" 명시 후 완주(무조건 통과 아님), 재기동 확인 ✓ |

**시험이 발견해 고친 결함 1건**: 소비자의 선별·grounding 네트워크 호출이 try 밖에 있어 타임아웃이 보류가 아니라 크래시로 번짐 → 예외 처리로 needs_review 반환하도록 수정. 파이프라인 5.5단계에도 신뢰도 임계(supported여도 conf<0.5면 강등) 추가.

### 6.3 bge-m3 전환 종단 재실행

파이프라인 임베딩을 매개변수화(`EMB_MODEL`/`EMB_DIM`, 기본 nomic 768). `EMB_MODEL=bge-m3 EMB_DIM=1024` 실행 — **전 단계 통과**(bulk 무오류, Ornith 선별, kev grounding supported 0.862, T24 게이트, v2 전환, 재조회 approved). 5.2절 비교 결과의 채택 경로가 종단에서도 동작함을 확인.

### 6.4 T24 규칙 v2 — 좌표 기록 계약(E111) 4/4

`t24-rules-v2.json`: 근거 location을 구조화(좌표계·페이지·bbox) 계약으로 강화(17.1절 원문 위치 기록). 신설 코드 E111 — 문자열 location, 허용 밖 좌표계(inch-top-left), bbox 형태 오류를 각각 검출(4/4 대조 일치). v1 결과는 v1 버전 기록으로 유효(규칙 버전 관리, 21.24.4).

### 6.5 OSB 코퍼스 확대 — 10,000건 규모 프로파일 (`test-osb-scale.sh`)

| 작업(10k건, 단일 클라이언트) | 평균 처리량 | p50 | p99 | 오류율 |
| --- | --- | --- | --- | --- |
| match-all | 227.2 ops/s | 3.2ms | 5.8ms | 0% |
| 필터(term revision) | 212.3 ops/s | 3.3ms | 15.0ms | 0% |
| kNN-768차 | 194.7 ops/s | 3.7ms | 6.2ms | 0% |

6건 smoke 대비 지연 증가 없음(세그먼트 1개 머지 효과로 오히려 단축) — 합성 벡터 기반 부하 프로파일이며 임베딩 품질 측정이 아님. 실규모 성능 판정(T28/G4)은 여전히 실자료·실환경 필요.

## 7 T25 다단계 경로 탐색 — 선택 과제의 최소 실증 (2026-11-14 추가)

**방식 선택(17.4.4)**: 로컬 OpenSearch 2.13의 PPL에 `graphlookup` 토큰 없음(실증 — 구문 오류 메시지가 허용 토큰 목록을 나열하고 GRAPHLOOKUP 부재) + 문서의 "실험적 기능" 경고 → **앱 탐색 방식 채택**. 그래프 제품 설치가 아니라 근거가 추적되는 답변(21.25 완료 증거 기준)으로 판정.

**구현** (`t25-paths.py` + `t25-graph-seed.json` + `test-t25-paths.sh`): 승인·게시 관계만(`seachdog_relations_pub` 인덱스, 관측 관계와 파생 구분)으로 BFS 탐색 — 허용 관계 종류·유형별 방향(대칭/순방향)·최대 깊이·권한(양 끝 프로젝트)·경로 내 노드 중복 금지·응답 크기 제한. 영향 판정은 별도 규칙(`t25-impact-rules-v1`: 흐름 방향이 정의된 관계만 순방향 전파, 미정의는 보류)을 관측 관계와 구분해 버전 표기.

**검증표 18/18 통과** (순환 포함 그래프, 권한 경계 ALPHA 노드 포함 시드):

| 시험 | 결과 |
| --- | --- |
| 다단계 경로(P101→P110) | 2경로 반환, 각 홉에 관계 ID+원문 근거(source_ref) ✓ |
| 순환 안전(V202→P101 순환 존재) | 탐색 종료, 도달 집합 정확, 권한 밖 노드 미노출 ✓ |
| 깊이 제한(≤1) | 2홉 목적지 미도달 ✓ |
| 권한 밖 노드(TK-01=ALPHA) | DEMO 범위로는 미도달+사유 표시, 범위 확장 시 도달 ✓ |
| 관계 종류 제한 | connected_to만 허용 시 part_of 경로 미반환 ✓ |
| **도달≠영향**(V201 차단) | 도달 {P101,P110,V202} vs 영향 {P110,V202} — 상류 P101 제외, 규칙 버전 표기, 영향 전파도 권한 준수 ✓ |
| 추론(파생) | connected_to 대칭 파생 5건(전제·규칙 버전 기록, 관측=아님) — 경로 탐색은 관측만 사용, 전제 무효화 → 파생 소멸(잔존 0) ✓ |

판정: 21.25의 완료 증거(경로·추론 결과와 제한·무효화 검증표)를 로컬에서 생산 가능. 시험 과정에서 2건 결함 발견·수정 — ① 파생 문서 색인 시 `_source` 내 메타데이터 `_id` 혼입으로 bulk가 조용히 거부(오류 미검사였음) ② 영향 전파의 권한 미검사(17.4.5 위반). 실데이터 적용 시 관계·흐름 방향·영향 규칙의 도메인 합의가 필요하다.

## 8 선택 과제 4종 완료 — 2026-11-14 추가 (T23·T26·T27배치·T13)

### 8.1 T23 물리연결 후보 추출 프로토타입 — 16/16 통과 (마지막 미구현 태스크)

**구성** (`t23-pipes.py` + `test-t23.sh`): 합성 도면 5사례 생성기(접점 L자·교차·끊긴 선·타 페이지 삼각형·식별 모호) + 기하 검출기. 검출 원리: 축 정렬 세그먼트 검출 → 세그먼트 축 폭 프로파일에서 **접점 도트(폭≥14px)와 선 교차(폭~8px)를 임계 10px/연속 6px로 구분** — "교차점은 항상 연결" 규칙을 쓰지 않는다(17.3 실습 사례). 태그는 tesseract(흰목록 문자+정규화)로 단부 배정, 거리 비<1.4면 모호(conf 0.5). 기하 파라미터는 결과 JSON에 기록(17.3.2).

| 사례 | 판정 | 결과 |
| --- | --- | --- |
| 접점(L자 도트 결합) | 연결 후보 | P101-V201 후보(근거에 도트 좌표) ✓ |
| 교차(도트 없음) | 비연결 | 직결 2건만 생성, 교차 쌍 0건 + '교차-비연결' 기록 ✓ |
| 끊긴 선(근접·무접점) | 비연결 | 후보 0건 + gap 기록 ✓ |
| 타 페이지 표기(단부 삼각형) | 보류 | 후보 0건 + offpage 기록 ✓ |
| 식별 모호(두 태그 근접) | 보류 | conf 0.5 후보 → **T24 H201 hold** ✓ |

**종단 연결**: 후보 location은 T24 v2 좌표 계약을 바로 만족 → T24(3건 pass+1건 hold) → kev 사실성(supported 0.658/0.574 게시, **0.416은 저신뢰로 보류 — 신뢰도 임계 정책이 실제로 걸린 사례**) → 게시(2건) → **T25 경로 탐색에서 T23 접점 관계로 P101→V201 탐색 성공, 교차 쌍 미생성 확인**. 원본은 S3 보관(T07). 시험 중 발견·수정: OCR 흰목록 지정 시 conf가 4~90으로 요동(임계 필터 폐기, 패턴+정규화로 방어), 인접 태그 단어 병합(간격 확대로 해결).

### 8.2 T26 매개변수 질의 계약 — 12/12 통과 (S06)

**3층 방어** (`t26-templates.json` + `t26-run.py` + `test-t26.sh`): ①템플릿 사전 밖 거부+SELECT 검사 ②파라미터 검증(enum/정규식)+인용 이스케이프, SQL은 psql **stdin** 전달(명령 인자 주입면 제거) ③제한 역할 세션(sd_query: SELECT 권한만, statement_timeout=3s, PGOPTIONS 읽기전용).

| 시험 | 결과 |
| --- | --- |
| 정상 질의 2종(unit_history P101 / monthly_totals DEMO 2026-10) | 실행·집계(9.5h) 정상 ✓ |
| 주입 시도 2종(`'; DROP TABLE`, `OR '1'='1`), 허용 밖 프로젝트, 월 형식 위반, 사전 밖 템플릿 | 전부 REFUSED ✓ |
| 변조 템플릿(INSERT SQL) | 실행기 SELECT 검사 거부 ✓ |
| 실행기 우회 직접 INSERT | `permission denied`(역할 권한) ✓ |
| 장기 질의(pg_sleep 6) | 역할 기본 timeout 3s로 취소 ✓ + 테이블 무결성 4행 ✓ |

### 8.3 T27 manifest 배치 소비 — 7/7 통과 (S07 확장)

`t27-batch.py`: manifest 엔트리를 t27-consumer(표준입력)로 적용. **1차: applied=1·blocked=1·failed=1** — 불완전 이벤트(KeyError)가 있어도 나머지 계속 처리. **2차(같은 manifest): duplicate=2·failed=1** — 이미 적용/차단분은 원장으로 스킵(재시작 멱등), 실패분만 재시도. 인덱스·current 불변 확인, manifest 단위 요약(status=partial)을 원장에 기록.

### 8.4 T13 결합 선택 — 가중치 민감도 실측

| 질의(정답) | BM25 | kNN(bge-m3) | 하이브리드 [0.3/0.5/0.7, 벡터] |
| --- | --- | --- | --- |
| P101 최신 도면 | 1 | 1 | 1/1/1 |
| PUMP 최신 도면 | 0 | **1** | **2**/2/2 |
| P110 도면 | 1 | 1 | 1/1/1 |
| 정비주기 문서 | 1 | 1 | 1/1/1 |
| 흐린 태그 도면 | 2 | **1** | 1/1/1 |
| **1위 정확도** | 3/5 | **5/5** | 4/5 (가중치 무관) |

핵심 관찰: ① 이 코퍼스에서는 kNN 단독이 최선 ② **결합이 단독보다 손해인 사례**(PUMP: kNN 1위 → 하이브리드 2위) 실증 — "결합이 항상 우수하지 않다"(7.3절) ③ 단독 간 순위 역전 질의(흐린 태그) 확인 → **선택 프로토콜 초안**: 합의된 평가셋에서 단독×가중치 스윕 → 1위 정확도 최대 조합 채택, 역전 사례를 채택 근거에 기록.

## 9 재현 방법

```bash
# 전제: 에뮬레이터 실행 중(start-emulator.ps1), OpenSearch 기동(start-opensearch.sh), PG/Ollama 구동
wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-pipeline.sh   # 종단(1~8+5.5/5.7)
wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-t27-events.sh  # T27 4시나리오+멱등
wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-failure-paths.sh # 실패 경로(kev 정지/재기동 포함)
wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-t24.sh         # T24 v1 13사례+v2 4사례
wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-t25-paths.sh   # T25 경로·추론 18사례
wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-embed-compare.sh # 임베딩 비교
wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-relation.sh    # 관계 사실성
wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/run-osb.sh          # 검색 벤치마크(6건)
wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-osb-scale.sh   # 검색 벤치마크(10k건)
wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-t23.sh         # T23 물리연결 프로토타입(기하→T24→kev→T25)
wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-t26.sh         # T26 매개변수 질의 계약(PG)
wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-t27-batch.sh   # T27 manifest 배치(부분실패·멱등)
wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-t13-weights.sh # T13 결합 가중치 민감도
# bge-m3 전환 종단: EMB_MODEL=bge-m3 EMB_DIM=1024 를 앞에 붙여 test-pipeline.sh 실행
```

실험 인프라 버전 기록(11.1절 요건): OpenSearch 2.13.0(build 7ec678d) · Ollama 0.40.12 · mica-v0.5-4b-q8-hermes64k · nomic-embed-text(768차) · **bge-m3(1024차, 2026-11-14 추가)** · PostgreSQL 18.6 · Tesseract 5.5.0 · AWS Emulator 1.0.342 · opensearch-benchmark 2.5.0(python:3.12-slim 컨테이너)
