건설도면 로컬 보완 환경 구성 및 검증 결과
AWS 에뮬레이터 검증(시나리오 검증 보고서)에서 "실제 환경 필수"로 판정했던 항목 중, 이 머신의 로컬 자원으로 즉시 보완 가능한 것을 구성·실험한 기록이다. 구성 방법과 운영 메모는 local/README.md에 있다.
| 항목 | 내용 |
|---|---|
| 구성일 | 2026년 11월 13일 |
| 하이브리드 구성 | AWS Emulator 1.0.342(9297) + 로컬 OpenSearch 2.13.0(9200) + 로컬 Ollama(11435) + 로컬 PostgreSQL 18(5432) + Tesseract 5.5 |
| 판정 기준 | 에뮬레이터 검증과 동일 — "실제와 동일한 증거로 동작하는가" |
1 기존 자원 확인과 추가 구성
| 구성요소 | 상태 | 확인·조치 |
|---|---|---|
| LLM 서빙 (기존) | Ollama 0.40.12 @ 127.0.0.1:11435 | mica-v0.5-4b-q8-hermes64k(4.2B, qwen3.5계열, 256K ctx, tools/thinking) · mica-v0.5-4b-q8-nt 상주. LLM 응답 실측: think:false+짧은 질의 0.4초, 긴 선별 프롬프트 37초(CPU ~7 tok/s) |
| 임베딩 모델 (추가) | nomic-embed-text (274MB, 768차) | 기존 인스턴스에 pull. /api/embed 실측 — 문서·질의 동일 모델 사용(7.2절 요건) |
| 로컬 OpenSearch (추가) | 2.13.0 tarball(arm64) @ 127.0.0.1:9200 | 공식 배포판 — k-NN·neural-search·flow-framework 플러그인 포함. 단일노드, 보안 비활성(개발), 힙 2GB, 비root 계정 실행 |
| 로컬 PostgreSQL (추가) | PG 18.6 (apt) @ 127.0.0.1:5432 | 에뮬레이터 RDS(SQLite 기반) 대체용 |
| OCR (추가) | Tesseract 5.5.0 + kor/eng | 에뮬레이터 Textract(문자 인식 스텁) 대체용 |
2 검증 결과
2.1 L1 · OCR 실측 (T21/S01) — Tesseract
- 정상 사례:
PUMP도면 →PUMP인식, confidence 84, bbox=(40,40,276,86) — 원문 위치·정확 일치 - 오인식 사례(기록됨):
P101도면 →Pil(conf 84) / 화이트리스트 적용 시P1. 합성 비트맵 폰트의 슬래시 0·세리프 1이 원인. 2배 확대에도 동일 → 저해상도 태그의 OCR 한계를 실제 사례로 확보 - 판정: 실제 OCR 엔진으로 동작 (에뮬레이터 Textract는 안티앨리어싱 무관 동일 출력 = 스텁이었음과 대조). T21의 "원문과 추출 태그 대조·오인식 목록" 완료 증거를 생산할 수 있음. 실도면 스캔 품질 실험은 여전히 실자료 필요.
2.2 L2 · PostgreSQL 18 제한 역할·RLS (T26/T28, 17.6/17.9/19.7절)
| 시험 | 결과 | ||
|---|---|---|---|
| 제한 역할 report_reader | SELECT count(*)=3 허용, INSERT → permission denied for table work_records ✓ | ||
| RLS (user_alpha, policy project='ALPHA') | user_alpha는 `1 | ALPHA` 1건만 조회 — BETA 자료 미노출 ✓ | |
| 소유자/슈퍼유저 우회 (17.9절 예외 규칙) | postgres는 `1 | ALPHA, 2 | BETA` 모두 조회 ✓ (BYPASSRLS 역할은 GRANT 없이는 여전히 거부 — 권한과 RLS가 별개임도 확인) |
| 읽기 전용 트랜잭션 | SELECT 9.5 허용, INSERT → cannot execute INSERT in a read-only transaction ✓ | ||
| statement_timeout 300ms | canceling statement due to statement timeout ✓ | ||
| 역할 기본 설정 | ALTER ROLE ... SET statement_timeout='5s' → rolconfig 반영 ✓ |
판정: 에뮬레이터 RDS에서 불가했던 T26 심화·T28 권한 시험 전 항목을 실제 PG 18에서 실증.
2.3 L3 · 임베딩 + k-NN + 하이브리드 (T12/T13, 7.2/7.3절, 5.2절)
| 실험 | 결과 |
|---|---|
| k-NN (질의 "P101이 표시된 최신 도면과 위치") | D001 B 0.9895 > D001 A 0.9834 > D002(P110) 0.9165 — 최신 개정 1위 ✓ |
| BM25 (동일 개발셋) | D001 A/B만 후보(P110 제외) — 벡터가 관련 문서를 더 넓게 회수하는 차이 관찰 ✓ |
| 하이브리드 + 점수 정규화 | min_max 정규화 + 산술평균 결합 동작(phase_results_processors). 결과 D001 A 0.9582 > D001 B 0.5005 > D002 0.0005 — 결합 방식에 따라 A/B 순위가 뒤집힘(BM25의 짧은 텍스트 우세가 반영) → 7.3절 "결합 기준을 평가로 결정" 필요성의 실증 |
| 유사 식별자 (P110 질의) | D002 0.9869 1위 — P101/P110 의미 구분 ✓ |
판정: T12·T13가 로컬에서 실제 증거로 완전 동작. 주의: ARM64에서 nmslib 엔진은 색인 중 JVM 세그폴트(공식 빌드 결함) → engine:"lucene" 사용 필수.
2.4 L4 · 종단 통합 시험 (문서 12절 예제의 실재화, run_id seachdog-e2e-001)
S3 원본 보관(sha256 기록) → Tesseract OCR(정상 PUMP/오인식 P101 기록)
→ OpenSearch v1 적재(BM25+벡터, bulk errors:false) → BM25 후보(D003 B, score 0.8288)
→ Ollama LLM 선별(format=json, 34 tok):
{"results":[{"candidate_id":"DEMO:D003:B:p1","decision":"accept","reason":"개정 B이고 PUMP 표시됨"}]}
→ 17.5절 검증: pass (JSON·허용값·ID 대사)
→ v2 릴리스 빌드 + 별칭 원자 전환(acknowledged, v1 2건 보존)
→ SQS 변경 이벤트 발행(event_id/run_id 포함 왕복 OK)
→ 최종 재조회: current 판 = DEMO:D003:B:p1 rev=B review=approved 1건
판정: 문서 2절의 논리 흐름(원본→추출→적재→검색→LLM 선별→게시→이벤트→재조회)이 에뮬레이터+로컬 하이브리드로 종단 실증됨. LLM은 4B 소형 모델이나 가이드 8.1절 프롬프트 계약·17.5절 검증 규칙을 그대로 통과.
3 종합: 이전 보고서 판정의 갱신
| 이전 판정 (에뮬레이터만) | 갱신 (하이브리드) |
|---|---|
| T12 임베딩 검색 — 불가 | 가능 (로컬 OpenSearch k-NN + nomic) |
| T13 하이브리드 — 불가 | 가능 (정규화 파이프라인 포함, 결합 기준 비교 실험까지) |
| T14 LLM 선별 — 파이프라인만 가능 | 품질 검증까지 가능 (로컬 LLM 응답 검증 실증) |
| T21 OCR 품질 — 불가 | 가능 (실측·오인식 기록. 실도면 스캔 품질은 실자료 필요) |
| T26/T28 RLS·제한 역할 — 불가 | 가능 (로컬 PG 18 전 항목 통과) |
| fgac 세부 권한(T28) — 불가 | 유지 (실제 환경 필수) |
| Neptune/AOSS/실제 AWS 규모 성능 — 불가 | 유지 (실제 환경 필수) |
문서 원칙 재확인: 실행계획 4.3절 "모델 단계가 빠진 경우 전체 흐름 검증이 끝났다고 판정하지 않는다" — 이제 모델 단계까지 포함한 흐름을 이 머신에서 재현할 수 있게 되었으므로, T17 종단 평가의 실험 인프라는 갖추어짐. 단 실제 도면 데이터·도메인 정답·운영 환경 검증(T28 전체)은 여전히 실환경 과제.
4 kev-9b 근거 지지(grounding) 검증 — 2026-11-14 추가
사용자 확인으로 메인 LLM 토폴로지를 정정하고, 검증기 kev-9b를 통합했다.
서빙 토폴로지 정정: 메인 챗 = llm-gateway(8092) → ornith-vllm(8001, vLLM, Ornith-1.5-9B-FP8 루트 + NVFP4 별칭, 262K ctx, dflash). kev/jev-9b(8009)는 메인이 아닌 검증기(Qwen3.5-9B-Base + LoRA r16 + pointer head, System One 프로토콜). 11435 Ollama(mica)는 보조. /root/models/에 35B는 없음(9B 계열이 실체). WSL 종료 시 vLLM 컨테이너도 내려감 → docker start ornith-vllm(로드 ~90초).
메인 모델 T14 재검증: 가이드 8.1절 3-후보 선별을 게이트웨이 경유로 실행 — 3초, 3-후보 전부 정확(D001:B accept, D001:A 과거개정 reject, D002 다른설비 reject), 17.5절 검증(허용값·ID 대사) 통과.
kev-9b grounding 실측 (local/test-grounding.sh, GPU cuda bf16, RTX Spark N1X):
| 사례 | 근거 | 판정 | 확률 | 소요 |
|---|---|---|---|---|
| 근거가 판단을 지지 | D001 B 문서에 P101 표시 기록, accept 주장 | supported | 0.949 | 1.3s |
| 근거와 판단 모순 | P110 문서에 P101 표시 주장 | contradicted | 0.966 | 1.1s |
| 존재하지만 지지하지 않는 인용 | 표시 기록만 있고 정비주기 주장 | insufficient_evidence | 0.988 | 1.0s |
판정: 문서 17.5절 "존재하는 문구를 엉뚱한 관계의 근거로 사용한 경우도 실패다"의 3유형을 검증기가 구분. 03/grounding 노드(근거가 판단을 지지하는지)가 로컬에서 실제 증거로 동작.
파이프라인 통합: test-pipeline.sh 5.5단계 추가 — LLM accept 항목에 대해 kev grounding을 호출하고 supported만 게시 유지, 미지지 시 needs_review 강등(문서: "형식 통과와 별개로 근거 부적합 탐지"). 최종 실행: 메인 LLM(Ornith) 선별 3초 → kev grounding supported(0.829) → v2 게시·별칭 전환 → SQS 이벤트 발행 → current 판 approved 1건 — 8단계 전부 단일 실행으로 통과.
5 A그룹 후속 실험 — 2026-11-14 추가
에뮬레이터·로컬 하이브리드로 불가했던 항목의 후속 기술 과제(선택 가능 그룹)를 5건 실험했다. 스크립트는 모두 local/ — test-t24.sh, test-embed-compare.sh, test-relation.sh, test-ocr-vision.sh, run-osb.sh.
5.1 T24 온톨로지 형식·제약 검사기 구현과 파이프라인 통합 (S04, 17.4절·21.24절)
구성: 관계 사전·규칙 t24-rules-v1.json(관계 4유형 shown_in/supersedes/part_of/connected_to, 허용 출발·도착 유형쌍, 방향, 실패 코드 E101~E110/H201) + 기준 개체판 t24-baseline.json(개체 7종, 문서별 개정 order·status·valid_until, S3 원문 색인) + 검사기 t24-check.py(코드·JSON 필수 최소).
단위 시험 (test-t24.sh, 13사례 기대 대조 — 21.24.2~3):
| 사례 | 기대 | 실제 |
|---|---|---|
| R001 정상 shown_in(근거 bbox 포함) | pass | pass ✓ |
| R002 없는 개체 참조 P999 | E103 | E103 ✓ |
| R003 근거 누락 | E107 | E107 ✓ |
| R004 무효 개정 rev C | E106 | E106 ✓ |
| R005 방향 뒤집힘(문서→설비) / R005b 유형 불일치(계통→문서) | E105 / E104 | E105 / E104 ✓ |
| R006 supersedes 역순(A→B) / R006b 정상(B→A) | E109+E110 / pass | 일치 ✓ |
| R007 superseded 개정 근거 | E109 | E109 ✓ |
| R008 근거 참조 대상 없음 / R010 필수 ID 없음 / R011 사전 밖 유형 | E108 / E101 / E102 | 일치 ✓ |
| R009 식별 신뢰 0.35 | hold(H201) | hold ✓ |
기대 대조 13/13 일치. JSON Schema 구조 검사가 못 하는 참조 존재(E103)·유효 기간(E109)·개정 순서 비교(E110)가 코드 검사로 검출됨을 실증. 결과물에 규칙 버전·기준판 버전·후보 해시를 기록하고 review_status=None을 유지(21.24.4 "검사를 통과해도 업무상 사실성 승인 칸은 비워둔다").
파이프라인 통합 (test-pipeline.sh 5.7단계): 승인 문서에서 관계 후보 4건 생성(정상 2 + 고의 실패 2) → T24 검사 → pass만 게시 첨부. 실측: REL-D003-shown·REL-D003-partof pass, REL-bad-ref(E103)·REL-bad-dir(E104) 게이트 제외, 최종 current 판 문서에 relations=['REL-D003-shown'] 첨부 — T24→T15→T16 흐름의 기계 검사 구간이 종단에서 동작.
5.2 한국어 임베딩 비교 — bge-m3 vs nomic-embed-text (T12, 7.2절)
test-embed-compare.sh — 한국어 서술 문서 6건을 각 모델로 색인(별도 인덱스, 동일 lucene HNSW), 한국어 질의 5개의 1위 정확도·지연 비교.
| 질의 | nomic(768차) | bge-m3(1024차) |
|---|---|---|
| P101이 표시된 최신 도면 | 2위(A/B 순서 역전 0.9679/0.9656) | 1위 ✓ |
| PUMP가 표시된 최신 도면 | 1위 ✓ | 1위 ✓ |
| P110이 표시된 도면 | 1위 ✓ | 1위 ✓ |
| 예방정비 주기 기록 문서 | 1위 ✓ | 1위 ✓ |
| 태그가 흐리게 찍힌 도면(ID 없는 의미 질의) | 탈락(0위) | 1위 ✓ |
| 합계 | 3/5 | 5/5 |
| 평균 질의 임베딩 / 검색 | 168ms / 26ms | 212ms / 25ms |
판정: 한국어·의미 질의·"최신" 뉘앙스에서 bge-m3 완승. 지연은 26% 느리나 절대값 212ms로 충분, 모델 크기 1.2GB(공급 완료). 7.2절 "문서·질의 동일 모델" 요건 유지 시 bge-m3 채택 권고(전환은 매핑 차원 768→1024 변경).
5.3 kev-9b 관계 사실성 검수 확장 (17.4.2절)
test-relation.sh — T24 통과 관계의 근거 지지(사실성) 3-way 판정. "형식에 맞는 connected_to라도 원문이 뒷받침하지 않으면 승인하지 않는다"의 검증기 실측.
| 사례 | 중립 문구 판정 | 비고 |
|---|---|---|
| shown_in 지지(표시 기술 직접 존재) | supported 0.920 | |
| 표시 설비 모순(P110 주장↔P101 기술) | contradicted 0.173 | 정판, 낮은 신뢰도 |
| connected_to 근거 없음(존재 기술만 있음) | insufficient_evidence 0.968 | 17.4.2 핵심 사례 |
| 방향 뒤집힘(도면→설비) | contradicted 0.131 | |
| supersedes 지지(개정 이력 존재) | supported 0.867 |
운영 원칙 실증: 판정문에 "T24 검사 통과"처럼 이전 게이트 결과를 포함하면 supported로 편향(2건 오판, conf 0.243/0.742) → 검증기 입력은 질문·주장·근거로 한정하고 게이트 이력은 분리해야 한다. 중립 문구에서는 5/5 정판(~0.7s/건). 사실성 게이트는 T24(형식)와 보완적이며 T15 사람 검수를 대체하지 않는다는 17.4.2절 구분이 그대로 성립.
5.4 OCR 비교 — Tesseract vs Ornith 비전, PaddleOCR 가용성 (T21/S01)
| 입력 | Tesseract 5.5 | Ornith-1.5-9B-Vision(8092) |
|---|---|---|
| sample_pump.png (PUMP) | PUMP ✓ conf 84 | 'PUP' ✗ (5.8s) |
| sample_p101.png (P101) | 'Pil' ✗ conf 84 | 'P4H1' ✗ (0.4s) |
합성 비트맵 폰트는 9B 비전 모델도 못 읽었다(오히려 Tesseract가 PUMP는 정확). 판정: 해당 샘플은 엔진 공통의 데이터 품질 스트레스 사례이며, 실도면 스캔 품질 비교는 실자료 수령 전까지 불가라는 종전 판정 유지. 비전 경로 자체는 파이프라인 대체 OCR로 기계적 동작 확인.
PaddleOCR ARM64 불가(실증 2건): ① PyPI pip install paddlepaddle → No matching distribution found for paddlepaddle(aarch64 휠 미배포) ② 공식 docker 이미지 paddlepaddle/paddle:2.6.2 → 단일 아키텍처(amd64) 매니페스트. 이 머신(ARM64 WSL)에서는 소스 빌드 또는 x86 에뮬레이션 외에 불가 — 비교 대상에서 제외하고 기록.
5.5 OpenSearch Benchmark 구성 (T17 성능 기반, 5.2절)
제약 실측: OSB 2.5.0은 Python ≥3.10,<3.14 요구 → WSL 기본 3.14에서 pip 설치 불가(버전 목록 전부 제외됨), 공식 docker 이미지 미배포. 우회 구성: 멀티아키텍처 공식 python:3.12-slim 상시 컨테이너(osb-runner)에 pip 설치, --network host·benchmark-only 파이프라인으로 로컬 9200 측정. 재현: run-osb.sh.
| 작업 | 평균 처리량 | p50 지연 | p99 지연 | 오류율 |
|---|---|---|---|---|
| match-all(BM25 계열) | 96.6 ops/s | 7.9ms | 21.8ms | 0% |
| kNN-1024차 | 138.5 ops/s | 6.1ms | 10.8ms | 0% |
판정: 측정 도구가 이 머신에서 구동됨(smoke 규모 6건, 단일 클라이언트). 실규모 성능 수치(T28/G4)는 실자료·실환경 필수 — 여기서는 도구 체인과 워크로드 교체 경로 확보가 산출물.
6 T27·실패 경로 로컬 검증 완료 — 2026-11-14 추가 (G2 잔여 조건)
충족도 종합판정 §6-C의 로컬 검증 7건을 전부 실행했다.
6.1 T27 최소 동기화 소비자 — 4시나리오+멱등+판 일관성 18/18 통과
소비자 설계 (t27-consumer.py + test-t27-events.sh): 이벤트 수신 → ①같은 event_id면 DUPLICATE(멱등, 원장 seachdog_event_ledger) → ②entity 최신 버전 이하면 STALE(역순, 상태 seachdog_entity_state, GET _doc 실시간 조회) → ③변경 문서는 동일 게이트(LLM 선별 17.5절 검증 + kev grounding + 신뢰도 임계 0.5) 통과 후에만 → ④새 판(v{N+1}) reindex 구성 → 별칭 원자 전환(이전 판 보존) → 원장·상태 기록 → 하류 SQS 이벤트. 게이트 미통과·오류는 BLOCKED(보류) — reject로 바꾸지 않음(17.5.4).
| 시나리오 | 결과 |
|---|---|
| 변경(개정 C 도착) | APPLIED v3 — rev C approved 1건, v2 보존, 하류 SQS 발행 ✓ |
| 삭제 | APPLIED v4 — current 0건, v3 이력 보존 ✓ |
| 중복(동일 event_id 재전송) | DUPLICATE — 새 판 미생성·상태 불변 ✓ |
| 역순(개정 B 이벤트 늦게 도착, 2≤4) | STALE — 기록만 하고 미적용 ✓ |
| 같은 판 버전 일관성 | 전환 전 판을 고정한 실행은 전환 후에도 동일 판 조회(alias=0건 vs 고정 판=1건) ✓ |
| 재실행 멱등 | 파이프라인 동일 입력 재실행 — current 1건·v1 2건, 중복 없음 ✓ |
시험이 발견해 고친 결함 2건: ① _bulk 본문 종결 개행 누락(400 오류) ② 상태 읽기를 검색으로 해서 삭제 직후 1초 미만 이전 값 관측(refresh 지연) → GET _doc 실시간 조회로 수정. 이력은 원장 인덱스에 영구 기록.
6.2 실패 경로 9/9 통과 (test-failure-paths.sh)
| 시험 | 결과 |
|---|---|
| LLM 응답 결함 4종(타임아웃·잘린 JSON·허용값 밖 decision·ID 불일치) | 전부 needs_review(보류) — reject 아님(17.5.4) ✓ |
| kev grounding 신뢰도 임계(0.5) 단위 4사례 | 저신뢰 supported 0.30 → 미통과, 0.90 → 통과, contradicted/insufficient → 미통과 ✓ |
| BLOCKED 종단(관련 없는 변경 이벤트) | 게이트 차단·새 판 미생성·원장 blocked+사유 기록(재검수 대기열) ✓ |
| T24 검사 후 후보 수정(개정 B→A) | 해시 불일치 감지 → 재검사에서 E109 검출 — 승인 자동 이월 금지(18.2절 C06) ✓ |
| kev-9b 정지 상태 파이프라인 | "grounding 생략 기록" 명시 후 완주(무조건 통과 아님), 재기동 확인 ✓ |
시험이 발견해 고친 결함 1건: 소비자의 선별·grounding 네트워크 호출이 try 밖에 있어 타임아웃이 보류가 아니라 크래시로 번짐 → 예외 처리로 needs_review 반환하도록 수정. 파이프라인 5.5단계에도 신뢰도 임계(supported여도 conf<0.5면 강등) 추가.
6.3 bge-m3 전환 종단 재실행
파이프라인 임베딩을 매개변수화(EMB_MODEL/EMB_DIM, 기본 nomic 768). EMB_MODEL=bge-m3 EMB_DIM=1024 실행 — 전 단계 통과(bulk 무오류, Ornith 선별, kev grounding supported 0.862, T24 게이트, v2 전환, 재조회 approved). 5.2절 비교 결과의 채택 경로가 종단에서도 동작함을 확인.
6.4 T24 규칙 v2 — 좌표 기록 계약(E111) 4/4
t24-rules-v2.json: 근거 location을 구조화(좌표계·페이지·bbox) 계약으로 강화(17.1절 원문 위치 기록). 신설 코드 E111 — 문자열 location, 허용 밖 좌표계(inch-top-left), bbox 형태 오류를 각각 검출(4/4 대조 일치). v1 결과는 v1 버전 기록으로 유효(규칙 버전 관리, 21.24.4).
6.5 OSB 코퍼스 확대 — 10,000건 규모 프로파일 (test-osb-scale.sh)
| 작업(10k건, 단일 클라이언트) | 평균 처리량 | p50 | p99 | 오류율 |
|---|---|---|---|---|
| match-all | 227.2 ops/s | 3.2ms | 5.8ms | 0% |
| 필터(term revision) | 212.3 ops/s | 3.3ms | 15.0ms | 0% |
| kNN-768차 | 194.7 ops/s | 3.7ms | 6.2ms | 0% |
6건 smoke 대비 지연 증가 없음(세그먼트 1개 머지 효과로 오히려 단축) — 합성 벡터 기반 부하 프로파일이며 임베딩 품질 측정이 아님. 실규모 성능 판정(T28/G4)은 여전히 실자료·실환경 필요.
7 T25 다단계 경로 탐색 — 선택 과제의 최소 실증 (2026-11-14 추가)
방식 선택(17.4.4): 로컬 OpenSearch 2.13의 PPL에 graphlookup 토큰 없음(실증 — 구문 오류 메시지가 허용 토큰 목록을 나열하고 GRAPHLOOKUP 부재) + 문서의 "실험적 기능" 경고 → 앱 탐색 방식 채택. 그래프 제품 설치가 아니라 근거가 추적되는 답변(21.25 완료 증거 기준)으로 판정.
구현 (t25-paths.py + t25-graph-seed.json + test-t25-paths.sh): 승인·게시 관계만(seachdog_relations_pub 인덱스, 관측 관계와 파생 구분)으로 BFS 탐색 — 허용 관계 종류·유형별 방향(대칭/순방향)·최대 깊이·권한(양 끝 프로젝트)·경로 내 노드 중복 금지·응답 크기 제한. 영향 판정은 별도 규칙(t25-impact-rules-v1: 흐름 방향이 정의된 관계만 순방향 전파, 미정의는 보류)을 관측 관계와 구분해 버전 표기.
검증표 18/18 통과 (순환 포함 그래프, 권한 경계 ALPHA 노드 포함 시드):
| 시험 | 결과 |
|---|---|
| 다단계 경로(P101→P110) | 2경로 반환, 각 홉에 관계 ID+원문 근거(source_ref) ✓ |
| 순환 안전(V202→P101 순환 존재) | 탐색 종료, 도달 집합 정확, 권한 밖 노드 미노출 ✓ |
| 깊이 제한(≤1) | 2홉 목적지 미도달 ✓ |
| 권한 밖 노드(TK-01=ALPHA) | DEMO 범위로는 미도달+사유 표시, 범위 확장 시 도달 ✓ |
| 관계 종류 제한 | connected_to만 허용 시 part_of 경로 미반환 ✓ |
| 도달≠영향(V201 차단) | 도달 {P101,P110,V202} vs 영향 {P110,V202} — 상류 P101 제외, 규칙 버전 표기, 영향 전파도 권한 준수 ✓ |
| 추론(파생) | connected_to 대칭 파생 5건(전제·규칙 버전 기록, 관측=아님) — 경로 탐색은 관측만 사용, 전제 무효화 → 파생 소멸(잔존 0) ✓ |
판정: 21.25의 완료 증거(경로·추론 결과와 제한·무효화 검증표)를 로컬에서 생산 가능. 시험 과정에서 2건 결함 발견·수정 — ① 파생 문서 색인 시 _source 내 메타데이터 _id 혼입으로 bulk가 조용히 거부(오류 미검사였음) ② 영향 전파의 권한 미검사(17.4.5 위반). 실데이터 적용 시 관계·흐름 방향·영향 규칙의 도메인 합의가 필요하다.
8 선택 과제 4종 완료 — 2026-11-14 추가 (T23·T26·T27배치·T13)
8.1 T23 물리연결 후보 추출 프로토타입 — 16/16 통과 (마지막 미구현 태스크)
구성 (t23-pipes.py + test-t23.sh): 합성 도면 5사례 생성기(접점 L자·교차·끊긴 선·타 페이지 삼각형·식별 모호) + 기하 검출기. 검출 원리: 축 정렬 세그먼트 검출 → 세그먼트 축 폭 프로파일에서 접점 도트(폭≥14px)와 선 교차(폭~8px)를 임계 10px/연속 6px로 구분 — "교차점은 항상 연결" 규칙을 쓰지 않는다(17.3 실습 사례). 태그는 tesseract(흰목록 문자+정규화)로 단부 배정, 거리 비<1.4면 모호(conf 0.5). 기하 파라미터는 결과 JSON에 기록(17.3.2).
| 사례 | 판정 | 결과 |
|---|---|---|
| 접점(L자 도트 결합) | 연결 후보 | P101-V201 후보(근거에 도트 좌표) ✓ |
| 교차(도트 없음) | 비연결 | 직결 2건만 생성, 교차 쌍 0건 + '교차-비연결' 기록 ✓ |
| 끊긴 선(근접·무접점) | 비연결 | 후보 0건 + gap 기록 ✓ |
| 타 페이지 표기(단부 삼각형) | 보류 | 후보 0건 + offpage 기록 ✓ |
| 식별 모호(두 태그 근접) | 보류 | conf 0.5 후보 → T24 H201 hold ✓ |
종단 연결: 후보 location은 T24 v2 좌표 계약을 바로 만족 → T24(3건 pass+1건 hold) → kev 사실성(supported 0.658/0.574 게시, 0.416은 저신뢰로 보류 — 신뢰도 임계 정책이 실제로 걸린 사례) → 게시(2건) → T25 경로 탐색에서 T23 접점 관계로 P101→V201 탐색 성공, 교차 쌍 미생성 확인. 원본은 S3 보관(T07). 시험 중 발견·수정: OCR 흰목록 지정 시 conf가 4~90으로 요동(임계 필터 폐기, 패턴+정규화로 방어), 인접 태그 단어 병합(간격 확대로 해결).
8.2 T26 매개변수 질의 계약 — 12/12 통과 (S06)
3층 방어 (t26-templates.json + t26-run.py + test-t26.sh): ①템플릿 사전 밖 거부+SELECT 검사 ②파라미터 검증(enum/정규식)+인용 이스케이프, SQL은 psql stdin 전달(명령 인자 주입면 제거) ③제한 역할 세션(sd_query: SELECT 권한만, statement_timeout=3s, PGOPTIONS 읽기전용).
| 시험 | 결과 |
|---|---|
| 정상 질의 2종(unit_history P101 / monthly_totals DEMO 2026-10) | 실행·집계(9.5h) 정상 ✓ |
주입 시도 2종('; DROP TABLE, OR '1'='1), 허용 밖 프로젝트, 월 형식 위반, 사전 밖 템플릿 | 전부 REFUSED ✓ |
| 변조 템플릿(INSERT SQL) | 실행기 SELECT 검사 거부 ✓ |
| 실행기 우회 직접 INSERT | permission denied(역할 권한) ✓ |
| 장기 질의(pg_sleep 6) | 역할 기본 timeout 3s로 취소 ✓ + 테이블 무결성 4행 ✓ |
8.3 T27 manifest 배치 소비 — 7/7 통과 (S07 확장)
t27-batch.py: manifest 엔트리를 t27-consumer(표준입력)로 적용. 1차: applied=1·blocked=1·failed=1 — 불완전 이벤트(KeyError)가 있어도 나머지 계속 처리. 2차(같은 manifest): duplicate=2·failed=1 — 이미 적용/차단분은 원장으로 스킵(재시작 멱등), 실패분만 재시도. 인덱스·current 불변 확인, manifest 단위 요약(status=partial)을 원장에 기록.
8.4 T13 결합 선택 — 가중치 민감도 실측
| 질의(정답) | BM25 | kNN(bge-m3) | 하이브리드 [0.3/0.5/0.7, 벡터] |
|---|---|---|---|
| P101 최신 도면 | 1 | 1 | 1/1/1 |
| PUMP 최신 도면 | 0 | 1 | 2/2/2 |
| P110 도면 | 1 | 1 | 1/1/1 |
| 정비주기 문서 | 1 | 1 | 1/1/1 |
| 흐린 태그 도면 | 2 | 1 | 1/1/1 |
| 1위 정확도 | 3/5 | 5/5 | 4/5 (가중치 무관) |
핵심 관찰: ① 이 코퍼스에서는 kNN 단독이 최선 ② 결합이 단독보다 손해인 사례(PUMP: kNN 1위 → 하이브리드 2위) 실증 — "결합이 항상 우수하지 않다"(7.3절) ③ 단독 간 순위 역전 질의(흐린 태그) 확인 → 선택 프로토콜 초안: 합의된 평가셋에서 단독×가중치 스윕 → 1위 정확도 최대 조합 채택, 역전 사례를 채택 근거에 기록.
9 재현 방법
# 전제: 에뮬레이터 실행 중(start-emulator.ps1), OpenSearch 기동(start-opensearch.sh), PG/Ollama 구동 wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-pipeline.sh # 종단(1~8+5.5/5.7) wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-t27-events.sh # T27 4시나리오+멱등 wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-failure-paths.sh # 실패 경로(kev 정지/재기동 포함) wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-t24.sh # T24 v1 13사례+v2 4사례 wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-t25-paths.sh # T25 경로·추론 18사례 wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-embed-compare.sh # 임베딩 비교 wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-relation.sh # 관계 사실성 wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/run-osb.sh # 검색 벤치마크(6건) wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-osb-scale.sh # 검색 벤치마크(10k건) wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-t23.sh # T23 물리연결 프로토타입(기하→T24→kev→T25) wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-t26.sh # T26 매개변수 질의 계약(PG) wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-t27-batch.sh # T27 manifest 배치(부분실패·멱등) wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/test-t13-weights.sh # T13 결합 가중치 민감도 # bge-m3 전환 종단: EMB_MODEL=bge-m3 EMB_DIM=1024 를 앞에 붙여 test-pipeline.sh 실행
실험 인프라 버전 기록(11.1절 요건): OpenSearch 2.13.0(build 7ec678d) · Ollama 0.40.12 · mica-v0.5-4b-q8-hermes64k · nomic-embed-text(768차) · bge-m3(1024차, 2026-11-14 추가) · PostgreSQL 18.6 · Tesseract 5.5.0 · AWS Emulator 1.0.342 · opensearch-benchmark 2.5.0(python:3.12-slim 컨테이너)