건설도면 로컬 보완 실험 환경 (AWS 에뮬레이터 + 로컬 엔진 하이브리드)

AWS Emulator만으로 검증 불가했던 문서 시나리오(T12 임베딩·T14 LLM·T13 하이브리드·T21 OCR 품질·T26/T28 RLS)를
로컬 엔진으로 보완하는 하이브리드 구성. 구성일 2026-11-13.

구성 요소

구성요소주소용도 (문서 태스크)비고
AWS Emulator 1.0.342https://127.0.0.1:9297S3 원본 보관(T07), SQS/EventBridge 이벤트(T27), 관리형 OpenSearch 도메인·정책(T10/T11/T16, BM25·별칭), Lambda, KMS/Secrets, Glue, Athena, DMS 엔드포인트../scripts/ 사용. k-NN 질의·fgac 인증·Bedrock 추론 미지원
로컬 OpenSearch 2.13.0http://127.0.0.1:9200k-NN 벡터 검색(T12), 하이브리드+점수 정규화(T13), BM25전체 플러그인 배포(k-NN/neural/flow-framework 포함). ARM64에서는 knn engine을 lucene으로 (nmslib JNI 세그폴트)
llm-gateway (메인 LLM)http://127.0.0.1:8092T14 LLM 선별 메인 경로Docker llm-gateway(secu-mainllm) → 업스트림 ornith-vllm(127.0.0.1:8001, vLLM). 모델: kingjones777/Ornith-1.5-9B-Vision-NVFP4 · nvidia/Qwen3.8-27B-NVFP4 · Ornith-1.5-9B-FP8 (root 체크포인트 /models/Ornith-1.5-9B-FP8, 262K ctx, dflash 스펙추론). OpenAI 호환. GW_MAIN_DISABLE_THINKING=1. WSL 종료 시 컨테이너가 내려감 → docker start ornith-vllm 후 로드 ~90초
로컬 Ollama (보조)http://127.0.0.1:11435임베딩(T12) 전용, LLM 폴백Docker ollama-gpu. 임베딩: nomic-embed-text(768차) · bge-m3(1024차, 한국어 우수 — 비교 결과 채택 권장, 5.2절 참조). LLM 폴백: mica-v0.5-4b-q8-hermes64k(4.2B) — think:false 필수
kev/jev 검증기127.0.0.1:8009근거 지지 판정(03/grounding)start-kev.sh로 기동(GPU cuda+bf16, 로드 ~70초). kev-9b = Qwen3.5-9B-Base + LoRA r16 + head(/root/models/kev-9b-local). System One POST /v1/systemone — state+3-way choice(supported/contradicted/insufficient_evidence). kev-latest/jev-latest 모두 응답. 검증: test-grounding.sh
로컬 PostgreSQL 18127.0.0.1:5432 (WSL)제한 역할·RLS·읽기 전용·statement_timeout(T26/T28, 17.6/17.9/19.7절)sudo -u postgres psql. 에뮬레이터 RDS는 SQLite 기반이라 이 용도로 사용 불가
Tesseract 5.5WSL tesseractOCR 추출·품질 기록(T21/S01)eng/kor 설치. 합성 비트맵 폰트의 P101은 오인식 사례로 기록

시작/중지

# 1) AWS 에뮬레이터 (중지 시 메모리 데이터 소멸·자격증명 재생성)
powershell -File ../scripts/start-emulator.ps1        # 또는 status-emulator.ps1 로 확인

# 2) 로컬 OpenSearch (최초 1회: bash setup-opensearch.sh)
wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/start-opensearch.sh

# 3) 로컬 PostgreSQL (apt 설치, WSL 기동 시 자동)
wsl -d Ubuntu -- bash -c 'service postgresql start'

# 4) Ollama는 Windows 서비스로 상시 구동 (11435 인스턴스에 모델 존재)

검증 스크립트 (이 디렉토리)

스크립트내용결과(2026-11-13)
test-ocr.sh / test-ocr2.sh / test-ocr3.shTesseract 실측PUMP 정확 인식(conf 84, bbox 정확), P101→"Pil" 오인식(오류 사례 기록)
test-pg-rls.shPG 18 제한 역할·RLS·타임아웃전 항목 통과 — user_alpha ALPHA 1건만 노출, 소유자 우회, 읽기전용 INSERT 거부, statement_timeout 취소, 역할별 기본 설정
test-knn.py임베딩+k-NN+하이브리드"P101 최신 도면" 질의 → D001 B 1위(0.9895); P110 질의 → D002 1위(0.9869); 하이브리드 min_max+산술평균 동작
test-pipeline.sh종단 통합: S3→OCR→적재→BM25→메인 LLM(8092) 선별→kev grounding(8009)→v2 게시→SQS→재조회전 단계 통과 — Ornith 선별 3초(정확), kev grounding supported(conf 0.829), 별칭 전환 후 current 판 approved 1건. 메인 다운 시 mica 폴백, kev 다운 시 grounding 생략(기록)
test-grounding.shkev-9b 3-way 근거 지지 검증지지 0.949 / 모순 0.966 / 근거불충분 0.988 — 3사례 전부 정확, ~1초/건
test-sqs-events.shSQS 이벤트 발행·수신 대사run_id 포함 이벤트 왕복 OK
test-t24.sh + t24-check.py + t24-rules-v1.json + t24-baseline.jsonT24 관계 제약 검사기(코드·JSON 필수 최소, 17.4절)13사례 기대 대조 13/13 일치 — 참조 존재(E103)·유효기간(E109)·supersedes 순서(E110)·방향(E105) 구분 검출
test-embed-compare.sh한국어 임베딩 비교 nomic vs bge-m3bge-m3 5/5 vs nomic 3/5 — "최신" 뉘앙스·ID 없는 의미 질의에서 bge-m3 완승(임베딩 212ms)
test-relation.shkev 관계 사실성(17.4.2) 3-way중립 문구 5/5 정판. 주의: "T24 통과" 등 게이트 이력 언급 시 supported로 편향 — 검증기 입력은 질문·주장·근거만
test-ocr-vision.shTesseract vs Ornith 비전 OCR합성 비트맵은 비전도 오인식(PUMP→'PUP', P101→'P4H1') — 엔진 공통 스트레스 사례
run-osb.shOpenSearch Benchmark(benchmark-only)python:3.12-slim 상시 컨테이너 osb-runner로 구동 — kNN p50 6.1ms/138 ops/s, BM25 p50 7.9ms(6건 smoke)
t27-consumer.py + test-t27-events.shT27 최소 동기화 소비자: 변경·삭제 이벤트 적용, 멱등(DUPLICATE)·역순(STALE) 판정, 새 판 reindex+별칭 원자 전환, 변경 문서 동일 게이트(선별+grounding+임계)18/18 통과 — 원장 seachdog_event_ledger·상태 seachdog_entity_state 인덱스에 이력 영구 기록
test-failure-paths.sh실패 경로: LLM 결함 4종→보류(17.5.4), grounding 임계 단위, BLOCKED 종단, T24 후보 수정 재검사(18.2), kev 정지 파이프라인9/9 통과 — kev 정지/재기동(로드 ~70초) 포함, 소비자 네트워크-예외 결함 발견·수정의 근거
t24-rules-v2.jsonT24 규칙 v2(좌표 기록 계약 E111)test-t24.sh v2 구간 4/4 — location은 {coord_system, page, bbox} 구조 필수
test-osb-scale.shOSB 10,000건 규모 프로파일match-all p50 3.2ms/227ops, kNN-768 p50 3.7ms/195ops, 오류 0%
t25-paths.py + t25-graph-seed.json + test-t25-paths.shT25 다단계 경로 탐색(앱 탐색): 승인 관계만, 종류·방향·깊이·권한·순환·응답 크기 제한, 홉별 관계 ID·근거, 도달≠영향 규칙, 파생 관계 전제 무효화18/18 통과 — 관계는 seachdog_relations_pub 인덱스. graphLookup은 로컬 2.13 PPL 미지원(토큰 없음 오류로 실증)
t23-pipes.py + test-t23.shT23 물리연결 프로토타입: 합성 도면 5사례(접점/교차/끊김/타페이지/모호) 생성+기하 검출(도트 폭 임계로 교차≠연결 구분), T24→kev→T25 종단16/16 통과 — S3 원본 보관 포함. OCR 함정: 흰목록 지정 시 conf 4~90 요동(임계 필터 폐기), 인접 태그 단어 병합
t26-templates.json + t26-run.py + test-t26.shT26 매개변수 질의 계약: 템플릿 사전·값 검증·psql stdin 전달·제한 역할(sd_query, timeout 3s)12/12 통과 — 주입 4종·변조 템플릿·쓰기·장기질의 전부 차단. 역할 암호는 런타임 생성(.pgpass)
t27-batch.py + test-t27-batch.shT27 manifest 배치: 엔트리별 소비자 호출(표준입력), 부분 실패 지속, 재실행 멱등7/7 통과 — 1차 applied=1/blocked=1/failed=1, 2차 duplicate=2. manifest 요약 원장 기록
test-t13-weights.shT13 결합 가중치 민감도: 단독 BM25/kNN × 하이브리드 [0.3/0.5/0.7] 스윕kNN(bge-m3) 5/5 최선, 하이브리드 4/5 — 결합이 손해인 사례·역전 질의 실증 → 선택 프로토콜 초안

운영 메모