건설도면 로컬 보완 실험 환경 (AWS 에뮬레이터 + 로컬 엔진 하이브리드)
AWS Emulator만으로 검증 불가했던 문서 시나리오(T12 임베딩·T14 LLM·T13 하이브리드·T21 OCR 품질·T26/T28 RLS)를
로컬 엔진으로 보완하는 하이브리드 구성. 구성일 2026-11-13.
구성 요소
| 구성요소 | 주소 | 용도 (문서 태스크) | 비고 |
|---|---|---|---|
| AWS Emulator 1.0.342 | https://127.0.0.1:9297 | S3 원본 보관(T07), SQS/EventBridge 이벤트(T27), 관리형 OpenSearch 도메인·정책(T10/T11/T16, BM25·별칭), Lambda, KMS/Secrets, Glue, Athena, DMS 엔드포인트 | ../scripts/ 사용. k-NN 질의·fgac 인증·Bedrock 추론 미지원 |
| 로컬 OpenSearch 2.13.0 | http://127.0.0.1:9200 | k-NN 벡터 검색(T12), 하이브리드+점수 정규화(T13), BM25 | 전체 플러그인 배포(k-NN/neural/flow-framework 포함). ARM64에서는 knn engine을 lucene으로 (nmslib JNI 세그폴트) |
| llm-gateway (메인 LLM) | http://127.0.0.1:8092 | T14 LLM 선별 메인 경로 | Docker llm-gateway(secu-mainllm) → 업스트림 ornith-vllm(127.0.0.1:8001, vLLM). 모델: kingjones777/Ornith-1.5-9B-Vision-NVFP4 · nvidia/Qwen3.8-27B-NVFP4 · Ornith-1.5-9B-FP8 (root 체크포인트 /models/Ornith-1.5-9B-FP8, 262K ctx, dflash 스펙추론). OpenAI 호환. GW_MAIN_DISABLE_THINKING=1. WSL 종료 시 컨테이너가 내려감 → docker start ornith-vllm 후 로드 ~90초 |
| 로컬 Ollama (보조) | http://127.0.0.1:11435 | 임베딩(T12) 전용, LLM 폴백 | Docker ollama-gpu. 임베딩: nomic-embed-text(768차) · bge-m3(1024차, 한국어 우수 — 비교 결과 채택 권장, 5.2절 참조). LLM 폴백: mica-v0.5-4b-q8-hermes64k(4.2B) — think:false 필수 |
| kev/jev 검증기 | 127.0.0.1:8009 | 근거 지지 판정(03/grounding) | start-kev.sh로 기동(GPU cuda+bf16, 로드 ~70초). kev-9b = Qwen3.5-9B-Base + LoRA r16 + head(/root/models/kev-9b-local). System One POST /v1/systemone — state+3-way choice(supported/contradicted/insufficient_evidence). kev-latest/jev-latest 모두 응답. 검증: test-grounding.sh |
| 로컬 PostgreSQL 18 | 127.0.0.1:5432 (WSL) | 제한 역할·RLS·읽기 전용·statement_timeout(T26/T28, 17.6/17.9/19.7절) | sudo -u postgres psql. 에뮬레이터 RDS는 SQLite 기반이라 이 용도로 사용 불가 |
| Tesseract 5.5 | WSL tesseract | OCR 추출·품질 기록(T21/S01) | eng/kor 설치. 합성 비트맵 폰트의 P101은 오인식 사례로 기록 |
시작/중지
# 1) AWS 에뮬레이터 (중지 시 메모리 데이터 소멸·자격증명 재생성) powershell -File ../scripts/start-emulator.ps1 # 또는 status-emulator.ps1 로 확인 # 2) 로컬 OpenSearch (최초 1회: bash setup-opensearch.sh) wsl -d Ubuntu -- bash /mnt/c/work/서치독_프로젝트/aws-emulator/local/start-opensearch.sh # 3) 로컬 PostgreSQL (apt 설치, WSL 기동 시 자동) wsl -d Ubuntu -- bash -c 'service postgresql start' # 4) Ollama는 Windows 서비스로 상시 구동 (11435 인스턴스에 모델 존재)
검증 스크립트 (이 디렉토리)
| 스크립트 | 내용 | 결과(2026-11-13) |
|---|---|---|
test-ocr.sh / test-ocr2.sh / test-ocr3.sh | Tesseract 실측 | PUMP 정확 인식(conf 84, bbox 정확), P101→"Pil" 오인식(오류 사례 기록) |
test-pg-rls.sh | PG 18 제한 역할·RLS·타임아웃 | 전 항목 통과 — user_alpha ALPHA 1건만 노출, 소유자 우회, 읽기전용 INSERT 거부, statement_timeout 취소, 역할별 기본 설정 |
test-knn.py | 임베딩+k-NN+하이브리드 | "P101 최신 도면" 질의 → D001 B 1위(0.9895); P110 질의 → D002 1위(0.9869); 하이브리드 min_max+산술평균 동작 |
test-pipeline.sh | 종단 통합: S3→OCR→적재→BM25→메인 LLM(8092) 선별→kev grounding(8009)→v2 게시→SQS→재조회 | 전 단계 통과 — Ornith 선별 3초(정확), kev grounding supported(conf 0.829), 별칭 전환 후 current 판 approved 1건. 메인 다운 시 mica 폴백, kev 다운 시 grounding 생략(기록) |
test-grounding.sh | kev-9b 3-way 근거 지지 검증 | 지지 0.949 / 모순 0.966 / 근거불충분 0.988 — 3사례 전부 정확, ~1초/건 |
test-sqs-events.sh | SQS 이벤트 발행·수신 대사 | run_id 포함 이벤트 왕복 OK |
test-t24.sh + t24-check.py + t24-rules-v1.json + t24-baseline.json | T24 관계 제약 검사기(코드·JSON 필수 최소, 17.4절) | 13사례 기대 대조 13/13 일치 — 참조 존재(E103)·유효기간(E109)·supersedes 순서(E110)·방향(E105) 구분 검출 |
test-embed-compare.sh | 한국어 임베딩 비교 nomic vs bge-m3 | bge-m3 5/5 vs nomic 3/5 — "최신" 뉘앙스·ID 없는 의미 질의에서 bge-m3 완승(임베딩 212ms) |
test-relation.sh | kev 관계 사실성(17.4.2) 3-way | 중립 문구 5/5 정판. 주의: "T24 통과" 등 게이트 이력 언급 시 supported로 편향 — 검증기 입력은 질문·주장·근거만 |
test-ocr-vision.sh | Tesseract vs Ornith 비전 OCR | 합성 비트맵은 비전도 오인식(PUMP→'PUP', P101→'P4H1') — 엔진 공통 스트레스 사례 |
run-osb.sh | OpenSearch Benchmark(benchmark-only) | python:3.12-slim 상시 컨테이너 osb-runner로 구동 — kNN p50 6.1ms/138 ops/s, BM25 p50 7.9ms(6건 smoke) |
t27-consumer.py + test-t27-events.sh | T27 최소 동기화 소비자: 변경·삭제 이벤트 적용, 멱등(DUPLICATE)·역순(STALE) 판정, 새 판 reindex+별칭 원자 전환, 변경 문서 동일 게이트(선별+grounding+임계) | 18/18 통과 — 원장 seachdog_event_ledger·상태 seachdog_entity_state 인덱스에 이력 영구 기록 |
test-failure-paths.sh | 실패 경로: LLM 결함 4종→보류(17.5.4), grounding 임계 단위, BLOCKED 종단, T24 후보 수정 재검사(18.2), kev 정지 파이프라인 | 9/9 통과 — kev 정지/재기동(로드 ~70초) 포함, 소비자 네트워크-예외 결함 발견·수정의 근거 |
t24-rules-v2.json | T24 규칙 v2(좌표 기록 계약 E111) | test-t24.sh v2 구간 4/4 — location은 {coord_system, page, bbox} 구조 필수 |
test-osb-scale.sh | OSB 10,000건 규모 프로파일 | match-all p50 3.2ms/227ops, kNN-768 p50 3.7ms/195ops, 오류 0% |
t25-paths.py + t25-graph-seed.json + test-t25-paths.sh | T25 다단계 경로 탐색(앱 탐색): 승인 관계만, 종류·방향·깊이·권한·순환·응답 크기 제한, 홉별 관계 ID·근거, 도달≠영향 규칙, 파생 관계 전제 무효화 | 18/18 통과 — 관계는 seachdog_relations_pub 인덱스. graphLookup은 로컬 2.13 PPL 미지원(토큰 없음 오류로 실증) |
t23-pipes.py + test-t23.sh | T23 물리연결 프로토타입: 합성 도면 5사례(접점/교차/끊김/타페이지/모호) 생성+기하 검출(도트 폭 임계로 교차≠연결 구분), T24→kev→T25 종단 | 16/16 통과 — S3 원본 보관 포함. OCR 함정: 흰목록 지정 시 conf 4~90 요동(임계 필터 폐기), 인접 태그 단어 병합 |
t26-templates.json + t26-run.py + test-t26.sh | T26 매개변수 질의 계약: 템플릿 사전·값 검증·psql stdin 전달·제한 역할(sd_query, timeout 3s) | 12/12 통과 — 주입 4종·변조 템플릿·쓰기·장기질의 전부 차단. 역할 암호는 런타임 생성(.pgpass) |
t27-batch.py + test-t27-batch.sh | T27 manifest 배치: 엔트리별 소비자 호출(표준입력), 부분 실패 지속, 재실행 멱등 | 7/7 통과 — 1차 applied=1/blocked=1/failed=1, 2차 duplicate=2. manifest 요약 원장 기록 |
test-t13-weights.sh | T13 결합 가중치 민감도: 단독 BM25/kNN × 하이브리드 [0.3/0.5/0.7] 스윕 | kNN(bge-m3) 5/5 최선, 하이브리드 4/5 — 결합이 손해인 사례·역전 질의 실증 → 선택 프로토콜 초안 |
운영 메모
- LLM 서빙 토폴로지(2026-11-13 정정): 메인 = llm-gateway(8092)→ornith-vllm(8001, Ornith-1.5-9B-FP8 루트 + NVFP4 별칭들). kev/jev-9b(8009)는 메인 챗이 아니라 검증기(System One 3-way 판정)이며 현재 미가동. nemo-vllm(8000)=Transcribe-30B, parse35-vllm(8093)=Parse — 모두 종료 상태. WSL이 내려가면 vLLM 컨테이너도 내려감(재시작 정책 no) →
docker start ornith-vllm. - k-NN 엔진: 매핑의
method.engine은 반드시"lucene". nmslib 사용 시 색인 새그먼트 병합 중 JVM 크래시(ARM64 공식 빌드 결함). 크래시 후에는/opt/seachdog/data/*초기화 후 재기동. - 하이브리드 파이프라인: 2.13의 키는
phase_results_processors(복수형). 잘못된 단수형 키는 "지원하지 않는 파라미터" 오류. - LLM 호출:
"format":"json","think":false,temperature:0권장. 긴 응답 시 4B CPU 추론 ~7 tok/s. - 임베딩 일관성: 문서·질의 모두
nomic-embed-text로 통일(문서 7.2절 요건). 차원 768 기록. - 에뮬레이터 OpenSearch와 역할 분담: 관리형 도메인 시나리오(도메인 생성·정책·fgac 전제 오류 체인)는 에뮬레이터 9297로, 검색 엔진 실측(k-NN·하이브리드)은 로컬 9200으로 검증.
- 임베딩 모델 선택(2026-11-14): 한국어 비교에서 bge-m3(1024차) 완승(5/5 vs 3/5) — 채택 시 인덱스 매핑 차원을 768→1024로. nomic도 기본 파이프라인에서 계속 동작.
- kev 검증기 프롬프트 원칙: state의 질문·주장·근거 외에 이전 게이트 결과("T24 통과" 등)를 넣으면 supported로 편향됨(실측). 판정 이력은 별도 기록.
- OSB 컨테이너:
osb-runner(python:3.12-slim + opensearch-benchmark 2.5.0, 상시). WSL 기본 python3.14는 OSB 요구(<3.14)에 안 맞아 컨테이너 격리. 재사용:docker start osb-runner후run-osb.sh. - PaddleOCR ARM64 불가: PyPI aarch64 휠 없음 + 공식 docker 이미지 amd64 단일 — 소스 빌드/x86 에뮬레이션 외 불가(기록됨).
- T24 규칙 버전:
t24-rules-v2현행(좌표 계약 E111 추가). v1 결과는 v1 기록으로 유효. 규칙 변경 시 새 버전 파일 작성 + 기준판(t24-baseline.json) 버전 갱신 — 결과물은 규칙·기준판 버전과 후보 해시를 남긴다. - T27 소비자 운영:
t27-consumer.py <event.json>— 게이트 임계KEV_MIN_CONF=0.5, 상태 읽기는 GET _doc(실시간). 주의:_bulk본문은 종결 개행 필수(누락 시 400). 원장에서 중복 이력은event_id:dup:시각문서로 남는다. - 파이프라인 임베딩 매개변수:
EMB_MODEL/EMB_DIM(기본 nomic-embed-text/768). bge-m3 전환:EMB_MODEL=bge-m3 EMB_DIM=1024 bash test-pipeline.sh(전 단계 통과 실증). - 실패 원칙(17.5.4·18.2): LLM·검증기 오류와 형식 실패는 reject가 아니라 needs_review/보류. 승인 저장 직전 후보 해시 대사로 수정 감지 시 재검사(자동 이월 금지).
- T25 경로 탐색(2026-11-14): 관계 인덱스
seachdog_relations_pub(관측=observed:true, 파생=DERIV-*+전제·규칙 버전). 영향 판정 규칙t25-impact-rules-v1(흐름 방향 정의 관계만 순방향 전파). 주의: OpenSearch_source에 메타데이터 필드(_id등)를 넣으면 bulk가 문서 단위로 조용히 거부 — bulk 응답의 item 오류를 반드시 검사할 것. - T23 기하 파라미터(2026-11-14): 선 폭 4px·도트 r7px·도트 폭 임계 10px/연속 6px·태그 거리 70px·모호 비율 1.4 — 결과 JSON의
geometry_rules에 항상 기록(17.3.2). tesseract 흰목록(tessedit_char_whitelist) 지정 시 conf가 4~90으로 요동하므로 신뢰도 필터 금지 — 패턴+정규화(O→0 등)로 방어. - T26 계층(2026-11-14): 질의는 템플릿 사전(
t26-templates.json)만, SQL은 psql stdin, 세션은PGOPTIONS(읽기전용+timeout)로 —-c는 stdin을 막는다. 역할 재생성은DROP OWNED BY먼저. - T13 결합(2026-11-14): 이 코퍼스에선 kNN 단독(bge-m3)이 최선 — 결합 가중치는 평가셋 스윕으로 정한다(역전 사례 기록 의무).