# 건설도면 시나리오 충족도 종합 판정

| 항목 | 내용 |
| --- | --- |
| 판정일 | 2026년 11월 14일 |
| 판정 대상 | 설계 문서 4종의 전체 시나리오 — T01~T28(실행계획) · S01~S10(보완기술) · G0~G4(게이트) · 12절 종단 흐름(상세가이드) · 9절 업무질문(해결범위 분석) |
| 판정 기준 | "실제와 동일한 증거로 동작하는가" — 종전 보고서와 동일 |
| 근거 | [AWS에뮬레이터 시나리오검증](<C:/work/서치독_프로젝트/output/05_KIKUM_건설도면_AWS에뮬레이터_시나리오검증_20261113.md>) · [로컬보완환경 구성및검증](<C:/work/서치독_프로젝트/output/06_KIKUM_건설도면_로컬보완환경_구성및검증_20261113.md>) |

## 0 두 질문에 대한 요약 답변

**Q1. 설계 문서에 있던 시나리오를 모두 충족하는가? — 아니오(충족 가능한 것은 전부 충족)**

- **충족(재현 가능)**: 기계가 검증할 수 있는 시나리오 전부 — 종단 흐름 9단계, T10·T11·T12·T14·T16·T18·T24는 로컬 하이브리드에서 실제 증거로 재현 완료.
- **미충족(충족 불가능한 성격)**: 사람 합의(T01~T05, T15 검수 본체, T19/T20), 실자료 필요(T07 실도면, T08 정답셋, T21 실스캔 품질), 실환경 필요(T28 전체, fgac, 운영 규모). 이 셋은 실험 설계를 바꿔도 이 머신에서 충족될 수 없는 종류의 시나리오다.
- 정확히는: **"불가능했던 것 중 에뮬레이터 제약이 원인이던 것은 전부 해결됐고, 원인이 자원(사람·데이터·환경)이던 것은 여전히 대기 상태"**다.

**Q2. 첫 설계의 불가능 시나리오가 모두 해결되는 설계인가? — 기술 설계 관점에서는 예, 자원 관점에서는 아니오**

첫 검증(에뮬레이터만)에서 "불가" 판정 8개 중 **기술적 원인이던 8개는 전부 대체 경로로 해결**됐다(§4 표). 잔존 4개(실도면·실환경 fgac/규모·Neptune/AOSS 운영 검증·사람 합의)는 설계 변경이 아니라 **자원 확보가 해결책**인 항목이다. 단 Neptune/AOSS는 설계 문서상 "필요 시 채택" 기술이며 로컬 OpenSearch+앱 탐색으로 기능 대체 설계가 가능하므로, 설계 관점에서 막힌 시나리오는 없다.

## 1 종단 시나리오(12절 흐름) — 단계별 판정

문서 12절의 가상 예제가 로컬 하이브리드에서 실재화된 상태. `local/test-pipeline.sh` 1회 실행으로 전 단계 통과.

| 단계 | 시나리오 | 판정 | 근거(실측) |
| --- | --- | --- | --- |
| 1 원본 보관 | S3 sha256 체크섬 기록 | ✅ | 에뮬레이터 S3 put-object + SHA256 |
| 2 추출 | OCR 정상/오인식 기록 | ✅ | Tesseract PUMP 정확·P101→"Pil" 오인식 목록화 |
| 3 적재 | v1 인덱스(BM25+벡터) bulk 대사 | ✅ | errors:false, lucene HNSW |
| 4 후보 검색 | BM25 점수·근거 원문 | ✅ | score 0.8288 |
| 5 LLM 선별 | 구조화 출력+17.5절 검증 | ✅ | Ornith 3초, ID 대사 pass |
| 5.5 근거 지지 | 3-way grounding | ✅ | kev supported 0.829 |
| 5.7 관계 제약 | T24 형식 검사 게이트 | ✅ | 13/13 + 게이트 제외 실증 |
| 6 게시 | v2+별칭 원자 전환, v1 보존 | ✅ | acknowledged, 검증 관계 첨부 |
| 7 이벤트 | SQS run_id 왕복 | ✅ | 이벤트 수신 대사 |
| 8 재조회 | current 판 approved 1건 | ✅ | relations 포함 확인 |

**종단에서 아직 재현 안 된 것**: 없음(2026-11-14 추가 검증으로 변경·삭제·중복·역순 이벤트, LLM 오류→보류 경로, 같은 판 버전 고정, 재실행 멱등까지 전부 재현 완료 — §6-C 갱신).

## 2 업무질문 시나리오(해결범위 분석 9절)

| 업무질문 | 판정 | 가능한 부분 | 남은 것 |
| --- | --- | --- | --- |
| P101 표시 최신 도면·위치 | ✅ 충족 | 태그/의미 검색, 개정 필터, 원문 bbox 반환까지 재현(bge-m3 5/5) | 실데이터에서 재확인만 |
| 압력 낮추는 장치 문서 | ◐ 부분 | 용어 사전·의미 검색 후보까지(bge-m3 의미 질의 실증) | "실제 설계에서 요구 기능 수행" 확인=도메인 검수(사람) |
| P101-V201 실제 연결? | ◐ 부분 | 기존 관계 조회+kev 사실성 판정(connected_to 근거부재 0.968) + **T23 기하 추출 프로토타입**(합성 도면, 2026-11-14) | 실도면 도형 해석·도메인 검수 |
| 차단 시 영향 설비 | ◐ 부분 | 다단계 경로 탐색+권한·깊이·순환 제한+도달≠영향 규칙 실증(2026-11-14, t25-paths 18/18) | 실데이터 관계·흐름 방향·영향 규칙의 도메인 합의 |
| 실적·비용 함께 조회 | ◐ 부분 | PG18 계약 전제(RLS·제한역할·읽기전용·timeout) 전항목 실증 | 매개변수 질의 설계·실적 데이터·정답 비교 |

## 3 태스크 시나리오 T01~T28

범례: ✅ 로컬 실증 완료 · ◐ 부분 실증(남은 것 유형 표기) · 📋 양식/초안 작성 가능(실행은 사람) · ❌ 미구현 또는 외부 자원 필수

| 태스크 | 판정 | 단계별 가능한 부분 | 추가 확인 / 연구설계 / 검증 |
| --- | --- | --- | --- |
| T01~T03 착수·계약·역할 | 📋 | 질문 목록·역할표 초안 작성 | **사람**: 담당자·시점·미결정 항목 확정 |
| T04 업무 사전 검토 | 📋 | 업무 이해 1쪽 초안(적재→관계 반영 설명 가능) | **사람**: 책임자 검토 |
| T05 목적·수용 기준 | 📋 | 업무 정의서·판정 기준 초안(평가 방법 틀은 T08/T17 인프라와 연결 가능) | **사람**: 첫 업무 질문·범위·목표일 합의 |
| T06 환경 확인 | ◐ | 환경 목록·점검표+모델별 호출 경로 실증(8092/8009/11435/9200/9297 전부 실측) | **추가 확인**: 실서비스 OpenSearch 버전·fgac·플러그인, 실계정 권한 |
| T07 데이터 조사 | ◐ | 품질점검표 양식+합성 샘플로 조사 절차 실증(sha256·형식·식별자·개정) | **실자료**: 실도면 샘플(형식·해상도·개정 관례) 수령 |
| T08 평가셋 | ◐ | 셋 구조(추출/동일개체/검색/선별/관계 단계별 분모·부정사례 포함) 설계+소형 개발셋 실증 | **사람+실자료**: 도메인 정답, 최종 평가셋 확정 |
| T09 데이터·관계 규칙 | ◐ | 필드 사전·관계 방향·검수/유효 상태를 t24-rules/baseline으로 구조 실증 | **사람**: 도메인 합의(동일 개체 판정 기준 등) |
| T10 정규화·적재 | ✅ | 적재·대사·원문/개정/좌표 추적·_id 멱등 재실행 | **검증**: 대량 코퍼스에서 재실행 중복 대사 명시 시험 |
| T11 BM25 기준선 | ✅(소형) | 질의별 상위 결과·기록 절차 실증 | **실자료**: 평가셋 전체 실행, 누락 원인 분류 |
| T12 임베딩 비교 | ✅ | 모델 비교 프로토콜+bge-m3 5/5 vs nomic 3/5 실측 | **추가 확인**: 실환경 승인 모델(호출 권한·비용) 시 재비교 |
| T13 결합 방식 | ◐→**프로토콜 초안** | 하이브리드 정규화 동작+가중치 스윕 실측(kNN 5/5 최선, 결합 손해 사례·역전 질의 기록) → 단독×가중치 스윕 선택 프로토콜 초안 | 합의 평가셋에서 최종 채택 |
| T14 LLM 선별 | ✅ | 프롬프트 계약·JSON 검증·ID 대사·근거 검수(kev) 실증 | **검증**: 오류·무응답→재시도 제한→보류 경로 시험(로컨 가능) |
| T15 관계 검수 | ◐ | 검수 지원 데이터 완비(T24 결과+kev 사실성+근거 링크) | **사람**: 도메인 검수자 판단(형식/사실성 구분은 실증됨) |
| T16 재반영 | ✅ | 승인만 노출·v2 원자 전환·관계 첨부 실증 | **검증**: 개정 변경·삭제 전파 시나리오(T27과 함께, 로컬 가능) |
| T17 종단 평가 | ◐ | 측정 인프라(단계별·종단 지표, OSB 포함) 완비 | **실자료+사람**: 최종 평가셋 고정 실행, 오류 분류 보고 |
| T18 재현·인계 | ✅ | 실행 순서·설정 버전·스크립트(README+local/) 갖춤 | **사람**: 동료 1명 지정 재현 |
| T19 시연·판정 / T20 백로그 | 📋 | 판정표·증거 링크 구조 작성 가능 | **사람**: 책임자 판정 |
| T21 입력 추출 | ◐ | OCR 엔진 실측(정상·오인식 기록), 비전 대조, PaddleOCR ARM64 불가 실증 | **추가 확인**: 실제 입력 유형(PDF 텍스트? 스캔? CAD?) 확정 → 유형별 경로 실험 · **실자료**: 실스캔 품질 |
| T22 개체·개정 기준 | ◐ | 기준판 구조(개정 order·status·valid_until) 실증, 유사 태그 구분(P101/P110) 실증 | **실자료**: 동명 태그·개정 추적·병합/분리 이력 실데이터 검증 |
| T23 물리연결 추출 | ❌→**프로토타입 실증** | 합성 도면 5사례(접점/교차/끊김/타페이지/모호) 생성+기하 검출 — **교차≠연결(도트 폭 임계)·직결·보류 판정 16/16**; 후보→T24(좌표 계약)→kev(저신뢰 보류 실증)→T25 경로까지 종단 | 실도면(스케일·규약·기호 다양성)·도메인 검수 |
| T24 제약 검사 | ✅ | 13/13 대조+파이프라인 게이트 | **검증**: 실데이터 필드(좌표계 등) 반영 규칙 v2 |
| T25 경로·추론 | ◐→**최소 실증** | 앱 탐색 채택(로컬 OS 2.13 PPL에 graphlookup 토큰 없음 — 실증) · BFS 탐색(종류·방향·깊이·권한·순환·응답 크기 제한, 홉별 관계 ID·근거) · 도달≠영향 규칙(버전 표기) · 파생 관계 전제 무효화 — **18/18** | 실데이터 관계·흐름 방향·영향 규칙 도메인 합의 |
| T26 PG 실적 연계 | ◐→**계약 실증** | 계약 전제 전부 실증 + **매개변수 질의 3층 방어(템플릿 사전·값 검증·제한 역할) 12/12** — 주입 4종 거부, 쓰기·timeout DB계층 차단 | 실적 스키마·정답 데이터 |
| T27 변경 동기화 | ◐ | SQS 이벤트 규약·왕복 실증(run_id 포함) | **검증(로컬 가능, 1순위)**: 변경·삭제·중복·역순 4시나리오, 멱등 소비, 같은 판 버전 고정, 실패 재처리 |
| T28 권한·용량·복구 | ◐ | 소규모: 권한(RLS/역할)·측정 도구(OSB) 실증 | **실환경**: 권한 전파 대조, 합의 부하 측정, 백업 복원·실제 복구 |

## 4 첫 설계 "불가" → 현재 해결 매핑

| 첫 판정(에뮬레이터만) | 원인 | 현재 | 해결 수단 | 잔존 |
| --- | --- | --- | --- | --- |
| Bedrock 추론 불가 | 에뮬레이터 스텁 | ✅ 해결 | llm-gateway→Ornith(선별 3초) | 실환경 승인 모델 확인만 |
| Textract 문자 스텁 | 에뮬레이터 스텁 | ✅ 해결 | Tesseract(오인식까지 기록) | 실스캔 품질=실자료 |
| k-NN 질의 미지원 | 에뮬레이터 OS 빌드 | ✅ 해결 | 로컬 OS 2.13 lucene | 없음 |
| 임베딩 API 부재 | 외부 의존 | ✅ 해결 | Ollama nomic+bge-m3(비교 완료) | 승인 환경 재비교 |
| RDS=SQLite(RLS 불가) | 에뮬레이터 구현 | ✅ 해결 | 로컬 PG18 전항목 | 없음 |
| 근거 사실성 판정 불가 | 도구 부재 | ✅ 해결 | kev-9b System One(편향 원칙까지 실증) | 임계값 정책=검증 |
| 관계 제약 검사기 부재 | 미구현 | ✅ 해결 | t24-check 13/13+통합 | 실데이터 규칙 v2 |
| 성능 측정 불가 | Python 3.14 제약 | ✅ 해결 | osb-runner 컨테이너 | 실규모=실자료 |
| fgac 세부 인증 | 에뮬레이터 미지원 | ❌ 잔존 | (검증 체인은 에뮬레이터로 실증) | **실환경 필수** |
| Neptune/AOSS | 생성 불가 | ❌ 잔존 | 기능 대체: 로컬 OS+앱 탐색으로 설계 가능 | 운영 채택 검증=실환경 |
| 실도면 스캔 품질 | 자료 부재 | ❌ 잔존 | — | **실자료 수령** |
| 운영 부하·복구 | 환경 부재 | ❌ 잔존 | — | **실환경** |

## 5 게이트 통과 상태

| 게이트 | 상태 | 막힌 것 |
| --- | --- | --- |
| G0 착수 합의 | 미통과 | 사람 합의(T01~T05) |
| G1 실험 준비 | ◐ | 규칙 초안(T22/T24, v2 좌표 계약 포함)은 완성·실증. **실샘플·정답 근거 대기** |
| G2 전체 흐름 연결 | ◐→**로컬 조건 전부 충족** | 변경·삭제·중복·역순·버전 일관성·멱등까지 2026-11-14 전부 재현(18/18). 남은 조건은 실샘플로 하는 최종 확인뿐 |
| G3 업무 적응 판정 | 미착수 | 사람(독립 수행·오류 분석·동료 재현) |
| G4 운영 준비 | 미착수 | 실환경(T28 전체) |

## 6 마스터 목록

### 6-A 추가로 확인해야 할 것 (자원·정보 확보 — 로컬 진행을 막는 외부 입력)

1. **실제 도면 샘플 수령** — 형식(PDF 텍스트/스캔/CAD·BIM), 해상도, 태그 표기·개정 관례 (T07/T21/T22 전체의 블로커)
2. **실서비스 OpenSearch 구성** — 버전, fgac 사용 여부, k-NN 엔진, 플러그인 목록 (T06/T13/T28)
3. **승인 모델 환경** — 실환경 임베딩/LLM 호출 경로·권한·비용 (T12/T14 재검증)
4. **실적 DB 정보** — 스키마·계정 정책·조인 대상 (T26)
5. **담당자 지정** — 업무 책임자, 도메인 검토자, 검수자와 일정 (T01~T05, T15, T19)
6. **데이터 식별자 실규칙** — 프로젝트 간 동명 태그, 개정 코드 체계 (T22 기준판 실체화)

### 6-B 연구설계가 필요한 것 (새 설계 작업 — 로컬에서 설계·프로토타입 가능)

1. ~~T23 물리연결 후보 추출~~ → **프로토타입 완료(2026-11-14)**: 합성 도면 기하 규칙(교차≠연결·접점·보류) 16/16, T24→kev→T25 종단. 남은 것: 실도면 스케일·규약·기호 다양성 대응(실자료)
2. ~~T25 다단계 경로~~ → **최소 실증 완료(2026-11-14)**: 앱 탐색 채택(graphLookup은 로컬 2.13 미지원·실험적), 제한·도달≠영향·파생 무효화 18/18. 남은 것: 실데이터 관계·흐름 방향·영향 규칙의 도메인 합의
3. ~~T26 매개변수 질의 계약~~ → **계약 실증 완료(2026-11-14)**: 3층 방어 12/12(템플릿 사전·값 검증·제한 역할+timeout). 남은 것: 실적 스키마·정답 데이터
4. ~~T27 동기화 규약 확장~~ → **manifest 배치 완료(2026-11-14)**: 부분 실패 지속 처리+재시작 멱등 7/7. 남은 것: 연속 CDC 도입 여부(조건부)
5. ~~T13 결합 선택 프로토콜~~ → **초안 완성(2026-11-14)**: 단독×가중치 스윕 절차+역전 사례 기록 의무화. 남은 것: 합의 평가셋에서 최종 채택
6. **kev 운영 정책** — 신뢰도 임계값(저신뢰 정판 0.13~0.24 사례의 처리), 검증기 입력 중립성 원칙의 코딩화

### 6-C 검증해야 할 것 (로컬에서 실행 가능) — **2026-11-14 전건 완료**

1. ~~T27 4시나리오 종단 시험~~ → **완료**: `t27-consumer.py`+`test-t27-events.sh` 18/18 (변경·삭제·중복 DUPLICATE·역순 STALE, 원장 기록)
2. ~~재실행 멱등 대사~~ → **완료**: 동일 입력 재실행 current 1건·v1 2건 불변
3. ~~LLM 실패 경로~~ → **완료**: 결함 4종(타임아웃·잘린 JSON·허용값 밖·ID 불일치) 전부 needs_review 보류(17.5.4) — 시험이 소비자 네트워크-예외 결함을 발견·수정
4. ~~kev 임계값 시험~~ → **완료**: KEV_MIN_CONF=0.5 단위 4사례+파이프라인 5.5·소비자 양쪽 적용
5. ~~bge-m3 전환 종단 재실행~~ → **완료**: EMB_MODEL/EMB_DIM 매개변수화, 1024차 전 단계 통과(grounding 0.862)
6. ~~T24 규칙 v2 필드~~ → **완료**: t24-rules-v2(좌표계·bbox 계약, E111) 4/4 — v1 결과는 버전 기록으로 유효
7. ~~OSB 워크로드 확대~~ → **완료**: 10,000건 — match-all p50 3.2ms, kNN-768 p50 3.7ms, 오류 0%

상세 결과: [로컬보완환경 보고서 §6](<C:/work/서치독_프로젝트/output/06_KIKUM_건설도면_로컬보완환경_구성및검증_20261113.md>)

### 6-D 실환경·실자료·사람 전용 (로컬 불가 — 대기 목록)

1. fgac 세부 권한 인증 체험(T28) — 에뮬레이터는 전제 오류 체인까지만
2. 운영 부하·백업 복원·실제 복구(T28/G4)
3. 실도면 스캔 품질·CAD/BIM 파서 실험(T21)
4. Neptune/AOSS 운영 채택 검증(필요 시)
5. 착수 합의·평가셋 정답·도메인 검수·시연 판정(T01~T05, T08, T15, T19~T20)

## 7 결론

- **설계 문서 시나리오 중 "실험으로 증명 가능한 것"은 로컬 하이브리드가 사실상 전부 갖췄다.** 종단 9단계+grounding+T24 게이트가 단일 실행으로 재현되고, 비교·측정 도구(임베딩 비교, OSB)까지 갖춰졌다.
- **첫 설계의 불가 항목은 원인 기준으로 완전 분리됐다.** 기술 원인 8건은 해결, 자원 원인 4건은 해결이 아니라 확보 과제로 명시됐다. "설계가 불가 시나리오를 해결하는가"에 대해: 기능 대체 설계(로컬 OS↔AOSS, 앱 탐색↔Neptune)까지 포함하면 **설계상 막힌 시나리오는 0**, 자원 대기는 4건.
- **다음 마디는 §6-A의 실샘플 수령**이다. §6-C의 로컬 검증 7건은 2026-11-14 전부 완료(실패 경로 시험이 소비자 결함 3건을 발견·수정하며 통과) — G2의 로컬 재현 가능 조건은 소진되었고, 남는 분기점은 실자료·실환경·사람 합의뿐이다.
