건설도면 시나리오 충족도 종합 판정

항목내용
판정일2026년 11월 14일
판정 대상설계 문서 4종의 전체 시나리오 — T01~T28(실행계획) · S01~S10(보완기술) · G0~G4(게이트) · 12절 종단 흐름(상세가이드) · 9절 업무질문(해결범위 분석)
판정 기준"실제와 동일한 증거로 동작하는가" — 종전 보고서와 동일
근거AWS에뮬레이터 시나리오검증 · 로컬보완환경 구성및검증

0 두 질문에 대한 요약 답변

Q1. 설계 문서에 있던 시나리오를 모두 충족하는가? — 아니오(충족 가능한 것은 전부 충족)

Q2. 첫 설계의 불가능 시나리오가 모두 해결되는 설계인가? — 기술 설계 관점에서는 예, 자원 관점에서는 아니오

첫 검증(에뮬레이터만)에서 "불가" 판정 8개 중 기술적 원인이던 8개는 전부 대체 경로로 해결됐다(§4 표). 잔존 4개(실도면·실환경 fgac/규모·Neptune/AOSS 운영 검증·사람 합의)는 설계 변경이 아니라 자원 확보가 해결책인 항목이다. 단 Neptune/AOSS는 설계 문서상 "필요 시 채택" 기술이며 로컬 OpenSearch+앱 탐색으로 기능 대체 설계가 가능하므로, 설계 관점에서 막힌 시나리오는 없다.

1 종단 시나리오(12절 흐름) — 단계별 판정

문서 12절의 가상 예제가 로컬 하이브리드에서 실재화된 상태. local/test-pipeline.sh 1회 실행으로 전 단계 통과.

단계시나리오판정근거(실측)
1 원본 보관S3 sha256 체크섬 기록✅에뮬레이터 S3 put-object + SHA256
2 추출OCR 정상/오인식 기록✅Tesseract PUMP 정확·P101→"Pil" 오인식 목록화
3 적재v1 인덱스(BM25+벡터) bulk 대사✅errors:false, lucene HNSW
4 후보 검색BM25 점수·근거 원문✅score 0.8288
5 LLM 선별구조화 출력+17.5절 검증✅Ornith 3초, ID 대사 pass
5.5 근거 지지3-way grounding✅kev supported 0.829
5.7 관계 제약T24 형식 검사 게이트✅13/13 + 게이트 제외 실증
6 게시v2+별칭 원자 전환, v1 보존✅acknowledged, 검증 관계 첨부
7 이벤트SQS run_id 왕복✅이벤트 수신 대사
8 재조회current 판 approved 1건✅relations 포함 확인

종단에서 아직 재현 안 된 것: 없음(2026-11-14 추가 검증으로 변경·삭제·중복·역순 이벤트, LLM 오류→보류 경로, 같은 판 버전 고정, 재실행 멱등까지 전부 재현 완료 — §6-C 갱신).

2 업무질문 시나리오(해결범위 분석 9절)

업무질문판정가능한 부분남은 것
P101 표시 최신 도면·위치✅ 충족태그/의미 검색, 개정 필터, 원문 bbox 반환까지 재현(bge-m3 5/5)실데이터에서 재확인만
압력 낮추는 장치 문서◐ 부분용어 사전·의미 검색 후보까지(bge-m3 의미 질의 실증)"실제 설계에서 요구 기능 수행" 확인=도메인 검수(사람)
P101-V201 실제 연결?◐ 부분기존 관계 조회+kev 사실성 판정(connected_to 근거부재 0.968) + T23 기하 추출 프로토타입(합성 도면, 2026-11-14)실도면 도형 해석·도메인 검수
차단 시 영향 설비◐ 부분다단계 경로 탐색+권한·깊이·순환 제한+도달≠영향 규칙 실증(2026-11-14, t25-paths 18/18)실데이터 관계·흐름 방향·영향 규칙의 도메인 합의
실적·비용 함께 조회◐ 부분PG18 계약 전제(RLS·제한역할·읽기전용·timeout) 전항목 실증매개변수 질의 설계·실적 데이터·정답 비교

3 태스크 시나리오 T01~T28

범례: ✅ 로컬 실증 완료 · ◐ 부분 실증(남은 것 유형 표기) · 📋 양식/초안 작성 가능(실행은 사람) · ❌ 미구현 또는 외부 자원 필수

태스크판정단계별 가능한 부분추가 확인 / 연구설계 / 검증
T01~T03 착수·계약·역할📋질문 목록·역할표 초안 작성사람: 담당자·시점·미결정 항목 확정
T04 업무 사전 검토📋업무 이해 1쪽 초안(적재→관계 반영 설명 가능)사람: 책임자 검토
T05 목적·수용 기준📋업무 정의서·판정 기준 초안(평가 방법 틀은 T08/T17 인프라와 연결 가능)사람: 첫 업무 질문·범위·목표일 합의
T06 환경 확인◐환경 목록·점검표+모델별 호출 경로 실증(8092/8009/11435/9200/9297 전부 실측)추가 확인: 실서비스 OpenSearch 버전·fgac·플러그인, 실계정 권한
T07 데이터 조사◐품질점검표 양식+합성 샘플로 조사 절차 실증(sha256·형식·식별자·개정)실자료: 실도면 샘플(형식·해상도·개정 관례) 수령
T08 평가셋◐셋 구조(추출/동일개체/검색/선별/관계 단계별 분모·부정사례 포함) 설계+소형 개발셋 실증사람+실자료: 도메인 정답, 최종 평가셋 확정
T09 데이터·관계 규칙◐필드 사전·관계 방향·검수/유효 상태를 t24-rules/baseline으로 구조 실증사람: 도메인 합의(동일 개체 판정 기준 등)
T10 정규화·적재✅적재·대사·원문/개정/좌표 추적·_id 멱등 재실행검증: 대량 코퍼스에서 재실행 중복 대사 명시 시험
T11 BM25 기준선✅(소형)질의별 상위 결과·기록 절차 실증실자료: 평가셋 전체 실행, 누락 원인 분류
T12 임베딩 비교✅모델 비교 프로토콜+bge-m3 5/5 vs nomic 3/5 실측추가 확인: 실환경 승인 모델(호출 권한·비용) 시 재비교
T13 결합 방식◐→프로토콜 초안하이브리드 정규화 동작+가중치 스윕 실측(kNN 5/5 최선, 결합 손해 사례·역전 질의 기록) → 단독×가중치 스윕 선택 프로토콜 초안합의 평가셋에서 최종 채택
T14 LLM 선별✅프롬프트 계약·JSON 검증·ID 대사·근거 검수(kev) 실증검증: 오류·무응답→재시도 제한→보류 경로 시험(로컨 가능)
T15 관계 검수◐검수 지원 데이터 완비(T24 결과+kev 사실성+근거 링크)사람: 도메인 검수자 판단(형식/사실성 구분은 실증됨)
T16 재반영✅승인만 노출·v2 원자 전환·관계 첨부 실증검증: 개정 변경·삭제 전파 시나리오(T27과 함께, 로컬 가능)
T17 종단 평가◐측정 인프라(단계별·종단 지표, OSB 포함) 완비실자료+사람: 최종 평가셋 고정 실행, 오류 분류 보고
T18 재현·인계✅실행 순서·설정 버전·스크립트(README+local/) 갖춤사람: 동료 1명 지정 재현
T19 시연·판정 / T20 백로그📋판정표·증거 링크 구조 작성 가능사람: 책임자 판정
T21 입력 추출◐OCR 엔진 실측(정상·오인식 기록), 비전 대조, PaddleOCR ARM64 불가 실증추가 확인: 실제 입력 유형(PDF 텍스트? 스캔? CAD?) 확정 → 유형별 경로 실험 · 실자료: 실스캔 품질
T22 개체·개정 기준◐기준판 구조(개정 order·status·valid_until) 실증, 유사 태그 구분(P101/P110) 실증실자료: 동명 태그·개정 추적·병합/분리 이력 실데이터 검증
T23 물리연결 추출❌→프로토타입 실증합성 도면 5사례(접점/교차/끊김/타페이지/모호) 생성+기하 검출 — 교차≠연결(도트 폭 임계)·직결·보류 판정 16/16; 후보→T24(좌표 계약)→kev(저신뢰 보류 실증)→T25 경로까지 종단실도면(스케일·규약·기호 다양성)·도메인 검수
T24 제약 검사✅13/13 대조+파이프라인 게이트검증: 실데이터 필드(좌표계 등) 반영 규칙 v2
T25 경로·추론◐→최소 실증앱 탐색 채택(로컬 OS 2.13 PPL에 graphlookup 토큰 없음 — 실증) · BFS 탐색(종류·방향·깊이·권한·순환·응답 크기 제한, 홉별 관계 ID·근거) · 도달≠영향 규칙(버전 표기) · 파생 관계 전제 무효화 — 18/18실데이터 관계·흐름 방향·영향 규칙 도메인 합의
T26 PG 실적 연계◐→계약 실증계약 전제 전부 실증 + 매개변수 질의 3층 방어(템플릿 사전·값 검증·제한 역할) 12/12 — 주입 4종 거부, 쓰기·timeout DB계층 차단실적 스키마·정답 데이터
T27 변경 동기화◐SQS 이벤트 규약·왕복 실증(run_id 포함)검증(로컬 가능, 1순위): 변경·삭제·중복·역순 4시나리오, 멱등 소비, 같은 판 버전 고정, 실패 재처리
T28 권한·용량·복구◐소규모: 권한(RLS/역할)·측정 도구(OSB) 실증실환경: 권한 전파 대조, 합의 부하 측정, 백업 복원·실제 복구

4 첫 설계 "불가" → 현재 해결 매핑

첫 판정(에뮬레이터만)원인현재해결 수단잔존
Bedrock 추론 불가에뮬레이터 스텁✅ 해결llm-gateway→Ornith(선별 3초)실환경 승인 모델 확인만
Textract 문자 스텁에뮬레이터 스텁✅ 해결Tesseract(오인식까지 기록)실스캔 품질=실자료
k-NN 질의 미지원에뮬레이터 OS 빌드✅ 해결로컬 OS 2.13 lucene없음
임베딩 API 부재외부 의존✅ 해결Ollama nomic+bge-m3(비교 완료)승인 환경 재비교
RDS=SQLite(RLS 불가)에뮬레이터 구현✅ 해결로컬 PG18 전항목없음
근거 사실성 판정 불가도구 부재✅ 해결kev-9b System One(편향 원칙까지 실증)임계값 정책=검증
관계 제약 검사기 부재미구현✅ 해결t24-check 13/13+통합실데이터 규칙 v2
성능 측정 불가Python 3.14 제약✅ 해결osb-runner 컨테이너실규모=실자료
fgac 세부 인증에뮬레이터 미지원❌ 잔존(검증 체인은 에뮬레이터로 실증)실환경 필수
Neptune/AOSS생성 불가❌ 잔존기능 대체: 로컬 OS+앱 탐색으로 설계 가능운영 채택 검증=실환경
실도면 스캔 품질자료 부재❌ 잔존—실자료 수령
운영 부하·복구환경 부재❌ 잔존—실환경

5 게이트 통과 상태

게이트상태막힌 것
G0 착수 합의미통과사람 합의(T01~T05)
G1 실험 준비◐규칙 초안(T22/T24, v2 좌표 계약 포함)은 완성·실증. 실샘플·정답 근거 대기
G2 전체 흐름 연결◐→로컬 조건 전부 충족변경·삭제·중복·역순·버전 일관성·멱등까지 2026-11-14 전부 재현(18/18). 남은 조건은 실샘플로 하는 최종 확인뿐
G3 업무 적응 판정미착수사람(독립 수행·오류 분석·동료 재현)
G4 운영 준비미착수실환경(T28 전체)

6 마스터 목록

6-A 추가로 확인해야 할 것 (자원·정보 확보 — 로컬 진행을 막는 외부 입력)

  1. 실제 도면 샘플 수령 — 형식(PDF 텍스트/스캔/CAD·BIM), 해상도, 태그 표기·개정 관례 (T07/T21/T22 전체의 블로커)
  2. 실서비스 OpenSearch 구성 — 버전, fgac 사용 여부, k-NN 엔진, 플러그인 목록 (T06/T13/T28)
  3. 승인 모델 환경 — 실환경 임베딩/LLM 호출 경로·권한·비용 (T12/T14 재검증)
  4. 실적 DB 정보 — 스키마·계정 정책·조인 대상 (T26)
  5. 담당자 지정 — 업무 책임자, 도메인 검토자, 검수자와 일정 (T01~T05, T15, T19)
  6. 데이터 식별자 실규칙 — 프로젝트 간 동명 태그, 개정 코드 체계 (T22 기준판 실체화)

6-B 연구설계가 필요한 것 (새 설계 작업 — 로컬에서 설계·프로토타입 가능)

  1. ~~T23 물리연결 후보 추출~~ → 프로토타입 완료(2026-11-14): 합성 도면 기하 규칙(교차≠연결·접점·보류) 16/16, T24→kev→T25 종단. 남은 것: 실도면 스케일·규약·기호 다양성 대응(실자료)
  2. ~~T25 다단계 경로~~ → 최소 실증 완료(2026-11-14): 앱 탐색 채택(graphLookup은 로컬 2.13 미지원·실험적), 제한·도달≠영향·파생 무효화 18/18. 남은 것: 실데이터 관계·흐름 방향·영향 규칙의 도메인 합의
  3. ~~T26 매개변수 질의 계약~~ → 계약 실증 완료(2026-11-14): 3층 방어 12/12(템플릿 사전·값 검증·제한 역할+timeout). 남은 것: 실적 스키마·정답 데이터
  4. ~~T27 동기화 규약 확장~~ → manifest 배치 완료(2026-11-14): 부분 실패 지속 처리+재시작 멱등 7/7. 남은 것: 연속 CDC 도입 여부(조건부)
  5. ~~T13 결합 선택 프로토콜~~ → 초안 완성(2026-11-14): 단독×가중치 스윕 절차+역전 사례 기록 의무화. 남은 것: 합의 평가셋에서 최종 채택
  6. kev 운영 정책 — 신뢰도 임계값(저신뢰 정판 0.13~0.24 사례의 처리), 검증기 입력 중립성 원칙의 코딩화

6-C 검증해야 할 것 (로컬에서 실행 가능) — 2026-11-14 전건 완료

  1. ~~T27 4시나리오 종단 시험~~ → 완료: t27-consumer.py+test-t27-events.sh 18/18 (변경·삭제·중복 DUPLICATE·역순 STALE, 원장 기록)
  2. ~~재실행 멱등 대사~~ → 완료: 동일 입력 재실행 current 1건·v1 2건 불변
  3. ~~LLM 실패 경로~~ → 완료: 결함 4종(타임아웃·잘린 JSON·허용값 밖·ID 불일치) 전부 needs_review 보류(17.5.4) — 시험이 소비자 네트워크-예외 결함을 발견·수정
  4. ~~kev 임계값 시험~~ → 완료: KEV_MIN_CONF=0.5 단위 4사례+파이프라인 5.5·소비자 양쪽 적용
  5. ~~bge-m3 전환 종단 재실행~~ → 완료: EMB_MODEL/EMB_DIM 매개변수화, 1024차 전 단계 통과(grounding 0.862)
  6. ~~T24 규칙 v2 필드~~ → 완료: t24-rules-v2(좌표계·bbox 계약, E111) 4/4 — v1 결과는 버전 기록으로 유효
  7. ~~OSB 워크로드 확대~~ → 완료: 10,000건 — match-all p50 3.2ms, kNN-768 p50 3.7ms, 오류 0%

상세 결과: 로컬보완환경 보고서 §6

6-D 실환경·실자료·사람 전용 (로컬 불가 — 대기 목록)

  1. fgac 세부 권한 인증 체험(T28) — 에뮬레이터는 전제 오류 체인까지만
  2. 운영 부하·백업 복원·실제 복구(T28/G4)
  3. 실도면 스캔 품질·CAD/BIM 파서 실험(T21)
  4. Neptune/AOSS 운영 채택 검증(필요 시)
  5. 착수 합의·평가셋 정답·도메인 검수·시연 판정(T01~T05, T08, T15, T19~T20)

7 결론