건설도면 문서 시나리오 AWS 에뮬레이터 검증 결과
AWS Emulator 1.0.342(WSL2 Ubuntu arm64, https://127.0.0.1:9297)로 output/ 문서 4종의 AWS 관련 시나리오를 실제 API 호출로 실험한 기록이다. 각 항목은 실제 실행 결과에 근거하며, 판정 기준은 "응답 형식과 동작이 실제 AWS와 동일한 증거로 쓸 수 있는가"다.
| 항목 | 내용 |
|---|---|
| 검증일 | 2026년 11월 13일 |
| 대상 문서 | 실행계획(T01~T28), 업무적응 상세가이드(17~21절), OpenSearch 해결범위 분석, 보완기술 구현방안(S01~S10) |
| 환경 | AWS Emulator 1.0.342 (Release 2026.11.13, commit 67fd1536), WSL2 Ubuntu, AWS CLI v2 2.40.2 |
| 계정 | arn:aws:iam::000000000000:user/emulator (sts get-caller-identity 확인) |
| 실험 스크립트 | C:\work\서치독_프로젝트\aws-emulator\experiments\ (e1~e8) |
| 한계 | 에뮬레이터 동작 확인이지 실제 AWS 운영 환경의 성능·품질 보증이 아니다 |
1 요약 판정
1.1 실제와 동일한 증거로 동작한 작업
| # | 문서 시나리오 (태스크/절) | 서비스 | 핵심 증거 |
|---|---|---|---|
| A1 | 환경·자격증명 확인 (T06) | STS/IAM | Account 000000000000, 실제 ARN 형식, 파라미터 검증 오류까지 실AWS와 동일 |
| A2 | 원본 보관·source_hash·개정 (T07, C01, S01 1절) | S3 | 버킷 생성→PNG 업로드(SHA256 체크섬·SSE AES256)→재다운로드 무결성 MATCH→버전관리(VersionId/IsLatest) |
| A3 | OpenSearch 도메인 적재 (T10) | OpenSearch Service | 도메인 생성→Processing 상태 머신→엔드포인트(.../_aws/es/도메인)→실제 OpenSearch 2.13.0 엔진→인덱스 생성→Bulk errors:False, items:3 |
| A4 | BM25 검색 기준선 (T11, 가이드 7.1절) | 〃 | 가이드 질의를 그대로 실행해 D001 개정 B score 1.0 반환 — 12.1절 예제의 기대 정답과 일치 |
| A5 | 별칭 원자 전환·이전 판 보존·복귀 (사진10, 17.7절, T16/T27) | 〃 | _aliases remove+add 1요청 전환, v1 보존(count 4), v2 경유 조회, 롤백 후 별칭 count 4 복원 |
| A6 | 도메인 접근 정책 진단 (가이드 4.1절) | 〃 | ESHttpGet만 허용한 정책이 실제로 PUT/POST 403 차단 (no resource-based policy allows the es:ESHttpPut action) |
| A7 | fgac 생성 전제 체인 (가이드 4.1절) | 〃 | 암호화 미설정→"You must enable encryption at rest", HTTPS 미강제→"You must enable EnforceHTTPS" — 실제 AWS 검증 규칙과 동일한 순서로 안내 |
| A8 | 변경·삭제 이벤트 규약 (T27) | SQS | create/update/delete 이벤트 3건 발송→수신 3건, ReceiptHandle 발급 |
| A9 | 이벤트 버스 | EventBridge | put-rule ARN 반환, put-events FailedEntryCount: 0 |
| A10 | 처리 앱/소비자 (C08 배치 대체) | Lambda | 파이썬 핸들러 실제 실행 — {"consumed_events": 1, "run_id": "demo-run-007"} 반환, Pending→Active 상태 전이 포함 |
| A11 | 자격증명·키 관리 | KMS/SecretsManager | 키 생성, 암호문(base64) 반환, 비밀 생성→조회 왕복 |
| A12 | 데이터 레이크 카탈로그·크롤러 (사진5 T2SQL) | Glue | DB 생성, 크롤러 실행 LastCrawl: SUCCEEDED (단, PNG만 있어 테이블 생성은 미실증) |
| A13 | 데이터 레이크 SQL 집계 | Athena | S3 CSV→Glue 테이블→GROUP BY 쿼리 SUCCEEDED→결과 P101=5.5, P110=4.0 (아래 A14 PG 결과와 동일 정답) |
| A14 | PG 기본 SQL·실적 집계 (T26 최소범위) | RDS PostgreSQL | 인스턴스 available, 엔드포인트 127.0.0.1:36451, PG 와이어프로토콜+SSL, DDL/DML/집계 동작 (PostgreSQL 18.3 표기) |
| A15 | DMS 복제 후보 등록 (S07 확장) | DMS | 소스(postgres)·타겟(opensearch) 엔드포인트 등록 성공 (EngineDisplayName: Amazon OpenSearch Service) |
1.2 실제와 동일한 증거로 동작하지 않은 작업
| # | 문서 시나리오 | 서비스 | 실측 결과 (근거) |
|---|---|---|---|
| B1 | 임베딩 검색 (T12) | Bedrock | ModelErrorException: No model runs in this Amazon Bedrock Runtime emulator, so it serves no embedding inference — 임베딩 생성 불가 |
| B2 | LLM 근거 기반 선별 (T14, 가이드 8.1절) | Bedrock | invoke-model은 200 응답하나 본문이 고정 안내문 No language model runs in this emulator... — 추론 없음. 재시도 동일 응답(msg id 동일) |
| B3 | k-NN·하이브리드 검색 (T12/T13, 문서 사진8) | OpenSearch 엔진 | knn_vector 매핑·벡터 저장은 가능하나 질의 불가: no [query] registered for [knn], 하이브리드 파이프라인 API no handler found — 사진8의 "벡터 0건, k-NN 질의 0" 상태와 동일한 제약 |
| B4 | OCR 텍스트 품질 검증 (T21/S01 완료 증거) | Textract | API 응답 형식(Blocks/Confidence/bbox)은 실제 형식이고 bbox는 실제 픽셀과 정확히 일치하나, 문자 인식은 실제 엔진이 아님: P101 이미지 → 'T', 'M M', '0' / PUMP → 'jWHj'. 안티앨리어싱 버전에서 바이트가 다른 이미지에도 출력·confidence 완전 동일 → 픽셀 기하만 실제, 글자 인식은 스텁 |
| B5 | fgac 내부 사용자 인증 (가이드 4.1절 세부 권한) | OpenSearch Service | fgac 도메인 생성은 가능하나(전제 체인 A7 통과 시) 마스터 계정 기본 인증조차 User [name=, ...] no permissions 403 — 인증 수행 안 됨. fgac 도메인은 사실상 사용 불가 |
| B6 | 그래프 DB 후보 (S04 "필요 시 Amazon Neptune") | Neptune | CreateDBCluster → InvalidParameterValue: Invalid master password — 유효한 비밀번호(8자 이상·특수문자·랜덤 hex)에서도 동일 오류로 생성 불가 |
| B7 | RLS 행 보안·역할 로그인 (T26/T28, 17.9절, 19.7절) | RDS PostgreSQL | ALTER TABLE ... ENABLE ROW LEVEL SECURITY → syntax error, pg_policy 없음("no such table" — SQLite식 오류), has_table_privilege 없음. CREATE ROLE는 문법상 통과하지만 해당 역할 로그인 실패(pg_hba/auth 미구성). 엔진은 SQLite 기반 PG 와이어 호환(sqlite_master 노출) — 문서가 요구하는 소유자/superuser BYPASSRLS·연결 풀 상태 검증 불가 |
| B8 | 서버리스 배포 형태 (실행계획 7절 "배포 형태 확인") | AOSS | 보안 정책(encryption/network) 등록은 되나 컬렉션 생성이 No matching security policy of encryption type found로 실패 — 정책 매칭 로직 미완 |
| B9 | 언어 AI 보조 | Comprehend | NotImplemented: operation ListDatasets is scaffolded but not implemented |
| B10 | 데이터 카탈로그 목록 | Athena | ListDataCatalogs NotImplemented (단, 쿼리 실행 자체는 A13처럼 동작 — 부분 지원) |
1.3 문서 태스크(T01~T28) 기준 판정 요약
| 태스크 | 에뮬레이터 재현 | 비고 |
|---|---|---|
| T06 환경 확인 | 가능 | A1. 계정·서비스 목록·접근 점검 실증 |
| T07 원본 조사 | 가능 | A2. 원본 manifest·해시·개정(버전) 실증 |
| T10 적재·대사 | 가능 | A3. Bulk 항목별 결과·ID 재조회·중복 없는 재실행 전제 실증 |
| T11 BM25 기준선 | 가능 | A4. 질의별 상위 결과·점수 기록 실증 |
| T12 임베딩 비교 | 불가 | B1·B3. 실행계획 4.3절의 "모델 접근 미준비 시 막힘 표시" 규칙이 그대로 적용됨 |
| T13 결합 선택 | 부분 | BM25 단독은 가능, 하이브리드/정규화 파이프라인은 B3으로 불가 |
| T14 LLM 선별 | 파이프라인만 가능 | B2. 응답 검증 코드(JSON Schema·ID 대사) 개발용으로는 응답 구조 실증, 실제 판단 품질은 검증 불가 |
| T16 관계 재반영 | 가능 | A5. 승인 관계 문서의 게시·별칭 전환·롤백 경로 실증 |
| T21 입력 추출(OCR) | API만 가능 | B4. 연동 개발은 가능, "원문과 추출 태그 대조" 완료 증거는 생산 불가 |
| T26 PG 실적 조회 | 최소범위 가능 | A14 기본 SQL·집계 가능. B7로 제한 역할·RLS·읽기전용 트랜잭션 검증 불가 (statement_timeout은 세션 SET은 동작하나 역할 단위 강제는 미실증) |
| T27 변경·삭제 동기화 | 가능 | A8·A9·A5. 이벤트 규약(SQS) + 검색 반영(OpenSearch) + 별칭 게시의 최소 시험 재현 가능 |
| T28 권한·복구 | 부분 | A6 도메인 정책은 실증. fgac(B5)·RLS(B7) 심화 불가 — 운영 전 필수 범위는 불충분 |
나머지 태스크(T01~T05, T08, T09, T15, T17~T20, T22~T25)는 문서 원문대로 사람 합의·도메인 검수·평가 설계 영역이거나 로컬 도구(ezdxf, pySHACL 등) 영역이라 에뮬레이터 실험 대상이 아니며, 그 중 로컬 도구는 에뮬레이터와 무관하게 검증해야 한다.
2 실험 상세 기록
2.1 E1 · S3 데이터 레이크 (T07, C01)
create-bucket → Location + BucketArn 반환 put-object (sample_p101.png, SHA256) → ETag, ChecksumSHA256(base64), ChecksumType FULL_OBJECT, SSE AES256 sha256(로컬) = a338035d… / 재다운로드 sha256 = a338035d… → UPLOAD==DOWNLOAD: MATCH 버전 기능 On 후 덮어쓰기 → VersionId 0051f627… (IsLatest true) + 이전 null 버전 보존
판정: 원본 manifest(source_id, source_hash, 개정)과 개정 이력 요구사항을 실제와 동일한 증거로 충족.
2.2 E2 · Textract OCR (T21/S01)
정답 근거: 합성 도면 PNG는 블록 폰트 "P101"(이미지 판독으로 확인), 크기 368x164, 여백 40px.
detect-document-text(P101 도면): LINE conf=74.52 text='T' bbox=(0.109,0.244,0.163,0.512) LINE conf=87.96 text='M M' … LINE conf=74.96 text='0' detect-document-text(PUMP 도면): LINE conf=79.71 text='jWHj' bbox=(0.109,0.244,0.750,0.512) 안티앨리어싱 재렌더링(픽셀값 상이) 결과: 위와 완전히 동일한 출력·confidence
bbox의 Left=0.109(=40/368), Top=0.244(=40/164), Height=0.512(=84/164)는 실제 잉크 영역과 정확히 일치 → 연결요소 기하 분석은 실제 계산. 그러나 서로 다른 픽셀(비트맵 vs 안티앨리어싱)에 동일 텍스트·동일 confidence 반환 → 문자 인식 결과는 이미지 내용에 의존하지 않는 스텁. 판정: API 계약·응답 형식은 실제, "실제 사용할 API가 해당 언어를 지원하는지 확인"하는 T21의 품질 실험 증거로는 부적합.
2.3 E3 · Bedrock (T12/T14)
list-foundation-models → 130여 개 실제 카탈로그(anthropic.claude-*, amazon.titan-embed-*, amazon.rerank-v1:0, zai.glm-* 등)
invoke-model(claude-3-5-sonnet, 가이드 8.1절 선별 프롬프트):
{"content":[{"text":"No language model runs in this emulator. … generated no text …"}],
"usage":{"input_tokens":82,"output_tokens":62}} ← 시도 1·2 동일 msg id (결정론적)
invoke-model(titan-embed-text-v1): ModelErrorException — 임베딩 추론 없음
판정: 모델 목록·요청/응답 계약·토큰 카운트 형식은 실제. 추론(선별 판단, 임베딩 벡터)은 존재하지 않음 → T12 전체·T14 품질 검증 불가. 실행계획 4.3절의 "모델 단계가 빠진 경우 전체 흐름 검증이 끝났다고 판정하지 않는다" 원칙을 그대로 적용해야 함.
2.4 E4 · OpenSearch Service (T10/T11/T16, 사진10, 4.1절)
create-domain(t3.small.search, gp3 10GB) → ARN, Processing=true → 약 10~20초 후 false 엔드포인트 = 127.0.0.1:9297/_aws/es/seachdog-os-001 (에뮬레이터 내 실제 OpenSearch 2.13.0 프록시) PUT example_units → acknowledged, shards_acknowledged POST _bulk (문서 3건: D001-A/D001-B/D002-A) → errors:false, items:3 POST _search (가이드 7.1절 질의: filter project=DEMO+revision=B, match "P101 펌프") → DEMO:D001:B:p1 | B | P101 펌프가 표시됨 (최신 개정) | score=1.0 ← 12.1절 기대 정답 _aliases add/remove 원자 전환 → v2 조회 "P101 펌프 (v2 판)", v1 count 4 보존, 롤백 후 4 복원 액세스 정책(ESHttpGet만) → POST/PUT 403 "no resource-based policy allows the es:ESHttpPut action" fgac 전제 오류 체인: "enable encryption at rest" → "enable EnforceHTTPS" → 생성 성공(AdvancedSecurityOptions Enabled)
판정: 관리형 도메인의 생성·상태·정책·엔진 API가 실제와 동일한 증거로 동작. 문서의 A분류(저장·검색·필터·별칭) 시나리오 전반 재현 가능. 단, k-NN 질의·하이브리드 파이프라인 미지원(2.2 항 참조, 사진8 상태와 동일)과 fgac 인증 미동작(아래)은 제외.
2.5 E5~E8 · 기타 서비스
- SQS: 이벤트 3건 왕복·ReceiptHandle 실증 (T27 이벤트 계약 초안 검증용)
- EventBridge: 규칙·발행 수용
- Lambda: 런타임 python3.12 함수가 Pending→Active 후 실제 실행되어 핸들러 반환값 출력 (C04/C08 앱·배치 코드의 로컬 검증용)
- KMS/SecretsManager: 키·암호문·비밀 왕복
- Glue: 데이터베이스·크롤러 생성,
start-crawler→ READY,LastCrawl: SUCCEEDED. 테이블 생성은 PNG 대상이라 미실증(실제 Glue도 분류 불가 형식). IAM 역할 신뢰정책 검증 오류("unable to assume provided role")도 실제 형식 - Athena:
start-query-executionSUCCEEDED +get-query-results로P101=5.5/P110=4.0반환. ListDataCatalogs는 NotImplemented — 부분 지원 - DMS: 소스 postgres·타겟 opensearch 엔드포인트 등록 성공. 복제 인스턴스·태스크 실행은 미실험(서브넷 그룹 등 사전 구성 필요) — 문서 S07의 "적합성 검토" 단계까지만 실증
- RDS: PostgreSQL 18.3 표기, SSL 협상(S 응답), 마스터 계정 DDL/DML/집계 동작.
sqlite_master노출·pg_policy부재·RLS 구문 미지원·신규 역할 로그인 실패 → SQLite 기반 PG 와이어 호환 엔진. T26의 "제한된 DB 역할·RLS" 검증은 불가 - Neptune: 유효 비밀번호에서도
Invalid master password로 클러스터 생성 불가 — S04의 Neptune 확장 검증 불가 - AOSS: 보안 정책 등록 후에도 컬렉션 생성이 정책 매칭 오류로 실패 — 서버리스 형태 확인 불가
3 문서 원칙과 에뮬레이터 결과의 일치 여부
- "사진의 기능이 곧 사용 가능함이 아니다"(해결범위 분석 2절) — 에뮬레이터도 동일하게, 기능 목록·API 존재와 실제 동작(OCR 품질, LLM 추론, k-NN 질의)이 구분됨. 문서의 A/B/C 분류 방식이 에뮬레이터 검증에도 그대로 적용됨.
- "모델 접근이 준비되지 않으면 막힘으로 표시"(실행계획 4.3절) — Bedrock 추론 부재로 T12·T14가 정확히 이 상태가 됨. BM25 기준선·데이터 검수·관계 규칙 작업은 계속 진행 가능하다는 문서의 대응도 그대로 성립.
- "형식 통과를 사실 확인으로 간주하지 않는다"(17.5절) — Textract 응답이 형식상 완전해도 문자 인식이 실제가 아니었던 것이 반례로 확인됨.
- "배포 형태가 다르면 해당 환경의 접근 절차를 따른다"(4.1절) — 관리형(도메인)은 실증, 서버리스(AOSS)는 미지원으로 확인되어 배포 형태 확인의 실제 필요성이 재확인됨.
4 결론 및 권고
- 재현 가능한 최소 실험: 문서 12절 가상 예제(D001 A/B, D002)의 적재→BM25 검색→정답 확인→별칭 전환→롤백까지가 에뮬레이터에서 종단으로 재현되었다. T10·T11·T16(기계 경로)·T27(최소 이벤트+게시)의 절차 리허설과 재현 가이드 작성(18절)에 즉시 사용할 수 있다.
- 실제 환경 필수 항목: 임베딩·LLM(T12·T14), OCR 품질(T21), fgac 세부 권한·RLS(T28), Neptune 그래프(S04 확장)는 실제 AWS 환경에서 별도 검증해야 하며, 에뮬레이터 결과로 완료 판정을 갈음하지 않는다(실행계획 3절 완료 처리 규칙).
- 환경 정리: 실험으로 생성한 리소스(버킷 1, OS 도메인 3, SQS 1, Lambda 1, Glue DB/크롤러, DMS 엔드포인트 2, RDS 1, KMS 키, 비밀 1)는 에뮬레이터 중지 시 함께 사라진다(메모리 저장).