텍스트 임베딩은 원문만큼 위험한가? — Vec2Text 임베딩 역공격 논문 분석

개요

  • 주제: 텍스트 임베딩 벡터에서 원문 텍스트를 복원하는 '임베딩 역공격(Embedding Inversion)'의 실험적 검증
  • 핵심 관점: 임베딩은 원문과 "동등한 수준의 민감 정보"를 유출하며, 원본 텍스트와 동일한 보호가 필요하다
  • 핵심 키워드: Vec2Text, 임베딩 역공격, 반복 보정, 코사인 유사도, BLEU, MIMIC-III 임상 노트, 벡터 DB 프라이버시

한 문장 요약: 이 글을 읽으면 "임베딩만 있으면 안전하다"는 통념이 어떻게 92% 정확도의 원문 복원으로 무너지는지, 그리고 무엇을 방어해야 하는지 이해할 수 있습니다.

핵심 메시지 3가지

1. 임베딩은 원문과 거의 같은 정보량을 담고 있다

논문 제목이 그대로 요약이다 — Text Embeddings Reveal (Almost) As Much As Text (Cornell, EMNLP 2023, p.12448). 벡터 데이터베이스에 임베딩만 보내면 안전하다는 전제가 무너진다. 연구진은 "text embeddings present the same threats to privacy as the text from which they are computed"라고 결론 내린다.

2. 단일 예측이 아니라 '반복 보정'이 게임을 바꾼다

朴素한 모델은 성능이 낮지만, 가설 → 재임베딩 → 차이 기반 수정을 반복하는 Vec2Text는 32토큰 입력의 92%를 완전히 정확히 복원한다. 정확도는 단계 수에 따라 monotonically 상승한다.

3. 임상 데이터에서는 '이름'이 그대로 노출된다

MIMIC-III 임상 노트에서 전체 이름(full name) 89.2% 를 복원한다. 낮은 BLEU가 곧 안전을 의미하지도 않는다 — 저자들은 "low reconstruction BLEU score is not necessarily indicative"라고 경고한다.


1. 문제의 출발: 벡터 DB는 정말 안전한가

LLM 시스템은 Pinecone, Qdrant, Weaviate, LangChain 등 호스팅 벡터 데이터베이스에 문서 임베딩을 저장한다. 데이터 소유자는 임베딩만 제3자 서비스에 전달하고 원문은 클라이언트에 둔다.

공격 시나리오(위협 모델):

① 공격자가 벡터 DB에서 임베딩 e 확보
↓
② 블랙박스 임베더 ϕ에 쿼리 가능 (ϕ(x̂) 조회)
↓
③ cos(ϕ(x̂), e) = 1 이 되는 텍스트 x̂ 탐색
↓
④ 코사인 유사도가 정확히 1이면 충돌은 무시하고 원문으로 판단

중요한 점은 모델 가중치나 그래디언트를 알 필요가 없다는 것이다. "when querying a neural network through the internet, we may not have access to the model weights or gradients at all" — 그래디언트가 없어도 입력-출력 쌍만으로 역함수를 근사할 수 있다.

2. Vec2Text의 작동 방식: 제어된 생성으로 보기

임베딩 역공격을 최적화 문제로 정식화한다.

x̂ = arg max cos(ϕ(x), e) — 모든 시열드 열거는 계산적으로 불가능하므로, 신경망 가중치에 '완화(amortized)'한다.

방법의 핵심 흐름:

① 베이스 모델 — 임베딩 e를 조건으로 텍스트 분포 p(x|e)를 학습 (초기 가설 생성)
↓
② 차이 투영 — 타깃 임베딩 e, 가설 임베딩 ê(t), 차이 e − ê(t)를 각각 MLP로 투영 (EmbToSeq)
↓
③ 반복 보정 — concat(EmbToSeq(e), EmbToSeq(ê(t)), EmbToSeq(e − ê(t)), 단어 임베딩)을 인코더에 입력해 수정본 생성
↓
④ 재임베딩 — ϕ(x̂(t+1))로 재임베딩하여 다음 라운드 준비
↓
⑤ 시퀀스 레벨 빔 서치 — 각 단계에서 후보 b개 중 코사인 거리 기준 상위 b개 유지

임베딩 공간에서 가설이 타깃에 수렴하는 과정을 표현한 3D 좌표 프레임

설정은 블랙박스다 — "Textual inversion differs in that we can only make queries to ϕ, and cannot compute its gradients."

3. 실험 설정과 핵심 성능 수치

학습 환경 (원문 Page4~5):

항목 값
초기화 T5-base 체크포인트
파라미터 약 235M (투영 헤드 포함)
투영 시퀀스 길이 s = 16
학습 데이터 위키피디아 5M 패스지(32토큰), MSMARCO(32/128토큰)
하드웨어 NVIDIA A6000 4장
에폭 / 배치 100 epochs / batch size 128
학습 시간 가장 느린 모델 기준 약 2일
임베딩 비용 2023년 가격 $0.0001/1000토큰 기준 70토큰 5백만 문서 = **$35**

인도메인 복원 성능 (Table 1, Wikipedia 32토큰 / GTR-base):

방법 BLEU Token F1 Exact 코사인
Bag-of-words (2020) 0.3 51 0.0 0.70
GPT-2 Decoder (2023) 1.0 47 0.0 0.76
Base [0 steps] 31.9 67 0.0 0.91
Vec2Text [1 step] 50.7 80 0.0 0.96
Vec2Text [20 steps] 83.9 96 40.2 0.99
Vec2Text [50 steps] 85.4 97 40.6 0.99
Vec2Text [50 steps + sbeam] 97.3 99 92.0 0.99

계산 과정을 산식으로 보면:

  • Base(0 steps) → 50 steps + sbeam: BLEU 31.9 → 97.3 (Δ = 97.3 − 31.9 = +65.4)
  • Exact match: 0.0 → 92.0 (Δ = 92.0 − 0.0 = +92.0%p)
  • 기존 베이스라인(Bag-of-words) 대비 BLEU: 97.3 − 0.3 = +97.0

OpenAI text-embedding-ada-002 (MSMARCO, 32토큰)에서도 Base BLEU 26.2 → 83.4, exact 60.9 로 상승한다. 128토큰으로 길어지면 exact는 8.0으로 떨어지지만 BLEU 55.0, 코사인 0.99는 유지된다 — 긴 텍스트는 '완전 복원'은 어렵지만 '의미적 복원'은 여전히 가능하다는 뜻이다.

4. 도메인을 넘나드는 복원력과 임상 사례

아웃오브도메인 (BEIR 15개 데이터셋, Table 2):

  • 가장 쉬운 Quora(최단 길이): exact 66% 회복
  • 전 데이터셋에서 Token F1 최소 41, 코사인 유사도 최소 0.95 달성
  • 길이 오차는 평균 3토큰 미만 — 복원 정확도는 길이와 반비례하지만 수준은 유지

MIMIC-III 임상 노트 케이스 스터디 (Table 3):

지표 복원률
이름(first) 94.2%
성(last) 95.3%
전체 이름(full) 89.2%
BLEU 55.6
Token F1 80.8
Exact (32토큰 노트) 26.0
코사인 0.98

엔티티 유형별로는 'Clinical Event'(arrived, progress, transferred 같은 일반 의료 단어) 복원이 가장 정확하고, 'Detailed Description'(posterior, hypoxic 같은 전문 용어·다중어 사건)이 가장 낮다. 저자들은 이름 복원률이 핵심이라는 점을 강조한다 — "Vec2Text is able to recover 94% of first names, 95% of last names, and 89% of full names."

반복 보정이 실제로 작동하는 예 (Table 4):

  • Round 1 (코사인 0.85): 날짜·지역 오류 ("11 August 1974 in Erlangen") ✗
  • Round 2 (0.99): 연도·지역 일부 수정 ✗
  • Round 3 (0.99): 날짜 정확 ("25 August 1954") ✗
  • Round 4 (1.00): 원문과 완전 일치 ✓

5. 방어 가능한가: 가우시안 노이즈 실험

원문 Page6의 방어 실험 — 임베딩에 직접 노이즈를 주입한다.

ϕ_noisy(x) = ϕ(x) + λ · ε, ε ∼ N(0, 1)

노이즈 수준 검색 성능(NDCG@10) 복원 성능(BLEU)
λ = 10⁻² 유지 원본 대비 10% 하락
λ = 0.01 2%만 저하 원본 BLEU의 13%로 급락
그 이상 심각하게 저하 심각하게 저하

해석: λ = 10⁻² 구간에서 검색 유틸리티는 거의 그대로인데 복원 BLEU만 10% 떨어진다. 즉 작은 노이즈로 '검색은 되고 복원은 안 되는' 구간이 존재한다. 다만 주의할 점도 원문에 있다 — "it is possible that training with noise could in theory help Vec2Text recover more accurately" (노이즈 학습이 오히려 역공격을 강화할 가능성), 그리고 "low reconstruction BLEU score is not necessarily indicative" (BLEU가 낮아도 임상 영역·치료 요법 같은 거친 추론은 여전히 가능).

6. 무엇이 성능을 만들었나: 피드백·초기화 분석

피드백 유무 (50라운드 greedy 자가보정):

설정 Exact match
피드백 있음 (ϕ(x̂(t)) 조건부) 52.0% (초기 1.5%)
피드백 없음 4.2%

피드백 모델은 임베딩 공간 기하 정보를 받아 꾸준히 상승하지만, 피드백 없는 모델은 "quickly plateaus"한다. 배수로는 52.0 ÷ 4.2 ≈ 12.4배 차이다.

초기화 무관성 (Table 5, 20 steps): 랜덤 토큰으로 시작해도 exact 50.0, 베이스 모델 초기화는 51.6 — 나쁜 초기화를 무시하고 타깃 임베딩에만 집중한다.

한계(원문 Limitations): 검색은 50라운드·빔 폭 8까지만 시험했고("we do not test beyond searching for 50 rounds or with a sequence beam width higher than 8"), Vec2Text는 검색을 늘리면 monotonically 좋아진다. 또한 각 보정 단계마다 블랙박스 임베더 쿼리가 필요하다.


관점 포인트

  • 임베딩 = 원문 취급 — 논문의 결론은 명확하다: "embeddings should be treated as highly sensitive private data and protected, technically and perhaps legally, in the same way as one would protect raw text."
  • 블랙박스만으로 충분하다 — 가중치·그래디언트 없이 쿼리 접근만으로 92% 정확 복원. API 제공자라도 막기 어렵다
  • 낮은 BLEU ≠ 안전 — 거친 추론(임상 영역, 치료 요법)은 낮은 BLEU에서도 가능하다
  • 노이즈 방어의 실무 구간 — λ = 10⁻² 부근에서 검색 유틸리티 보존 + 복원 저하라는 트레이드오프가 존재
  • 긴 텍스트는 상대적으로 안전하지 않다 — 128토큰은 exact 8.0%로 떨어지지만 코사인 0.99·BLEU 55.0으로 의미 복원은 여전히 가능
  • 적응형 공격은 미검증 — 노이즈 방어는 무적응 공격만 시험했고, 적응형 공격·방어는 future work로 남아 있다

최종 핵심 정리

확인해야 할 핵심 질문:

  • 우리 시스템의 벡터 DB에 누가 쿼리 권한을 가지고 있는가?
  • 임베딩을 원문과 동등한 등급의 민감 데이터로 취급하고 있는가?
  • 방어 도입 시 검색 유틸리티와 복원 저하의 트레이드오프를 측정했는가?
  • 임상·금융 등 민감 도메인에서 이름 복원률(89.2%) 을 시나리오에 반영했는가?
  • 32토큰을 넘는 긴 문서 임베딩도 역공격 범위 안에 있는지 검토했는가?

한 줄 요약: 임베딩은 압축된 요약이 아니라 원문의 그림자다 — 그림자를 지키려면 원본을 지키는 수준으로 지켜야 한다.