CusText 논문 해설: 토큰별 '맞춤 출력 집합'으로 프라이버시-유틸리티 트레이드오프를 바꾼 방법

개요

  • 주제: Findings of ACL 2023 게재 논문 "A Customized Text Sanitization Mechanism with Differential Privacy"(pp. 5747–5758) 해설
  • 핵심 관점: 기존 텍스트 정제 메커니즘이 메트릭 거리(MLDP)에 갇혀 있었다는 한계를, 원래 ε-DP 정의 + 지수기제(Exponential Mechanism) + 토큰별 커스텀 출력 집합으로 돌파한 구조 분석
  • 핵심 키워드: CusText, 차등적 프라이버시(ε-DP), 지수기제, 매핑 함수, 커스터마이징 파라미터 K, 프라이버시-유틸리티 트레이드오프

핵심 메시지 3가지

1. MLDP의 두 한계 — 비메트릭 유사도와 과대 출력 집합

저자는 기존 텍스트 정제 기법(FBDD, SANTEXT)이 채택한 메트릭 로컬 차등적 프라이버시(MLDP)의 한계를 두 가지로 지적한다. 첫째, MLDP는 삼각부등식을 만족하는 메트릭 거리에 특화되어 있어 코사인 유사도나 TF-IDF 같은 비메트릭 유사도 측정에는 적용되지 않는다. 둘째, 모든 토큰에 동일한 출력 집합을 부여하는 방식은 출력 집합 크기가 80,000을 넘을 수 있을 만큼 과대하여, 프라이버시 예산이 빠듯할 때 모델 유틸리티를 떨어뜨린다. 저자는 이러한 저조한 정확도가 "각 토큰을 동등하게 취급하기 때문"이라고 진단한다.

2. 원래 ε-DP + 지수기제로의 전환

저자는 모든 유사도 측정과 호환되도록 "원래 ε-차등적 프라이버시(ε-DP) 정의를 만족하는 메커니즘, 즉 지수기제(EM)"로 전환한다. 동시에 MLDP의 장점도 계승한다 — "적절한 점수 함수를 설계하여 토큰 간 의미적 유사성을 샘플링에 반영"한 것이다. 이 선택의 핵심은 텍스트 데이터의 이산적 특성과 지수기제가 자연스럽게 맞아떨어진다는 점에 있다.

3. 파라미터 K로 조절하는 맞춤 출력 집합

매핑 스킴으로 각 입력 토큰에 크기가 훨씬 작은 커스텀 출력 집합을 부여해 의미적으로 무관한 토큰을 후보에서 제외한다. 파라미터 K로 출력 집합 크기를 조절해 유틸리티-프라이버시 트레이드오프를 원하는 지점에 놓을 수 있다. 여기에 더해 저자는 "일부 토큰(예: 불용어)은 실생활에서 프라이버시 위험이 낮다"는 관찰에 근거해 CusText+ 를 제안한다 — 샘플링 과정에서 불용어를 건너뛰어 프라이버시 손실을 늘리지 않으면서 유틸리티를 높인다.

선행 연구가 남긴 문제 — 그리고 균형 잡힌 기여 관계

연구 기여 논문이 지적한 한계
Dwork et al. (2006) ε-DP 정의 — "프라이버시 보호 컴퓨팅의 사실상 표준" —
McSherry & Talwar (2007) 지수기제(EM) — 이산 정의역에서 차등적 프라이버시 아이템 선택 —
Chatzikokolakis et al. (2013) MLDP(d_X-privacy) — 메트릭 거리 기반 완화 정의 비메트릭 유사도에 미적용
Feyisetan et al. (2020), FBDD 캘리브레이션된 다변량 섭동 기반 텍스트 정제 "ε > 10 같은 매우 낮은 수준의 프라이버시 보호에서만 합리적 정확도"
Yue et al. (2021), SANTEXT 자연 텍스트 정제 기반 DP 텍스트 분석 "적절한 프라이버시 보호(예: ε = 2)에서는 unusable(이진 분류 벤치마크에서 약 50% 정확도)"

선행 연구들은 모두 기여가 분명하다. 논문도 SANTEXT의 결과(Yue et al., 2021)를 인용해 FBDD의 성능이 더 낮다는 사실을 인정하고, 실험 후반부에서는 "FBDD가 SANTEXT와 CusText보다 성능이 낮아 나머지 실험에서는 더 이상 비교하지 않는다"고 명시한다 — 즉, 선행 연구를 무조건 하향하지 않고 성능 계보 안에서 위치를 객관적으로 배치한 것이다. CusText 자체도 향후 연구의 출발점이 된다. 논문은 결론에서 "향후 토큰 간 프라이버시 비용을 적응적으로 배분하는 방법을 탐구할 것"이라고 밝힌다.

CusText 메커니즘의 작동 방식

전체 파이프라인

① 매핑 함수 \(f_{\text{map}}: \mathcal{X} \to \{\mathcal{Y}' \subseteq \mathcal{Y}\}\) — 입력 토큰별 출력 집합 결정
↓
② 샘플링 함수 \(f_{\text{sample}}: \mathcal{X}' \to \mathcal{Y}'\) — 지수기제로 출력 토큰 샘플링
↓
③ 정제 문서 \(D'\) 생성 — 모든 출력 토큰으로 구성

매핑 함수 — 성립 조건과 저자의 실제 설정

여기서 ε-DP 성립 조건이 핵심이다. 논문은 매핑 유형을 1-to-1, N-to-1, 1-to-N, N-to-M 네 가지로 분류한 뒤, 다음과 같이 단서를 단다.

"CusText는 \(\mathcal{X}\)의 모든 입력 토큰에 ε-DP 보호를 제공할 수 있는 것은, 모든 입력 토큰의 매핑이 N-to-M 또는 N-to-1 매핑일 때에만이다 — 그래야 \(\mathcal{X}\)의 모든 입력 토큰이 최소 하나의 인접 토큰을 갖는다."

즉 1-to-1 매핑은 ε-DP 성립 범위 밖이다 — 인접 토큰이 없으면 구별 불가능성 달성이 불가능하기 때문이다. 저자가 실제 설정으로 채택한 것은 다음 조건들이다.

  • \(\mathcal{X} = \mathcal{Y}\) (선행 연구들을 따라 어휘 집합을 입력·출력 양쪽에 동일 적용)
  • 어떤 입력 토큰 x든 자기 자신을 반드시 출력 집합에 포함 ("자기 자신이 가장 가깝기 때문")
  • 출력 집합 크기를 K로 고정 (알고리즘 1: 임의 토큰 x → 유사도 상위 K-1개 추가 → 매핑된 토큰 제거 → 반복)
  • 남은 토큰이 K 미만이면 K'-to-K' 매핑으로 마무리, \(K' \in [1, K)\)

점수 함수 — 두 가지 설계 규칙

지수기제의 점수 함수 \(u\)는 두 규칙을 지킨다.

  1. 유계성: \(\forall x \in \mathcal{X}', \forall y \in \mathcal{Y}',\ u(x, y) < B\) — 민감도 \(\Delta u\)를 유계로 만들어 ε-DP 만족
  2. 유사성 단조성: 의미적으로 더 가까울수록 점수 높음 — \(d_{\mathcal{X}}\)-privacy의 장점을 계승

저자가 실제 실험에서 설정한 민감도는 \(\Delta u = 1\)이다. 점수 함수를 정규화해 민감도를 1로 스케일한 결과이며, 샘플링 확률은 \(\exp\!\big(\frac{\epsilon\, u(x,y)}{2\Delta u}\big)\)에 비례한다. 유사도 측정의 상관 방향에 따라 처리가 갈린다.

유사도 유형 예시 점수 함수 변환
음의 상관 (작을수록 가까움) 유클리드 거리 정규화 후 \(u(x,y) = -d'(x,y)\)
양의 상관 (클수록 가까움) 코사인 유사도 정규화값을 그대로 사용

CusText+ — 불용어 건너뛰기

알고리즘 2의 5번 라인: if 'CusText+' is used and x ∈ T then x를 그대로 보존. 저자는 "모든 토큰이 민감 정보를 담고 있지는 않으므로 모든 토큰을 치환하는 CusText는 과보호일 수 있다"고 보고, NLTK 불용어 목록 \(T\)를 사전 정의해 활용한다.

실험 결과 — 숫자로 보는 트레이드오프

실험 설정

  • 데이터셋: SST-2(학습 67k / 테스트 1.8k, 정확도), MedSTS(1,642 / 412, Pearson 상관계수), QNLI(105k / 5.2k, 정확도)
  • 주요 설정: 커스터마이징 파라미터 K = 20 고정, ε = 1, 2, 3
  • 어휘: Counter-Fitting 어휘 집합(크기 65,713), OOV 토큰(숫자 제외)은 유지
  • 공정 비교를 위한 저자의 설정: FBDD·SANTEXT·SANTEXT+는 MLDP 한계로 코사인 유사도(Counter-Fitting)를 쓸 수 없어, CusText도 GloVe를 사용해 비교. 또한 \(\epsilon = \epsilon' \cdot d_{max}\) 관계를 이용해 FBDD·SANTEXT의 프라이버시 파라미터를 재스케일링
  • 모델: SST-2/QNLI는 bert-base-uncased(batch 64, lr \(2\times10^{-5}\)), MedSTS는 ClinicalBERT(batch 8, lr \(5\times10^{-5}\)), 최대 시퀀스 길이 128, epoch 3

Table 1: 유틸리티 비교 (ε = 1, 2, 3)

메커니즘 SST-2 (ε=1/2/3) MedSTS (ε=1/2/3) QNLI (ε=1/2/3)
Random 0.5014 0.0382 0.5037
FBDD 0.5022 / 0.5041 / 0.5032 0.0321 / 0.0368 / 0.0411 0.5021 / 0.5152 / 0.5368
SANTEXT 0.5014 / 0.4827 / 0.5091 0.0850 / 0.1673 / 0.1124 0.5304 / 0.5302 / 0.5357
CusText 0.6985 / 0.7172 / 0.7029 0.4957 / 0.5112 / 0.5242 0.6926 / 0.6884 / 0.7133
SANTEXT+ 0.7211 / 0.7446 / 0.7260 0.4143 / 0.4271 / 0.5423 0.7607 / 0.7636 / 0.7493
CusText+ 0.7501 / 0.7452 / 0.7683 0.6172 / 0.6316 / 0.6213 0.7528 / 0.7602 / 0.7740
Original 0.9050 0.7598 0.9096

(출처: 01_R09_CusText.pdf Page7, Table 1)

저자는 이 결과를 "SST-2와 QNLI 데이터셋에서 정확도 20% 이상 향상, MedSTS 데이터셋에서 Pearson 상관계수 50% 이상 향상"으로 요약한다. 눈에 띄는 대목은 ε=1에서의 격차다. SST-2 기준 SANTEXT의 0.5014는 Random 수준(0.5014)과 동일하지만, CusText는 0.6985를 기록한다. MedSTS에서는 SANTEXT 0.0850 대 CusText 0.4957로 격차가 크다. 저자는 SANTEXT+와 CusText+가 더 잘 나오는 이유를 "일부 원본 토큰을 보존해 원래 의미를 유지하기 때문"으로 해석한다.

프라이버시 보호 수준 — 두 가지 공격으로 측정

저자는 ε가 "최악의 프라이버시 유출에 대응하지만 실질적 보호 수준을 드러내지 않을 수 있다"는 이유로, ε 대신 실제 공격을 프라이버시 지표로 채택한다.

① 마스크 토큰 추론 공격 — 정제된 토큰을 "[MASK]"로 바꿔 BERT에 입력, 예측이 원 토큰과 일치하면 공격 성공. 보호 수준 = $1 - r_{mask}$. 결과적으로 CusText는 프라이버시 수준이 1에 근접(0.98 초과)해도 정확도 약 0.7을 유지한 반면, SANTEXT는 약 0.5의 무작위 분류기로 퇴화한다.

② 쿼리 공격(본 논문이 제안) — 입력 토큰이 출력 집합에서 항상 가장 높은 점수를 갖기에, 데이터 소유자에게 충분히 많이 질의하면 최빈값으로 원 토큰을 추론할 수 있다. 신뢰수준 95%에서 원 토큰을 추론하는 데 필요한 최소 질의 횟수 N이 클수록 보호 수준이 높다(몬테카를로 방법으로 측정).

토큰 SANTEXT ε'=3 CusText(GloVe) ε=3 CusText(Counter-Fitting) ε=3
she 4 80 320
car 1 90 31,000
alice 3 100 120
happy 4 110 21,500
정확도 0.7958 0.7029 0.7298

(출처: 01_R09_CusText.pdf Page8, Table 2 — SANTEXT는 ε'=3, CusText는 ε=3)

SANTEXT는 "질의 몇 번으로" 원 토큰이 추론될 수 있어 프라이버시 보호가 거의 없다고 논문은 평가한다. 다만 주목할 점도 있다 — 논문은 Counter-Fitting에서 "she"와 "alice"가 "car"·"happy"보다 취약하다는 사실을 인정하며, 그 이유를 "매핑 함수 생성 시 자기 자신보다 의미적으로 덜 관련된 토큰과 매핑되었기 때문"으로 설명한다. 즉 토큰 간 보호 수준이 고르지 않다는 것이 실험 자체로 확인된 결과다.

파라미터 K의 효과

K = 5, 20, 50에서 CusText 성능은 전반적으로 안정적이다. 저관찰은 이렇다 — 프라이버시 보호 수준이 비교적 높을 때(> 0.9) K가 작을수록 유틸리티가 약간 더 좋다. 한편 K가 작으면 입력 토큰 추론이 쉬워져 보호 수준이 낮아진다. 구체적으로 K = 5에서는 ε를 0.001까지 낮춰도 보호 수준이 0.96을 넘지 못한다. 유틸리티와 보호의 교환 관계가 K로 조절된다는 것이 확인된 셈이다.

사람들이 오해하기 쉬운 부분

오해: "ε가 같으면 프라이버시 보호 수준도 같다" 실제: 논문은 SANTEXT와 CusText의 DP 정의가 다르다는 점을 명시하고, 비교를 위해 ε를 직접 쓰지 않고 실제 공격(마스크 토큰 추론·쿼리 공격)으로 보호 수준을 측정한다. 공정 비교를 위해 선행 메커니즘의 ε는 \(\epsilon = \epsilon' \cdot d_{max}\) 관계로 재스케일링했다.

오해: "CusText가 모든 면에서 SANTEXT+를 이긴다" 실제: Table 1에서 SST-2 ε=2는 SANTEXT+ 0.7446 > CusText 0.7172, QNLI ε=1은 SANTEXT+ 0.7607 > CusText 0.6926이다. 논문의 주장은 "FBDD·SANTEXT 대비 우위"이지, SANTEXT+ 대비 열위를 부정하지 않는다 — CusText+가 SANTEXT+를 상회하는 구조다.

연구 한계 — 저자가 스스로 밝힌 두 가지

  1. 동일 K·동일 ε의 비효율: Table 2에서 확인된 대로 토큰별 취약성이 크게 다르므로, 모든 토큰에 동일한 출력 크기 K와 프라이버시 파라미터 ε을 부여하는 것은 "이상적인 선택이 아닐 수 있다". 개선 방향은 토큰 간 프라이버시 비용의 적응적 배분이다.
  2. 민감 토큰 판별 전략의 양쪽 결함: "모든 토큰을 민감으로 가정"하는 전략은 과보호일 수 있고, "사전 정의된 불용어 목록"에 의존하는 전략은 불용어가 다른 정제된 토큰을 추론하는 데 도움이 되어 프라이버시 유출을 초래할 수 있다. 더 유연하고 실용적인 민감도 판별 방식이 필요하다는 것이 논문의 인정이다.

관점 포인트

  • 성립 조건을 코드로 옮길 때 확인할 것: 매핑이 전부 N-to-M 또는 N-to-1인지 — 1-to-1 매핑이 섞이면 ε-DP 보호 대상에서 이탈한다
  • 민감도 정규화가 보장인가 확인할 것: 점수 함수 정규화로 \(\Delta u = 1\)이 성립해야 지수기제의 ε-DP 보증이 그대로 적용된다
  • 비교 설계의 함정: MLDP 기반 메커니즘은 코사인 유사도를 못 쓴다 — 임베딩·유사도 선택 자체가 공정성에 영향을 준다
  • ε 재스케일링 필수: MLDP 메커니즘과 비교할 때는 \(\epsilon = \epsilon' \cdot d_{max}\)로 정렬해야 같은 프라이버시 레벨이다
  • 불용어 보존의 양날성: CusText+의 유틸리티 향상은 실제로 관측되지만, 논문이 인정한 대로 불용어가 다른 토큰 추론에 활용될 여지는 남아 있다

최종 핵심 정리

확인해야 할 핵심 질문:

  • CusText는 왜 MLDP를 버리고 원래 ε-DP + 지수기제를 선택했는가? → 비메트릭 유사도(코사인·TF-IDF) 호환성 확보
  • ε-DP가 성립하는 매핑 조건은? → 모든 매핑이 N-to-M 또는 N-to-1일 때만
  • 저자가 실험에서 실제로 고정한 설정은? → K = 20, ε = 1/2/3, Counter-Fitting 어휘 65,713, 공정 비교용 GloVe 병행
  • 정량적 성과는? → SST-2·QNLI 정확도 20% 이상, MedSTS Pearson 50% 이상 향상(FBDD·SANTEXT 대비)
  • 남은 과제는? → 토큰별 프라이버시 비용의 적응적 배분, 민감 토큰 판별의 유연화

한 줄 요약: CusText는 "모든 토큰을 같은 크기의 거대한 출력 집합에 넣는" 기존 패러다임을 파라미터 K로 잘라낸 맞춤 출력 집합으로 바꿔, 같은 ε에서 정확도를 0.5 수준에서 0.7 수준으로 끌어올렸다 — 단, 그 보증은 매핑이 인접 토큰을 반드시 포함하고 민감도가 유계일 때만 성립한다.