PrivacyRestore: LLM 추론 시 개인정보를 지우고 되살리는 방법 — ACL 2025 논문 해설

개요

  • 주제: 클라이언트–서버 LLM 추론 환경에서 사용자 입력의 프라이버시 스팬을 제거·복원하는 플러그 앤 플레이 보호 기법 PrivacyRestore 해설
  • 핵심 관점: 노이즈 주입(DP)과 암호화(SMPC)의 한계를 우회해, "지운 정보를 activation steering으로 복원"하는 구조와 그 프라이버시 보장 성립 조건을 검증
  • 핵심 키워드: PrivacyRestore, 프라이버시 스팬, activation steering, d_χ-privacy, 메타 복원 벡터, 프라이버시 예산 2ε

핵심 메시지 3가지

1. "지우고 복원한다" — 기존 두 갈래의 대안

저자에 따르면 기존 사용자 입력 보호 기법은 SMPC와 DP로 나뉜다. SMPC는 암호화 프로토콜로 원문을 노출하지 않고 연산하지만 추론 시간 부담이 크고, 저자는 "inference on the RoBERTa-Base model takes 168.43 seconds"를 예로 들어 실시간 서비스에 부적합하다고 지적한다 [원문 p.13]. DP 계열의 d_χ-privacy는 노이즈 주입으로 인한 privacy-utility trade-off와, 텍스트 길이가 늘수록 발생하는 프라이버시 예산의 선형 증가 문제를 안고 있다 [원문 p.1, p.13]. PrivacyRestore는 이 두 문제를 회피하는 제3의 경로를 제안한다.

2. 프라이버시 예산이 길이와 무관하게 2ε로 고정된다

Theorem 5.1에서 저자는 "PrivacyRestore fulfills d_χ-privacy and provides a privacy budget of 2ε"이며 "The privacy budget of PrivacyRestore is independent of the length of the protected text"라고 주장한다 [원문 p.5]. 핵심은 노이즈를 단어가 아니라 메타 복원 벡터 하나에만 적용한다는 점이다.

3. 복원 벡터만 학습하는 plug-and-play 구조

학습 대상은 복원 벡터 Θ뿐이며 LLM 가중치는 고정된다. 저자는 이를 "requiring only the restoration vectors to be trainable, while keeping the LLM frozen"이라 표현하며, 이를 parameter-efficient한 특성으로 귀속시킨다 [원문 p.2, p.4].


1. 위협 모델과 프라이버시 스팬 정의

논문의 전제는 다음과 같다 [원문 p.3].

요소 내용
서버 LLM 가중치 보유, API로 서비스 제공, 자체가 해킹당할 수 있음
클라이언트 프라이버시 스팬을 포함한 사용자 입력 보유
공격자 전송 중 입력 가로채기, 심지어 서버 해킹으로 복호화된 입력 탈취 가능
프라이버시 스팬 "a contiguous token sequence that contains private information" — 사용자가 "Information Self-Determination Right" 원칙에 따라 스스로 식별

성립 조건 유의: 저자의 보장은 "공격자가 불완전 쿼리와 메타 벡터를 모두 탈취하더라도" 프라이버시 스팬을 추론할 수 없다는 분석과, 서버의 LLM 매개변수 및 편집 헤드 집합 H_k의 기밀성이 유지된다는 전제 위에 서 있다 [원문 p.5]. 즉 LLM 가중치까지 노출되는 시나리오는 이 보장의 범위 밖이다.


2. 방법 개요: 준비 단계 → 추론 단계

PrivacyRestore는 두 단계로 구성된다 [원문 p.3–4].

① 준비 단계(서버, 오프라인)
↓
② 편집 헤드 식별 — 프로브 기법으로 프라이버시 스팬 유형별 상위 K 헤드 선택
↓
③ Common Top-K Selector — 유형별 헤드 집합을 하나의 공통 집합 H_k로 통합
↓
④ 복원 벡터 학습 — ORPO 손실(Hong et al., 2024)로 미세조정, LLM은 동결
↓
⑤ 추론 단계(클라이언트–서버 협업) — 스팬 제거 → 메타 벡터 구성 → d_χ-privacy 적용 → 전송 → activation steering 복원

준비 단계의 세부 조건

  • 프로브 기법(Alain and Bengio, 2016; Tenney et al., 2019; Belinkov, 2022): 헤드 h마다 이진 분류기를 학습하고, 정확도가 높을수록 해당 프라이버시 스팬 유형 c와의 상관이 강하다고 본다. 유형별로 정확도 상위 K개 헤드를 선택한다 [원문 p.3].
  • Common Top-K Selector (성립 조건): 유형별로 다른 top-K 헤드 집합을 쓰면 "an attacker could infer the presence of a specific privacy span type based on the characteristics of top-K head set"라는 누출 위험이 있어, 모든 스팬 유형에 걸쳐 헤드별 평균 점수를 계산해 최고 점수 K개를 하나의 공통 집합으로 만든다. 헤드는 특정 유형의 top-K 집합에 포함되면 양의 점수를 받고, 점수는 해당 헤드의 프로브 정확도와 연관된다 [원문 p.3–4].
  • 복원 벡터 학습 (주요 설정): 각 유형 c·각 헤드 h마다 학습 가능한 복원 벡터 r_h^c를 두고, ORPO 손실로 "프라이버시 스팬이 제거된 입력으로 생성한 출력이 원본 입력의 출력과 유사해지도록" 학습한다. 복원 벡터 Θ가 유일한 학습 파라미터다 [원문 p.4].

3. 추론 단계: 메타 벡터 구성과 d_χ-privacy

클라이언트는 가벼운 모델(예: BERT)로 각 프라이버시 스팬을 사전 정의된 유형 집합 C로 분류한 뒤, 복원 벡터들을 하나의 메타 벡터로 압축한다. 저자는 여러 벡터를 그대로 보내는 것과 달리 단일 벡터 전송이 "prevents potential information leakage regarding the quantity of privacy-sensitive segments"에 유리하다고 설명한다 [원문 p.4].

Attention-aware Weighted Aggregation (AWA) 의 계산은 다음과 같다 [원문 p.5].

단계 산식 의미
① 벡터 연결 r^c = Concat(r_1^c, …, r_h^c) 헤드별 복원 벡터를 유형별로 연결
② 가중 합·정규화 Z = Σ w_s·r^c / ‖Σ w_s·r^c‖₂ 가중치 w_s는 BERT의 평균 어텐션 점수
③ 노이즈 주입 R = Z + N, p(N) ∝ exp(−ε‖N‖) d_χ-privacy 메커니즘 (ε는 프라이버시 하이퍼파라미터)

성립 조건과 저자의 주요 설정: - 가중치는 클라이언트 기기의 연산 제약을 고려해 경량 BERT로 계산한다 — 모든 어텐션 헤드와 토큰에 걸친 평균 어텐션 점수 w_s를 사용한다 [원문 p.5]. - 저자는 EWA(동일 가중)가 "critical privacy spans"의 영향을 약화시키고 무관한 스팬의 효과를 키울 수 있다고 보아 AWA를 채택했다고 주장한다 [원문 p.5]. - 출력 보호의 별도 조건: 입력 쪽 d_χ-privacy만으로는 부족하며, 서버는 sampling 기반 생성을 수행해야 Exponential Mechanism의 보호가 성립한다 [원문 p.2, p.5].

복원(activation steering)

서버는 불완전 쿼리 q̂에 대해 편집 헤드의 마지막 토큰 은닉 상태를 다음과 같이 수정한다 [원문 p.5].

ū_h = u_h + ‖u_h‖₂ · R_h, ∀h ∈ H_k (Eq. 4)

즉 공통 top-K 헤드 집합 H_k에 속하는 헤드만 수정하며, 이는 선행 연구(Li et al., 2023c; Chen et al., 2024)가 모든 어텐션 헤드를 수정하면 전체 성능이 저하된다고 보고한 점을 반영한 설정이다 [원문 p.3].


4. 실험: 3개 데이터셋과 베이스라인 비교

조사 범위: 의료·법률 도메인의 프라이버시 보호 데이터셋 3종(Pri-DDXPlus, Pri-NLICE, Pri-SLJA), 지표는 MC1/MC2, ROUGE-L, LLM-Judge(LLM-J), 처리량(TP) [원문 p.6]. 베이스라인은 No Protection(상한), No Restoration(하한), d_χ-privacy, d_χ-privacy on privacy spans, Paraphrase이며, 모든 방법을 동일한 프라이버시 예산 하에서 비교하도록 ε·τ 값을 설정했다 [원문 p.6].

주요 결과 (Table 1, 3회 실험 평균) [원문 p.7]

데이터셋 방법 MC1↑ MC2↑ ROUGE-L↑ LLM-J↑ TP↑
Pri-DDXPlus No Protection (상한) 64.88±0.01 61.48±0.03 100.00±0.00 5.58±0.03 41.08±0.09
No Restoration (하한) 33.57±0.00 32.49±0.01 25.19±0.43 3.21±0.01 40.86±0.01
d_χ-privacy 28.79±0.02 30.26±0.01 17.97±0.00 1.17±0.00 37.45±0.01
d_χ-privacy on privacy spans 44.71±0.29 42.36±0.00 29.17±0.04 3.31±0.00 33.21±0.00
Paraphrase 27.92±0.56 28.56±0.07 18.04±0.01 1.23±0.00 35.42±0.67
PrivacyRestore 62.97±0.00 60.19±0.00 27.24±0.26 4.47±0.00 26.09±0.08
Pri-NLICE PrivacyRestore 62.23±1.70 57.94±0.09 24.42±0.81 3.67±0.01 32.33±0.01
Pri-SLJA PrivacyRestore 35.47±1.48 35.41±0.64 37.56±0.06 5.25±0.00 30.73±0.04

읽는 포인트: - PrivacyRestore는 MC1/2와 LLM-J에서 프라이버시 보호 방법 중 최고 점수를 기록했다. Pri-DDXPlus 기준 MC1 62.97은 무보호 상한 64.88에 근접하고, 무복원 하한 33.57을 크게 상회한다. - ROUGE-L에서는 Pri-NLICE를 제외하고 2위다(Pri-DDXPlus 27.24 vs d_χ-privacy on privacy spans 29.17). 저자는 이를 ROUGE-L이 n-gram 중첩에 의존해 생성 품질을 온전히 반영하지 못하며, PrivacyRestore는 "different sentence structures while still providing accurate answers"를 생성하기 때문으로 해석한다 — 이는 저자의 가능한 원인 추정이다 [원문 p.6]. - TP는 26.09로 최고치 대비 낮지만, 저자는 클라이언트 측 스팬 식별·메타 벡터 구성의 약간의 지연에도 "throughput attain nearly 70% of the best results"라고 평가한다 [원문 p.6].

출력 누출 분석 (Table 2, Pri-DDXPlus) [원문 p.7]

온도 0.75 1.0 1.25 1.5 1.75
EIA(ROUGE-L) 0.037 0.038 0.035 0.035 0.037
AIA(F1) 0.096 0.097 0.092 0.092 0.097
Occurrence 0.031 0.030 0.030 0.029 0.031

저자는 온도 전반에 걸쳐 공격 성능이 낮게 유지됨에 sampling 기반 생성이 출력 유출을 막는다고 본다. 기본 실험 온도는 1.0이다.

긴 텍스트·이상 시나리오

  • d_χ-privacy는 보호 토큰 비율이 높아질수록 프롬프트 인젝션·속성 추론 공격 성능이 올라가는데, 이는 Mattern et al. (2022b)가 제기한 프라이버시 예산의 선형 증가 문제로 저자는 해석한다. 반면 PrivacyRestore는 프라이버시 스팬 비율 α가 달라져도 공격 성능이 대체로 안정적이며, Pri-NLICE의 embedding inverse attack을 예외로 든다 [원문 p.7–8].
  • 범위 밖(out-of-set) 스팬: 코어 집합을 일부 유형만 포함하도록 축소해도 No Restoration 대비 우수한 성능을 유지했다고 저자는 밝힌다(Table 11) [원문 p.8].
  • 사용자가 스팬을 지정하지 못하는 경우: 기존 텍스트 새니타이제이션 기법과 통합하면 여전히 우수한 성능을 유지한다고 보고된다(Table 14) [원문 p.8].

어블레이션: AWA vs EWA (Table 3) [원문 p.8]

데이터셋 방법 MC1 MC2 ROUGE-L LLM-J TP
Pri-DDXPlus EWA 53.84 51.12 26.32 4.29 26.35
AWA 62.97 60.19 27.24 4.47 26.09
Pri-NLICE EWA 46.92 45.89 22.78 3.12 32.75
AWA 62.23 57.94 24.42 3.67 32.33
Pri-SLJA EWA 30.88 30.70 30.96 4.10 31.00
AWA 35.47 35.41 37.56 5.25 30.73

가중치를 무시한 등가중 집계는 세 데이터셋 모두에서 성능이 하락하며, 저자는 이를 "amplifying irrelevant privacy spans" 때문으로 평가한다. 편집 헤드 수 K 변화와 Llama-13b-chat 백본 실험은 부록 U로 미뤄져 있다 [원문 p.8].


5. 선행 연구와의 관계: 균형 잡힌 위치

계열 대표 선행 연구 논문이 인정하는 기여 논문이 지적하는 한계
SMPC MPC-Former (Li et al., 2023a), MERGER (Liang et al., 2024), IRON (Hao et al., 2022a) 등 암호화로 원문 노출 없이 협업 연산, 모델 구조·프로토콜 양방향 최적화 진행 RoBERTa-Base 추론 168.43초 등 큰 추론 시간 오버헤드로 실시간 서비스 부적합 [원문 p.13]
DP (단어 수준) Feyisetan et al. (2019, 2020), Mattern et al. (2022b), Utpala et al. (2023b) d_χ-privacy로 어휘 수준 텍스트 사적화 달성 노이즈 주입에 따른 성능 저하, 길이 증가에 따른 예산 선형 증가 [원문 p.1, p.13]
Activation steering ITI (Li et al., 2023c), Activation Addition (Turner et al., 2023), Truth Forest (Chen et al., 2024) 추론 중 은닉 상태 개입으로 모델 행동 조정 가능 전체 헤드 수정 시 성능 저하 — PrivacyRestore는 프로브 기반 헤드 선별로 이를 회피 [원문 p.3]
프로브 분석 Alain and Bengio (2016), Tenney et al. (2019), Belinkov (2022) 헤드–스팬 상관 측정 도구 제공 —
출력 보호 Exponential Mechanism (McSherry and Talwar, 2007), Utpala et al. (2023a) sampling 기반 생성의 산출물 보호 이론 근거 —

PrivacyRestore는 어느 한 선행 계열을 대체하는 것이 아니라, activation steering + d_χ-privacy + sampling 생성을 조합해 각 계열의 한계를 우회하는 구성적 기여를 제기한다. 다만 저자가 스스로 밝힌 한계도 있다: 의료·법률 도메인에서만 평가했고, 테스트한 공격 방법에도 한계가 있으며 향후 새 공격법 평가가 필요하다 [원문 p.9].


관점 포인트

  • 보장의 전제 조건을 함께 읽자 — 2ε 예산 보장은 LLM 가중치·편집 헤드 집합의 기밀성 유지와 d_χ-privacy 정의를 전제로 한다 [원문 p.5].
  • 출력 보호는 별도 장치 — 입력 쪽 메타 벡터 보호만으로는 부족하고, sampling 기반 생성(Exponential Mechanism)이 붙어야 완결된다 [원문 p.2, p.5].
  • ROUGE-L 2위는 실패가 아니다 — 저자가 n-gram 중첩 지표의 한계로 해석하는 대목이지만, 이는 저자의 해석임을 분리해 읽어야 한다 [원문 p.6].
  • 사용자 책임의 설계 — 스팬 식별을 사용자에게 맡기는 "Information Self-Determination Right" 원칙은 개인정보 정의의 주관성을 반영하지만, 실제 서비스에서는 식별 오류·미지정 케이스 처리가 실무 과제로 남는다(새니타이제이션 통합이 그 대안) [원문 p.2, p.8].
  • TP 26.09의 의미 — 클라이언트 측 BERT 분류·벡터 구성 비용이 처리량에 반영된다. "nearly 70%"는 저자의 평가 표현이며, 표 기준 최고 TP 대비 비율은 데이터셋마다 다르다 [원문 p.6–7].

최종 핵심 정리

확인해야 할 핵심 질문:

  • 프라이버시 스팬은 누가 정의·식별하는가? → 사용자 본인 (Information Self-Determination Right)
  • 학습 대상은 무엇이고 LLM은 어떻게 되는가? → 복�원 벡터 Θ만 학습, LLM 동결
  • 왜 유형별 헤드가 아니라 공통 top-K 헤드인가? → 헤드 집합 특성으로 특정 스팬 유형 존재가 노출되는 것을 차단
  • 프라이버시 예산은 왜 길이와 무관한가? → 노이즈를 단어가 아닌 단일 메타 벡터에 적용 (Theorem 5.1: 2ε)
  • 출력까지 보호하려면? → 서버의 sampling 기반 생성 필수
  • 남은 한계는? → 의료·법률 2개 도메인, 공격 방법의 한계 (저자 명시)

한 줄 요약: PrivacyRestore는 "프라이버시 스팬을 지우고, 길이와 무관한 2ε 예산으로 보호된 메타 벡터로 activation steering 복원한다"는 한 문장으로 요약되며, 성능 상한(No Protection)에 근접한 MC1/LLM-J와 출력 누출 0.03 수준의 실험 결과가 그 실용성을 뒷받침한다.