[방캅스] 인공지능 보안 - 딥러닝

<논문 원본>

Adversarial examples for generative models - Jernej Kos, Ian Fischer, Dawn Song

Adversarial examples for generative models

---

<논문 요약>

VAE(Variational Auto Encoder)

• 오토인코더(Autoencoder)
  
  • 오토인코더는 데이터(예: 사진, 문서)를 압축하는 인코더와 다시 원래 데이터를 복원하는 디코더로 구성된 모델입니다.
  • 예를 들어, 복잡한 사진을 작은 크기의 중요한 정보로 압축했다가, 다시 원래 사진과 비슷하게 복원하는 것과 같습니다.
• VAE(Variational Auto Encoder)
  
  • VAE는 오토인코더의 변형된 버전으로, 단순히 데이터를 압축하는 것뿐 아니라, 새로운 데이터를 생성하는 능력을 가진다.
  • 예를 들어, 기존에 본 적 없는 새로운 사진을 만들 수 있다.

---

VAE 작동 방식

인코더(Encoder)

• 인코더는 입력 데이터를 받아 잠재 공간(latent space)이라는 저 차원 공간으로 변환한다.
• 이는 원래 데이터의 중요한 특징을 잡아낸 요약본 같은 것이다.

잠재 변수(Latent Variables)

• 잠재 공간은 데이터의 압축된 표현으로, VAE는 이 공간을 정규분포와 같은 특정 분포로 맞추려고 한다.
• 다양한 데이터가 이 공간 안에서 자연스럽게 퍼져있도록 하는 것이다.

디코더(Decoder)

• 디코더는 이 잠재 공간의 점들을 받아 원래 데이터와 유사한 새로운 데이터를 생성한다.
• 이는 압축된 정보를 다시 풀어 원래 데이터로 돌리는 과정이다.

 

---

관련 연구 및 배경

• 생성 모델의 취약점: 
  • 생성 모델은 다양한 출력을 생성할 수 있으며, 이러한 모델은 입력 데이터의 분포를 학습하고 그 분포에서 새로운 예제를 생성합니다.
  • 그러나 이러한 모델도 적대적 예제에 취약하다.
• 적대적 예제: 
  • 적대적 예제는 원래 데이터에 아주 작은 변화를 주어, 사람에게는 거의 동일하게 보이지만,
  • 인공지능 모델에게는 완전히 다른 것으로 인식되도록 만든 입력 데이터이다.
• 예를 들어, 고양이 사진에 인간이 거의 알아차릴 수 없는 잡음을 추가하면, 인공지능 모델이 이를 고양이가 아닌 개나 다른 동물로 잘못 인식하게 될 수 있습니다.

---

문제 정의

적대적 예제의 생성

• 생성 모델에 대한 적대적 예제는 공격자가 원하는 목표 출력 클래스를 생성하도록 목표 출력 클래스를 생성하도록 입력을 조작하는 것이다.
• 이를 통해 공격자는 원본 이미지의 재구성된 이미지 사이의 차이를 최적화하여 원하는 재구성을 얻을 수 있습니다.

---

공격 방법론

• 분류 기반 공격: 공격자가 학습된 인코더에 분류기를 추가하여 간접적으로 잠재 표현을 조작하는 방법이다.
• VAE 손실 함수 사용: VAE 손실 함수를 직접 사용하여 적대적 예제를 생성한다.
• 잠재 표현 차이 최적화: 표준 손실이나 분류기를 사용하는 대신, 원본과 목표 잠재 표현 사이의 차이를 직접 최적화하는 방법이다.

---

 

Experiment

• 결과 요약: 다양한 데이터셋(MNIST, SVHN, CelebA)에 대해 세 가지 공격 방법을 테스트한 결과, 잠재 표현 차이 최적화가 가장 좋은 성능을 보였고, 분류 기반 공격이 가장 성능이 낮았습니다.
• VAE와 VAE-GAN 생성 모델이 적대적 예제에 취약하다는 것을 보여주었고 이는 현재의 신경망 구조가 일반적으로 적대적 예제에 취약함을 시사합니다.