[방캅스] 인공지능 보안 - 자연어 처리

<논문 원본>

On Adversarial Examples for Character-Level Neural Machine Translation - Javid Ebrahimi, Daniel Lowd, Dejing Dou

---

<논문 요약>

NLP란?

• NLP(자연어 처리)란 인공적이지 않은, 즉 자연스럽게 발생한 모든 언어(한국어, 영어, 일본어 등)를 컴퓨터가 처리하고 응용하게끔 해주는 모든 기법들을 다루는 머신러닝(딥러닝)의 한 분야를 말한다.
• NLU(Natural Language Understaing): 각 언어 텍스트의 문법과 문맥 등을 컴퓨터가 사람이 의도한 바와 같이 이해하게끔 하는 영역
• NLG(Natural Language Generation): 컴퓨터가 이해한 것을 바탕으로 직접 인간이 이해할 수 있는 텍스트를 생성해내는 영역

---

Black-Box and White-Box Attacks

• 블랙박스 공격(Black-Box Attack): 공격자가 모델 내부를 모르는 상태에서 입력 변형을 통해 모델을 속이려는 공격입니다.
• 화이트박스 공격(White-Box Attack): 공격자가 모델의 내부 구조와 가중치에 대한 정보를 알고 이를 이용해 더 정교한 공격을 수행하는 방식입니다.

---

Controlled and Targeted Attacks

• 통제된 공격(Controlled Attack): 이 공격은 번역된 문장에서 특정 단어가 사라지게 하거나, 중요한 정보를 왜곡하는 방식으로 이루어집니다. 예를 들어, 번역된 문장에서 특정 단어를 제거하도록 하는 공격입니다.
• 목표된 공격(Targeted Attack): 이 공격은 특정 단어를 다른 단어로 바꾸어 번역 결과를 왜곡하는 방식입니다. 공격자는 번역 결과에서 특정 단어를 목표로 삼아 변경하는 것을 목표로 합니다.

---

White-Box Adversarial Examples

• 적대적 예제를 생성하기 위해 문자 수준에서 편집 작업(예: 교체, 교환, 삭제, 삽입)을 수행합니다. 이러한 작업은 기계 번역 모델이 어떻게 작은 변형에 쉽게 속을 수 있는지를 평가하는 중요한 방법입니다.
• 도함수-기반 최적화 과정(gradient-based optimization) 사용하여 적대적 예제를 더 정교하게 만듭니다. 이 방법은 모델의 손실 함수를 최대화하는 방향으로 문자를 변경하는 과정을 포함합니다.

---

Experiments

• 실험에서는 IWSLT 2016 TED 강연 데이터셋을 사용하여, 프랑스어-영어, 독일어-영어, 체코어-영어 번역 모델을 대상으로 블랙박스와 화이트박스 공격의 영향을 비교합니다.
• 실험 결과는 화이트박스 공격이 블랙박스 공격보다 훨씬 더 강력한 공격임을 입증합니다. 화이트박스 공격에서 모델의 BLEU 점수가 급격히 감소하는 것을 확인할 수 있습니다.

cf) BLEU(Bilingual Evaluation Understudy) 점수: 기계 번역의 품질을 평가하는 지표로, 번역된 텍스트와 참조 텍스트 간의 유사도를 측정합니다. 점수가 높을수록 번역 품질이 좋음을 의미합니다.

Conclusion

• Character-Level Neural Machine Translation이 적대적 예제에 매우 취약하다는 점을 강조합니다. 특히, 화이트박스 공격이 블랙박스 공격보다 훨씬 더 강력하다는 것을 보여주며, 적대적 학습을 통해 모델의 Robustness를 높이는 방안을 제안합니다.

cf) Robustness: 모델이 적대적 예제나 예기치 못한 입력 변화에 대해 얼마나 잘 대응하는지를 나타내는 성질.