W-GAN: Wasserstein GAN

Python, Machine Learning & Deep Learning

울산과학기술원 Assistant Professor Published on 이 슬라이드는 Martin Arjovsky, Soumith Chintala, Léon Bottou 의 Wasserstein GAN (https://arxiv.org/abs/1701.07875v2) 논문 중 Example 1 을 해설하는 자료입니다 1. Wasserstein GAN 수학이해하기 임성빈 2. 이슬라이드는Martin Arjovsky, Soumith Chintala, Léon Bottou 의 Wasserstein GAN 논문중Example 1 을해설하는자료입니다 3. 참고사항 이자료는수학전공자를위해작성한자료가 아닙니다. 논문에기재된증 명의해설은이자료에없습니다 보다자세한설명을바라는분들을위해용어들을위키에링크시켰습니다 수학적인부분이더궁금하신분은아래메일로자유롭게 질문주세요!

WGAN WGAN은 기존의 $f-GAN$의 확장으로 볼 수 있는 GAN의 많은 variant 중의 하나입니다. 2014년 GAN이 세상에 선을 보인 후로, GAN이 변형된 수많은 모형들이 나왔습니다. 그 중 Google의 DC-GAN이 안정적인 학습을 위한 guide line을 제시하였다면, WGAN은 학습이 잘 안되는 이유를 KL divergence의 한계로 언급하며, loss function을 재정의하여 안정성을 제고합니다.

Training GAN is hard. Models may never converge and mode collapses are common. To move forward, we can make incremental improvements or embrace a new path for a new cost function. Do cost functions matter in the GAN training? This article is part of the GAN series which looks into the Wasserstein GAN (WGAN) and the WGAN-Gradient penalty in details.

Brief theoretical introduction to Wasserstein GAN or WGANs and practical implementation using Python and Keras/TensorFlow in Jupyter Notebook. In this article, you will find: Research paper, Definition, network design, and cost function, and Training WGANs with MNIST dataset using Python and Keras/TensorFlow in Jupyter Notebook. Arjovsky, M., Chintala, S., & Bottou, L.

시작하며.. 지난 글에서 논의된 내용들을 정리해 보겠습니다. 다시 한번 remind하면, Optimal인 판별기를 가정한 경우의, GAN의 손실함수는 입니다. 개념적으로는 GAN이 생성된 데이터와 원래 데이터 간의 JS 거리를 가장 작게 하는 방향으로 학습이 되고 있다고 할 수 있겠습니다. 하지만, JS 거리가 언제나 잘 정의가 되는 것은 아니었죠.