1. Demonstrate how critic weight clipping can lead to undesired behavior.
2. We propose gradient penalty (WGAN-GP), which does not suffer from the same problems.
3. We demonstrate stable training of varied GAN architectures, performance improvements
over weight clipping, high-quality image generation, and a character-level GAN language
model without any discrete sampling.
Problem Definition
만약 clipping parameter( c )가 너무 크다면, 어떤 weights든 그 한계에 다다르기까지 오랜 시간이 걸릴 것이며, 따라서 D가 최적화되기까지 오랜 시간이 걸린다. 반대로 c 가 너무 작다면, 레이어가 크거나 BatchNorm을 쓰지 않는다면 쉽게 vanishing gradients 문제가 생길 수 있다.
Solution
clipping을 적용하는 대신 WGAN_GP는 gradient norm이 목표인 1 에서 멀어지면 penalty를 주는 방식을 택했다.
