train_mixture_gan.py [192:203]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
                grad_gen = autograd.grad(loss_gen, gen.parameters())
                gen_grad_norm = 0
                for p, p_avg, g in zip(gen.parameters(), gen_avg.parameters(), grad_gen):
                    p.data -= LR_GEN*g
                    if BETA_EMA:
                        beta = BETA_EMA
                    else:
                        beta = (n_gen_update+1)/float((n_gen_update+2))
                    p_avg.data = p.data*(1-beta) + p_avg.data*beta
                    gen_grad_norm += (g**2).sum()
                n_gen_update += 1
                update_gen = True
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -



train_mixture_gan.py [206:217]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
            grad_gen = autograd.grad(loss_gen, gen.parameters())
            gen_grad_norm = 0
            for p, p_avg, g in zip(gen.parameters(), gen_avg.parameters(), grad_gen):
                p.data -= LR_GEN*g
                if BETA_EMA:
                    beta = BETA_EMA
                else:
                    beta = (n_gen_update+1)/float((n_gen_update+2))
                p_avg.data = p.data*(1-beta) + p_avg.data*beta
                gen_grad_norm += (g**2).sum()
            n_gen_update += 1
            update_gen = True
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -