utils/trainer.py [240:250]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
        self.optimizer.zero_grad()
        loss.backward()
        self.optimizer.step()

        self.maybe_log_gradients(idx)
        self.batch+=1

        # statistics
        self.stats['processed_i'] += self.params.batch_size
        self.stats['train_loss'].append(loss.item())
        self.stats['time'].append(time.time() - start)
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -



utils/trainer.py [269:278]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
        self.optimizer.zero_grad()
        loss.backward()
        self.optimizer.step()

        self.maybe_log_gradients(idx)
        self.batch+=1
        # statistics
        self.stats['processed_i'] += self.params.batch_size
        self.stats['train_loss'].append(loss.item())
        self.stats['time'].append(time.time() - start)
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -