custom/baseline_cross_entropy.py [38:45]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
        true_token_logits = -F.nll_loss(
            logits,
            target,
            ignore_index=self.padding_idx,
            reduction='none',
        )
        orig = utils.strip_pad(target, self.padding_idx)
        ntokens = orig.numel()
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -



custom/candidate_penalty_ce_loss.py [73:81]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
        true_token_logits = -F.nll_loss(
            logits,
            target,
            ignore_index=self.padding_idx,
            reduction='none',
        )

        orig = utils.strip_pad(target, self.padding_idx)
        ntokens = orig.numel()
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -