models/compressive.py [254:264]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
        if self.args.pre_norm:
            h = self.out_norm(h)
        out = self.out(h, target)

        h_cache.extend(c_cache)

        return out, h_cache, aux_loss

    def init_hid_cache(self, batch_sz):
        hid = []
        for l in range(self.args.nlayers):
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -



models/expire_span.py [411:421]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
        if self.args.pre_norm:
            h = self.out_norm(h)
        out = self.out(h, target)

        h_cache.extend(c_cache)

        return out, h_cache, aux_loss

    def init_hid_cache(self, batch_sz):
        hid = []
        for l in range(self.args.nlayers):
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -