picotron/model.py [106:115]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
        self.reset_parameters()

        ## TODO support mask
    
    def reset_parameters(self):

        def _init_weights(tensor):
            k = 1 / tensor.size(1)
            bound = math.sqrt(k)
            torch.nn.init.uniform_(tensor, -bound, bound)
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -



picotron/model.py [199:205]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
        self.reset_parameters()

    def reset_parameters(self):
        def _init_weights(tensor):
            k = 1 / tensor.size(1)
            bound = math.sqrt(k)
            torch.nn.init.uniform_(tensor, -bound, bound)
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -