summarize_from_feedback/models/transformer.py [84:89]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
        m_attn=0.25,
        m_mlp=1.0,
        mp_comm: Comm = None,
        key_bias=False,
    ):
        super().__init__()
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -



summarize_from_feedback/models/transformer.py [205:210]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
        m_attn=0.25,
        m_mlp=1.0,
        mp_comm: Comm = None,
        key_bias=False,
    ):
        super().__init__()
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -