src/mlm/scorers.py [407:416]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
                    sents_expanded += [(
                            sent_idx,
                            ids,
                            len(ids_original),
                            mask_set,
                            ids_original[mask_set],
                            1)
                        for ids, mask_set in ids_masked]

        return SimpleDataset(sents_expanded)
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -



src/mlm/scorers.py [620:630]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
                sents_expanded += [(
                        sent_idx,
                        ids,
                        len(ids_original),
                        mask_set,
                        ids_original[mask_set],
                        1)
                    for ids, mask_set in ids_masked]
                # print([self._tokenizer.convert_ids_to_tokens(sent[1]) for sent in sents_expanded[:3] + sents_expanded[-3:]])

        return SimpleDataset(sents_expanded)
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -