src/models/readers/huggingface_reader.py [23:35]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
    def __init__(
        self,
        token_indexers: Dict[str, TokenIndexer] = None,
        tokenizer: Optional[Tokenizer] = None,
        **kwargs,
    ) -> None:
        super().__init__(**kwargs)
        self._token_indexers =\
            token_indexers or {"tokens": SingleIdTokenIndexer()}
        self._tokenizer = tokenizer

    @overrides
    def _read(self, file_path):
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -



src/models/readers/simple_reader.py [22:34]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
    def __init__(
        self,
        token_indexers: Dict[str, TokenIndexer] = None,
        tokenizer: Optional[Tokenizer] = None,
        **kwargs,
    ) -> None:
        super().__init__(**kwargs)
        self._token_indexers =\
            token_indexers or {"tokens": SingleIdTokenIndexer()}
        self._tokenizer = tokenizer

    @overrides
    def _read(self, file_path):
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -