Path	Lines of Code
fairseq/data/__init__.py	33
fairseq/data/base_wrapper_dataset.py	32
fairseq/data/concat_dataset.py	58
fairseq/data/data_utils.py	155
fairseq/data/dictionary.py	241
fairseq/data/encoders/__init__.py	15
fairseq/data/encoders/gpt2_bpe.py	120
fairseq/data/encoders/moses_tokenizer.py	30
fairseq/data/encoders/nltk_tokenizer.py	13
fairseq/data/encoders/sentencepiece_bpe.py	20
fairseq/data/encoders/space_tokenizer.py	10
fairseq/data/encoders/subword_nmt_bpe.py	35
fairseq/data/fairseq_dataset.py	19
fairseq/data/indexed_dataset.py	392
fairseq/data/iterators.py	193
fairseq/data/language_pair_dataset.py	120
fairseq/data/language_pair_self_dataset_mask.py	171
fairseq/data/prepend_token_dataset.py	29