Path	Lines of Code
src/fairseq/fairseq/data/__init__.py	97
src/fairseq/fairseq/data/append_token_dataset.py	29
src/fairseq/fairseq/data/audio/__init__.py	1
src/fairseq/fairseq/data/audio/raw_audio_dataset.py	116
src/fairseq/fairseq/data/backtranslation_dataset.py	62
src/fairseq/fairseq/data/base_wrapper_dataset.py	33
src/fairseq/fairseq/data/colorize_dataset.py	14
src/fairseq/fairseq/data/concat_dataset.py	75
src/fairseq/fairseq/data/concat_sentences_dataset.py	37
src/fairseq/fairseq/data/data_utils.py	164
src/fairseq/fairseq/data/data_utils_fast.pyx	53
src/fairseq/fairseq/data/denoising_dataset.py	281
src/fairseq/fairseq/data/dictionary.py	298
src/fairseq/fairseq/data/encoders/__init__.py	15
src/fairseq/fairseq/data/encoders/byte_bpe.py	25
src/fairseq/fairseq/data/encoders/byte_utils.py	37
src/fairseq/fairseq/data/encoders/bytes.py	19
src/fairseq/fairseq/data/encoders/characters.py	17
src/fairseq/fairseq/data/encoders/fastbpe.py	22
src/fairseq/fairseq/data/encoders/gpt2_bpe.py	32
src/fairseq/fairseq/data/encoders/gpt2_bpe_utils.py	102
src/fairseq/fairseq/data/encoders/hf_bert_bpe.py	36
src/fairseq/fairseq/data/encoders/hf_byte_bpe.py	31
src/fairseq/fairseq/data/encoders/moses_tokenizer.py	34
src/fairseq/fairseq/data/encoders/nltk_tokenizer.py	13
src/fairseq/fairseq/data/encoders/sentencepiece_bpe.py	24
src/fairseq/fairseq/data/encoders/space_tokenizer.py	10
src/fairseq/fairseq/data/encoders/subword_nmt_bpe.py	35
src/fairseq/fairseq/data/encoders/utils.py	20
src/fairseq/fairseq/data/fairseq_dataset.py	28
src/fairseq/fairseq/data/id_dataset.py	9
src/fairseq/fairseq/data/indexed_dataset.py	398
src/fairseq/fairseq/data/iterators.py	286
src/fairseq/fairseq/data/language_pair_dataset.py	228
src/fairseq/fairseq/data/legacy/__init__.py	9
src/fairseq/fairseq/data/legacy/block_pair_dataset.py	210
src/fairseq/fairseq/data/legacy/masked_lm_dataset.py	170
src/fairseq/fairseq/data/legacy/masked_lm_dictionary.py	35
src/fairseq/fairseq/data/list_dataset.py	19
src/fairseq/fairseq/data/lm_context_window_dataset.py	55
src/fairseq/fairseq/data/lru_cache_dataset.py	11
src/fairseq/fairseq/data/mask_tokens_dataset.py	113
src/fairseq/fairseq/data/monolingual_dataset.py	121
src/fairseq/fairseq/data/multi_corpus_sampled_dataset.py	74
src/fairseq/fairseq/data/nested_dictionary_dataset.py	76
src/fairseq/fairseq/data/noising.py	182
src/fairseq/fairseq/data/num_samples_dataset.py	8
src/fairseq/fairseq/data/numel_dataset.py	20
src/fairseq/fairseq/data/offset_tokens_dataset.py	7
src/fairseq/fairseq/data/pad_dataset.py	15
src/fairseq/fairseq/data/plasma_utils.py	64
src/fairseq/fairseq/data/prepend_dataset.py	18
src/fairseq/fairseq/data/prepend_token_dataset.py	29
src/fairseq/fairseq/data/raw_label_dataset.py	12
src/fairseq/fairseq/data/replace_dataset.py	17
src/fairseq/fairseq/data/resampling_dataset.py	76
src/fairseq/fairseq/data/roll_dataset.py	9
src/fairseq/fairseq/data/round_robin_zip_datasets.py	67
src/fairseq/fairseq/data/shorten_dataset.py	45
src/fairseq/fairseq/data/sort_dataset.py	11
src/fairseq/fairseq/data/strip_token_dataset.py	12
src/fairseq/fairseq/data/subsample_dataset.py	42
src/fairseq/fairseq/data/token_block_dataset.py	111
src/fairseq/fairseq/data/token_block_utils_fast.pyx	153
src/fairseq/fairseq/data/transform_eos_dataset.py	82
src/fairseq/fairseq/data/transform_eos_lang_pair_dataset.py	54