Path	Lines of Code
fairseq/data/__init__.py	99
fairseq/data/append_token_dataset.py	29
fairseq/data/audio/__init__.py	1
fairseq/data/audio/raw_audio_dataset.py	116
fairseq/data/backtranslation_dataset.py	62
fairseq/data/base_wrapper_dataset.py	33
fairseq/data/colorize_dataset.py	14
fairseq/data/concat_dataset.py	75
fairseq/data/concat_sentences_dataset.py	37
fairseq/data/data_utils.py	166
fairseq/data/data_utils_fast.pyx	53
fairseq/data/denoising_dataset.py	281
fairseq/data/dictionary.py	282
fairseq/data/encoders/__init__.py	15
fairseq/data/encoders/fastbpe.py	22
fairseq/data/encoders/gpt2_bpe.py	32
fairseq/data/encoders/gpt2_bpe_utils.py	93
fairseq/data/encoders/hf_bert_bpe.py	36
fairseq/data/encoders/hf_byte_bpe.py	31
fairseq/data/encoders/moses_tokenizer.py	34
fairseq/data/encoders/nltk_tokenizer.py	13
fairseq/data/encoders/sentencepiece_bpe.py	24
fairseq/data/encoders/space_tokenizer.py	10
fairseq/data/encoders/subword_nmt_bpe.py	35
fairseq/data/encoders/utils.py	20
fairseq/data/fairseq_dataset.py	28
fairseq/data/id_dataset.py	9
fairseq/data/indexed_dataset.py	398
fairseq/data/iterators.py	225
fairseq/data/language_pair_dataset.py	229
fairseq/data/legacy/__init__.py	9
fairseq/data/legacy/block_pair_dataset.py	210
fairseq/data/legacy/masked_lm_dataset.py	170
fairseq/data/legacy/masked_lm_dictionary.py	35
fairseq/data/list_dataset.py	19
fairseq/data/lm_context_window_dataset.py	55
fairseq/data/lru_cache_dataset.py	11
fairseq/data/mask_tokens_dataset.py	112
fairseq/data/monolingual_dataset.py	121
fairseq/data/multi_corpus_sampled_dataset.py	74
fairseq/data/nested_dictionary_dataset.py	76
fairseq/data/noising.py	182
fairseq/data/num_samples_dataset.py	8
fairseq/data/numel_dataset.py	20
fairseq/data/offset_tokens_dataset.py	7
fairseq/data/pad_dataset.py	15
fairseq/data/plasma_utils.py	64
fairseq/data/prepend_dataset.py	18
fairseq/data/prepend_token_dataset.py	29
fairseq/data/raw_label_dataset.py	12
fairseq/data/replace_dataset.py	17
fairseq/data/resampling_dataset.py	76
fairseq/data/roll_dataset.py	9
fairseq/data/round_robin_zip_datasets.py	69
fairseq/data/sort_dataset.py	11
fairseq/data/strip_token_dataset.py	8
fairseq/data/subsample_dataset.py	42
fairseq/data/token_block_dataset.py	111
fairseq/data/token_block_utils_fast.pyx	153
fairseq/data/transform_eos_dataset.py	82
fairseq/data/transform_eos_lang_pair_dataset.py	54
fairseq/data/truncate_dataset.py	19
fairseq/data/truncate_last_element_dataset.py	12