Path	Lines of Code
fairseq/data/__init__.py	119
fairseq/data/add_target_dataset.py	63
fairseq/data/append_token_dataset.py	29
fairseq/data/audio/__init__.py	1
fairseq/data/audio/audio_utils.py	194
fairseq/data/audio/data_cfg.py	190
fairseq/data/audio/feature_transforms/__init__.py	66
fairseq/data/audio/feature_transforms/delta_deltas.py	27
fairseq/data/audio/feature_transforms/global_cmvn.py	21
fairseq/data/audio/feature_transforms/specaugment.py	111
fairseq/data/audio/feature_transforms/utterance_cmvn.py	31
fairseq/data/audio/frm_text_to_speech_dataset.py	176
fairseq/data/audio/hubert_dataset.py	294
fairseq/data/audio/multi_modality_dataset.py	211
fairseq/data/audio/raw_audio_dataset.py	326
fairseq/data/audio/speech_to_speech_dataset.py	345
fairseq/data/audio/speech_to_text_dataset.py	463
fairseq/data/audio/speech_to_text_joint_dataset.py	302
fairseq/data/audio/text_to_speech_dataset.py	219
fairseq/data/backtranslation_dataset.py	63
fairseq/data/base_wrapper_dataset.py	55
fairseq/data/bucket_pad_length_dataset.py	50
fairseq/data/colorize_dataset.py	14
fairseq/data/concat_dataset.py	91
fairseq/data/concat_sentences_dataset.py	36
fairseq/data/data_utils.py	427
fairseq/data/data_utils_fast.pyx	131
fairseq/data/denoising_dataset.py	327
fairseq/data/dictionary.py	310
fairseq/data/encoders/__init__.py	15
fairseq/data/encoders/byte_bpe.py	34
fairseq/data/encoders/byte_utils.py	36
fairseq/data/encoders/bytes.py	23
fairseq/data/encoders/characters.py	17
fairseq/data/encoders/fastbpe.py	23
fairseq/data/encoders/gpt2_bpe.py	29
fairseq/data/encoders/gpt2_bpe_utils.py	103
fairseq/data/encoders/hf_bert_bpe.py	36
fairseq/data/encoders/hf_byte_bpe.py	35
fairseq/data/encoders/moses_tokenizer.py	35
fairseq/data/encoders/nltk_tokenizer.py	14
fairseq/data/encoders/sentencepiece_bpe.py	46
fairseq/data/encoders/space_tokenizer.py	11
fairseq/data/encoders/subword_nmt_bpe.py	41
fairseq/data/encoders/utils.py	20
fairseq/data/fairseq_dataset.py	103
fairseq/data/fasta_dataset.py	75
fairseq/data/huffman/__init__.py	15
fairseq/data/huffman/huffman_coder.py	186
fairseq/data/huffman/huffman_mmap_indexed_dataset.py	194
fairseq/data/id_dataset.py	9
fairseq/data/indexed_dataset.py	453
fairseq/data/iterators.py	532
fairseq/data/language_pair_dataset.py	319
fairseq/data/legacy/__init__.py	9
fairseq/data/legacy/block_pair_dataset.py	210
fairseq/data/legacy/masked_lm_dataset.py	153
fairseq/data/legacy/masked_lm_dictionary.py	35
fairseq/data/list_dataset.py	19
fairseq/data/lm_context_window_dataset.py	63
fairseq/data/lru_cache_dataset.py	11
fairseq/data/mask_tokens_dataset.py	153
fairseq/data/monolingual_dataset.py	170
fairseq/data/multi_corpus_dataset.py	175
fairseq/data/multi_corpus_sampled_dataset.py	80
fairseq/data/multilingual/__init__.py	1
fairseq/data/multilingual/multilingual_data_manager.py	1029
fairseq/data/multilingual/multilingual_utils.py	43
fairseq/data/multilingual/sampled_multi_dataset.py	356
fairseq/data/multilingual/sampled_multi_epoch_dataset.py	140
fairseq/data/multilingual/sampling_method.py	54
fairseq/data/nested_dictionary_dataset.py	85
fairseq/data/noising.py	200
fairseq/data/num_samples_dataset.py	8
fairseq/data/numel_dataset.py	20
fairseq/data/offset_tokens_dataset.py	7
fairseq/data/pad_dataset.py	15
fairseq/data/plasma_utils.py	129
fairseq/data/prepend_dataset.py	18
fairseq/data/prepend_token_dataset.py	29
fairseq/data/raw_label_dataset.py	12
fairseq/data/replace_dataset.py	17
fairseq/data/resampling_dataset.py	82
fairseq/data/roll_dataset.py	9
fairseq/data/round_robin_zip_datasets.py	104
fairseq/data/shorten_dataset.py	56
fairseq/data/sort_dataset.py	11
fairseq/data/strip_token_dataset.py	12
fairseq/data/subsample_dataset.py	43
fairseq/data/text_compressor.py	42
fairseq/data/token_block_dataset.py	149
fairseq/data/token_block_utils_fast.pyx	154
fairseq/data/transform_eos_concat_langpair_dataset.py	110
fairseq/data/transform_eos_dataset.py	82
fairseq/data/transform_eos_lang_pair_dataset.py	73