path	# lines of code
src/fairseq/fairseq/registry.py	59
src/fairseq/fairseq/search.py	197
src/fairseq/fairseq/sequence_scorer.py	104
src/fairseq/fairseq/options.py	506
src/fairseq/fairseq/bleu.py	100
src/fairseq/fairseq/__init__.py	16
src/fairseq/fairseq/hub_utils.py	201
src/fairseq/fairseq/file_utils.py	220
src/fairseq/fairseq/tokenizer.py	6
src/fairseq/fairseq/tasks/multilingual_translation.py	256
src/fairseq/fairseq/tasks/translation_lev.py	122
src/fairseq/fairseq/tasks/sentence_prediction.py	193
src/fairseq/fairseq/tasks/__init__.py	40
src/fairseq/fairseq/tasks/translation_from_pretrained_xlm.py	8
src/fairseq/fairseq/tasks/fairseq_task.py	238
src/fairseq/fairseq/tasks/translation.py	305
src/fairseq/fairseq/tasks/semisupervised_translation.py	316
src/fairseq/fairseq/tasks/translation_from_pretrained_bart.py	70
src/fairseq/fairseq/tasks/multilingual_denoising.py	174
src/fairseq/fairseq/tasks/masked_lm.py	172
src/fairseq/fairseq/tasks/legacy_masked_lm.py	103
src/fairseq/fairseq/tasks/audio_pretraining.py	28
src/fairseq/fairseq/tasks/cross_lingual_lm.py	116
src/fairseq/fairseq/tasks/denoising.py	130
src/fairseq/fairseq/tasks/multilingual_masked_lm.py	257
src/fairseq/fairseq/tasks/language_modeling.py	193
src/fairseq/fairseq/tasks/sentence_ranking.py	156
src/fairseq/fairseq/optim/adagrad.py	20
src/fairseq/fairseq/optim/fused_lamb.py	29
src/fairseq/fairseq/optim/lr_scheduler/__init__.py	13
src/fairseq/fairseq/optim/lr_scheduler/triangular_lr_scheduler.py	45
src/fairseq/fairseq/optim/lr_scheduler/cosine_lr_scheduler.py	66
src/fairseq/fairseq/optim/lr_scheduler/fixed_schedule.py	38
src/fairseq/fairseq/optim/lr_scheduler/tri_stage_lr_scheduler.py	84
src/fairseq/fairseq/optim/lr_scheduler/polynomial_decay_schedule.py	49
src/fairseq/fairseq/optim/lr_scheduler/reduce_lr_on_plateau.py	57
src/fairseq/fairseq/optim/lr_scheduler/fairseq_lr_scheduler.py	24
src/fairseq/fairseq/optim/lr_scheduler/inverse_square_root_schedule.py	33
src/fairseq/fairseq/optim/__init__.py	20
src/fairseq/fairseq/optim/nag.py	63
src/fairseq/fairseq/optim/fairseq_optimizer.py	64
src/fairseq/fairseq/optim/bmuf.py	150
src/fairseq/fairseq/optim/adam.py	118
src/fairseq/fairseq/optim/adamax.py	91
src/fairseq/fairseq/optim/adafactor.py	147
src/fairseq/fairseq/optim/sgd.py	23
src/fairseq/fairseq/optim/adadelta.py	27
src/fairseq/fairseq/optim/fp16_optimizer.py	315
src/fairseq/fairseq/optim/fused_adam.py	191
src/fairseq/fairseq/nan_detector.py	66
src/fairseq/fairseq/sequence_generator.py	660
src/fairseq/fairseq/trainer.py	736
src/fairseq/fairseq/modules/downsampled_multihead_attention.py	197
src/fairseq/fairseq/modules/longformer_multihead_attention.py	339
src/fairseq/fairseq/modules/gelu.py	11
src/fairseq/fairseq/modules/lightconv_layer/cuda_function_gen.py	72
src/fairseq/fairseq/modules/lightconv_layer/__init__.py	1
src/fairseq/fairseq/modules/lightconv_layer/lightconv_cuda.cuh	71
src/fairseq/fairseq/modules/lightconv_layer/setup.py	13
src/fairseq/fairseq/modules/lightconv_layer/lightconv_cuda_kernel.cu	285
src/fairseq/fairseq/modules/lightconv_layer/lightconv_layer.py	98
src/fairseq/fairseq/modules/lightconv_layer/lightconv_cuda.cpp	36
src/fairseq/fairseq/modules/sinusoidal_positional_embedding.py	78
src/fairseq/fairseq/modules/__init__.py	65
src/fairseq/fairseq/modules/transformer_layer.py	302
src/fairseq/fairseq/modules/grad_multiply.py	10
src/fairseq/fairseq/modules/positional_embedding.py	21
src/fairseq/fairseq/modules/lightweight_convolution.py	209
src/fairseq/fairseq/modules/sparse_transformer_sentence_encoder.py	63
src/fairseq/fairseq/modules/transformer_sentence_encoder_layer.py	102
src/fairseq/fairseq/modules/gumbel_vector_quantizer.py	122
src/fairseq/fairseq/modules/scalar_bias.py	15
src/fairseq/fairseq/modules/layer_drop.py	11
src/fairseq/fairseq/modules/multihead_attention.py	380
src/fairseq/fairseq/modules/transformer_sentence_encoder.py	199
src/fairseq/fairseq/modules/conv_tbc.py	21
src/fairseq/fairseq/modules/fp32_group_norm.py	14
src/fairseq/fairseq/modules/dynamicconv_layer/cuda_function_gen.py	66
src/fairseq/fairseq/modules/dynamicconv_layer/__init__.py	1
src/fairseq/fairseq/modules/dynamicconv_layer/setup.py	16
src/fairseq/fairseq/modules/dynamicconv_layer/dynamicconv_cuda.cuh	44
src/fairseq/fairseq/modules/dynamicconv_layer/dynamicconv_cuda.cpp	38
src/fairseq/fairseq/modules/dynamicconv_layer/dynamiconv_cpu.cpp	28
src/fairseq/fairseq/modules/dynamicconv_layer/dynamicconv_layer.py	167
src/fairseq/fairseq/modules/dynamicconv_layer/dynamicconv_cuda_kernel.cu	140
src/fairseq/fairseq/modules/adaptive_input.py	59
src/fairseq/fairseq/modules/sparse_multihead_attention.py	66
src/fairseq/fairseq/modules/quant_noise.py	41
src/fairseq/fairseq/modules/layer_norm.py	32
src/fairseq/fairseq/modules/sparse_transformer_sentence_encoder_layer.py	32
src/fairseq/fairseq/modules/dynamic_crf_layer.py	94
src/fairseq/fairseq/modules/unfold.py	10
src/fairseq/fairseq/modules/vggblock.py	74
src/fairseq/fairseq/modules/quantization/quantization_options.py	31
src/fairseq/fairseq/modules/quantization/__init__.py	1
src/fairseq/fairseq/modules/quantization/scalar/ops.py	32
src/fairseq/fairseq/modules/quantization/scalar/__init__.py	1
src/fairseq/fairseq/modules/quantization/scalar/modules/qlinear.py	65
src/fairseq/fairseq/modules/quantization/scalar/modules/__init__.py	4
src/fairseq/fairseq/modules/quantization/scalar/modules/qconv.py	103
src/fairseq/fairseq/modules/quantization/scalar/modules/qemb.py	88
src/fairseq/fairseq/modules/quantization/scalar/modules/qact.py	35
src/fairseq/fairseq/modules/quantization/scalar/utils.py	28
src/fairseq/fairseq/modules/quantization/pq/em.py	98
src/fairseq/fairseq/modules/quantization/pq/__init__.py	1
src/fairseq/fairseq/modules/quantization/pq/pq.py	69
src/fairseq/fairseq/modules/quantization/pq/modules/qlinear.py	41
src/fairseq/fairseq/modules/quantization/pq/modules/__init__.py	3
src/fairseq/fairseq/modules/quantization/pq/modules/qconv.py	81
src/fairseq/fairseq/modules/quantization/pq/modules/qemb.py	56
src/fairseq/fairseq/modules/quantization/pq/utils.py	169
src/fairseq/fairseq/modules/linearized_convolution.py	60
src/fairseq/fairseq/modules/adaptive_softmax.py	138
src/fairseq/fairseq/modules/kmeans_vector_quantizer.py	94
src/fairseq/fairseq/modules/learned_positional_embedding.py	41
src/fairseq/fairseq/modules/cuda_utils.cu	169
src/fairseq/fairseq/modules/character_token_embedder.py	150
src/fairseq/fairseq/modules/cross_entropy.py	35
src/fairseq/fairseq/modules/beamable_mm.py	25
src/fairseq/fairseq/modules/dynamic_convolution.py	201
src/fairseq/fairseq/binarizer.py	88
src/fairseq/fairseq/incremental_decoding_utils.py	33
src/fairseq/fairseq/benchmark/__init__.py	5
src/fairseq/fairseq/benchmark/dummy_lm.py	81
src/fairseq/fairseq/benchmark/dummy_masked_lm.py	89
src/fairseq/fairseq/benchmark/dummy_model.py	75
src/fairseq/fairseq/models/multilingual_transformer.py	147
src/fairseq/fairseq/models/lstm_lm.py	104
src/fairseq/fairseq/models/composite_encoder.py	22
src/fairseq/fairseq/models/__init__.py	74
src/fairseq/fairseq/models/model_utils.py	62
src/fairseq/fairseq/models/wav2vec.py	629
src/fairseq/fairseq/models/distributed_fairseq_model.py	70
src/fairseq/fairseq/models/bart/__init__.py	2
src/fairseq/fairseq/models/bart/model.py	307
src/fairseq/fairseq/models/bart/hub_interface.py	132
src/fairseq/fairseq/models/lightconv.py	554
src/fairseq/fairseq/models/transformer_align.py	67
src/fairseq/fairseq/models/fconv_lm.py	84
src/fairseq/fairseq/models/fconv_self_att.py	448
src/fairseq/fairseq/models/fconv.py	455
src/fairseq/fairseq/models/lstm.py	512
src/fairseq/fairseq/models/lightconv_lm.py	146
src/fairseq/fairseq/models/masked_lm.py	241
src/fairseq/fairseq/models/huggingface/__init__.py	12
src/fairseq/fairseq/models/huggingface/hf_gpt2.py	148
src/fairseq/fairseq/models/transformer.py	870
src/fairseq/fairseq/models/fairseq_model.py	270
src/fairseq/fairseq/models/nat/nonautoregressive_transformer.py	324
src/fairseq/fairseq/models/nat/insertion_transformer.py	215
src/fairseq/fairseq/models/nat/__init__.py	7
src/fairseq/fairseq/models/nat/nat_crf_transformer.py	80
src/fairseq/fairseq/models/nat/levenshtein_utils.py	211
src/fairseq/fairseq/models/nat/nonautoregressive_ensembles.py	185
src/fairseq/fairseq/models/nat/fairseq_nat_model.py	108
src/fairseq/fairseq/models/nat/levenshtein_transformer.py	381
src/fairseq/fairseq/models/nat/iterative_nonautoregressive_transformer.py	161
src/fairseq/fairseq/models/nat/cmlm_transformer.py	113
src/fairseq/fairseq/models/fairseq_incremental_decoder.py	35
src/fairseq/fairseq/models/fairseq_encoder.py	43
src/fairseq/fairseq/models/transformer_from_pretrained_xlm.py	112
src/fairseq/fairseq/models/fairseq_decoder.py	44
src/fairseq/fairseq/models/transformer_lm.py	248
src/fairseq/fairseq/models/roberta/__init__.py	4
src/fairseq/fairseq/models/roberta/alignment_utils.py	70
src/fairseq/fairseq/models/roberta/model_camembert.py	30
src/fairseq/fairseq/models/roberta/model_xlmr.py	24
src/fairseq/fairseq/models/roberta/model.py	292
src/fairseq/fairseq/models/roberta/hub_interface.py	136
src/fairseq/fairseq/data/strip_token_dataset.py	12
src/fairseq/fairseq/data/transform_eos_dataset.py	82
src/fairseq/fairseq/data/data_utils.py	164
src/fairseq/fairseq/data/dictionary.py	298
src/fairseq/fairseq/data/colorize_dataset.py	14
src/fairseq/fairseq/data/resampling_dataset.py	76
src/fairseq/fairseq/data/__init__.py	97
src/fairseq/fairseq/data/lru_cache_dataset.py	11
src/fairseq/fairseq/data/token_block_utils_fast.pyx	153
src/fairseq/fairseq/data/offset_tokens_dataset.py	7
src/fairseq/fairseq/data/iterators.py	286
src/fairseq/fairseq/data/indexed_dataset.py	398
src/fairseq/fairseq/data/backtranslation_dataset.py	62
src/fairseq/fairseq/data/round_robin_zip_datasets.py	67
src/fairseq/fairseq/data/encoders/byte_utils.py	37
src/fairseq/fairseq/data/encoders/characters.py	17
src/fairseq/fairseq/data/encoders/gpt2_bpe.py	32
src/fairseq/fairseq/data/encoders/sentencepiece_bpe.py	24
src/fairseq/fairseq/data/encoders/__init__.py	15
src/fairseq/fairseq/data/encoders/space_tokenizer.py	10
src/fairseq/fairseq/data/encoders/byte_bpe.py	25
src/fairseq/fairseq/data/encoders/hf_bert_bpe.py	36
src/fairseq/fairseq/data/encoders/subword_nmt_bpe.py	35
src/fairseq/fairseq/data/encoders/fastbpe.py	22
src/fairseq/fairseq/data/encoders/utils.py	20
src/fairseq/fairseq/data/encoders/moses_tokenizer.py	34
src/fairseq/fairseq/data/encoders/nltk_tokenizer.py	13
src/fairseq/fairseq/data/encoders/gpt2_bpe_utils.py	102
src/fairseq/fairseq/data/encoders/hf_byte_bpe.py	31
src/fairseq/fairseq/data/encoders/bytes.py	19
src/fairseq/fairseq/data/token_block_dataset.py	111
src/fairseq/fairseq/data/nested_dictionary_dataset.py	76
src/fairseq/fairseq/data/fairseq_dataset.py	28
src/fairseq/fairseq/data/roll_dataset.py	9
src/fairseq/fairseq/data/multi_corpus_sampled_dataset.py	74
src/fairseq/fairseq/data/append_token_dataset.py	29
src/fairseq/fairseq/data/sort_dataset.py	11
src/fairseq/fairseq/data/id_dataset.py	9
src/fairseq/fairseq/data/replace_dataset.py	17
src/fairseq/fairseq/data/monolingual_dataset.py	121
src/fairseq/fairseq/data/prepend_dataset.py	18
src/fairseq/fairseq/data/audio/__init__.py	1
src/fairseq/fairseq/data/audio/raw_audio_dataset.py	116
src/fairseq/fairseq/data/mask_tokens_dataset.py	113
src/fairseq/fairseq/data/plasma_utils.py	64
src/fairseq/fairseq/data/legacy/masked_lm_dataset.py	170
src/fairseq/fairseq/data/legacy/masked_lm_dictionary.py	35
src/fairseq/fairseq/data/legacy/__init__.py	9
src/fairseq/fairseq/data/legacy/block_pair_dataset.py	210
src/fairseq/fairseq/data/num_samples_dataset.py	8
src/fairseq/fairseq/data/subsample_dataset.py	42
src/fairseq/fairseq/data/prepend_token_dataset.py	29
src/fairseq/fairseq/data/shorten_dataset.py	45
src/fairseq/fairseq/data/lm_context_window_dataset.py	55
src/fairseq/fairseq/data/raw_label_dataset.py	12
src/fairseq/fairseq/data/pad_dataset.py	15
src/fairseq/fairseq/data/noising.py	182
src/fairseq/fairseq/data/denoising_dataset.py	281
src/fairseq/fairseq/data/transform_eos_lang_pair_dataset.py	54
src/fairseq/fairseq/data/numel_dataset.py	20
src/fairseq/fairseq/data/base_wrapper_dataset.py	33
src/fairseq/fairseq/data/language_pair_dataset.py	228
src/fairseq/fairseq/data/data_utils_fast.pyx	53
src/fairseq/fairseq/data/concat_dataset.py	75
src/fairseq/fairseq/data/list_dataset.py	19
src/fairseq/fairseq/data/concat_sentences_dataset.py	37
src/fairseq/fairseq/quantization_utils.py	100
src/fairseq/fairseq/utils.py	361
src/fairseq/fairseq/model_parallel/__init__.py	1
src/fairseq/fairseq/model_parallel/modules/__init__.py	11
src/fairseq/fairseq/model_parallel/modules/transformer_layer.py	54
src/fairseq/fairseq/model_parallel/modules/transformer_sentence_encoder_layer.py	59
src/fairseq/fairseq/model_parallel/modules/multihead_attention.py	244
src/fairseq/fairseq/model_parallel/modules/transformer_sentence_encoder.py	48
src/fairseq/fairseq/model_parallel/models/__init__.py	8
src/fairseq/fairseq/model_parallel/models/transformer.py	70
src/fairseq/fairseq/model_parallel/models/transformer_lm.py	70
src/fairseq/fairseq/model_parallel/models/roberta/__init__.py	1
src/fairseq/fairseq/model_parallel/models/roberta/model.py	182
src/fairseq/fairseq/model_parallel/megatron_trainer.py	44
src/fairseq/fairseq/model_parallel/criterions/__init__.py	6
src/fairseq/fairseq/model_parallel/criterions/vocab_parallel_cross_entropy.py	46
src/fairseq/fairseq/pdb.py	28
src/fairseq/fairseq/legacy_distributed_data_parallel.py	101
src/fairseq/fairseq/logging/__init__.py	1
src/fairseq/fairseq/logging/meters.py	208
src/fairseq/fairseq/logging/metrics.py	118
src/fairseq/fairseq/logging/progress_bar.py	256
src/fairseq/fairseq/criterions/binary_cross_entropy.py	104
src/fairseq/fairseq/criterions/sentence_prediction.py	60
src/fairseq/fairseq/criterions/__init__.py	13
src/fairseq/fairseq/criterions/label_smoothed_cross_entropy.py	63
src/fairseq/fairseq/criterions/fairseq_criterion.py	74
src/fairseq/fairseq/criterions/label_smoothed_cross_entropy_with_alignment.py	57
src/fairseq/fairseq/criterions/composite_loss.py	66
src/fairseq/fairseq/criterions/nat_loss.py	117
src/fairseq/fairseq/criterions/adaptive_loss.py	62
src/fairseq/fairseq/criterions/masked_lm.py	50
src/fairseq/fairseq/criterions/legacy_masked_lm.py	83
src/fairseq/fairseq/criterions/sentence_ranking.py	78
src/fairseq/fairseq/criterions/cross_entropy.py	45
src/fairseq/fairseq/checkpoint_utils.py	353
src/fairseq/fairseq/file_io.py	75
src/fairseq/fairseq/distributed_utils.py	232
src/fairseq/fairseq/iterative_refinement_generator.py	235
src/fairseq/fairseq/clib/libnat/edit_dist.cpp	191
src/fairseq/fairseq/clib/libnat_cuda/edit_dist.cu	284
src/fairseq/fairseq/clib/libnat_cuda/edit_dist.h	13
src/fairseq/fairseq/clib/libnat_cuda/binding.cpp	38
src/fairseq/fairseq/clib/libbleu/libbleu.cpp	109
src/fairseq/fairseq/clib/libbleu/module.cpp	23
src/fairseq/train.py	3
src/fairseq/fairseq_cli/train.py	279
src/fairseq/fairseq_cli/__init__.py	1
src/fairseq/fairseq_cli/eval_lm.py	192
src/fairseq/fairseq_cli/score.py	64
src/fairseq/fairseq_cli/preprocess.py	294
src/fairseq/fairseq_cli/validate.py	93
src/fairseq/fairseq_cli/interactive.py	158
src/fairseq/fairseq_cli/generate.py	207
src/fairseq/hubconf.py	32
src/fairseq/eval_lm.py	3
src/fairseq/setup.py	125
src/fairseq/score.py	3
src/fairseq/preprocess.py	3
src/fairseq/validate.py	3
src/fairseq/interactive.py	3
src/fairseq/pyproject.toml	3
src/fairseq/generate.py	3
src/fairseq/scripts/split_train_valid_docs.py	64
src/fairseq/scripts/spm_decode.py	30
src/fairseq/scripts/average_checkpoints.py	111
src/fairseq/scripts/__init__.py	1
src/fairseq/scripts/build_sym_alignment.py	58
src/fairseq/scripts/spm_encode.py	77
src/fairseq/scripts/shard_docs.py	33
src/fairseq/scripts/compare_namespaces.py	30
src/fairseq/scripts/convert_dictionary.lua	25
src/fairseq/scripts/rm_pt.py	109
src/fairseq/scripts/read_binarized.py	28
src/fairseq/scripts/spm_train.py	5
src/fairseq/scripts/count_docs.py	40
src/fairseq/scripts/convert_model.lua	84
src/convert_model_to_long.py	99
src/graph_construction.py	355
src/graph_utils.py	155
src/bart_decode_parallel.py	84
src/prepare_data.py	315