path	# lines of code
pip_package/build.Dockerfile	38
pip_package/MANIFEST.in	1
pip_package/setup.py	74
docker/__init__.py	1
docker/run_distributed.py	144
lingvo/ipython_kernel.py	16
lingvo/datasets.py	98
lingvo/compat.py	265
lingvo/base_trial.py	61
lingvo/pdb_wrapper.py	14
lingvo/base_runner.py	423
lingvo/trainer_utils.py	35
lingvo/jax/pip_package/build.Dockerfile	44
lingvo/jax/pip_package/MANIFEST.in	1
lingvo/jax/pip_package/setup.py	83
lingvo/jax/base_model_params.py	14
lingvo/jax/checkpoint.proto	47
lingvo/jax/checkpoint_managers.py	207
lingvo/jax/model_utils.py	120
lingvo/jax/train.py	502
lingvo/jax/optimizers.py	1172
lingvo/jax/layers/augmentations.py	60
lingvo/jax/layers/stochastics.py	79
lingvo/jax/layers/resnets.py	188
lingvo/jax/layers/spectrum_augmenter.py	139
lingvo/jax/layers/quantizer.py	117
lingvo/jax/layers/linears.py	212
lingvo/jax/layers/recurrent.py	283
lingvo/jax/layers/conformers.py	281
lingvo/jax/layers/activations.py	43
lingvo/jax/layers/vanillanets.py	171
lingvo/jax/layers/embedding_softmax.py	359
lingvo/jax/layers/__init__.py	61
lingvo/jax/layers/losses.py	19
lingvo/jax/layers/ngrammer.py	250
lingvo/jax/layers/attentions.py	850
lingvo/jax/layers/stats.py	20
lingvo/jax/layers/ctc_objectives.py	96
lingvo/jax/layers/quantizer_objectives.py	58
lingvo/jax/layers/normalizations.py	347
lingvo/jax/layers/poolings.py	143
lingvo/jax/layers/repeats.py	112
lingvo/jax/layers/pipeline.py	156
lingvo/jax/layers/transformers.py	1895
lingvo/jax/layers/convolutions.py	271
lingvo/jax/gshard_utils.py	172
lingvo/jax/train_states.py	18
lingvo/jax/optimizer_prefix_vectorization.py	170
lingvo/jax/pytypes.py	25
lingvo/jax/model.py	595
lingvo/jax/py_utils.py	150
lingvo/jax/summary_utils.py	253
lingvo/jax/__init__.py	1
lingvo/jax/base_input.py	140
lingvo/jax/asserts.py	256
lingvo/jax/eval.py	554
lingvo/jax/model_imports.py	13
lingvo/jax/tasks/__init__.py	1
lingvo/jax/tasks/lm/model_params.py	313
lingvo/jax/tasks/lm/__init__.py	1
lingvo/jax/tasks/lm/params/lm_cloud.py	123
lingvo/jax/tasks/lm/params/bert.py	138
lingvo/jax/tasks/lm/params/params.py	2
lingvo/jax/tasks/lm/input_generator.py	304
lingvo/jax/trainer_lib.py	432
lingvo/jax/build-visibility.bzl	2
lingvo/jax/learners.py	224
lingvo/jax/main.py	154
lingvo/jax/io_utils.py	8
lingvo/jax/metric_utils.py	27
lingvo/jax/base_layer.py	797
lingvo/jax/model_registry.py	31
lingvo/jax/checkpoints.py	325
lingvo/jax/schedules.py	294
lingvo/core/early_stop.py	138
lingvo/core/tpu_summary.py	163
lingvo/core/layers_with_gpipe.py	1119
lingvo/core/layers.py	4088
lingvo/core/predictor_runner_base.py	183
lingvo/core/base_model_params.py	62
lingvo/core/computation_cost.py	34
lingvo/core/tpu_embedding_layers.py	875
lingvo/core/wpm_encoder.py	108
lingvo/core/checkpointer.py	441
lingvo/core/input_policy.py	10
lingvo/core/tokenizers.py	281
lingvo/core/attention_util.py	450
lingvo/core/lstm_frnn_layer.py	101
lingvo/core/input_generator_helper.py	47
lingvo/core/spectrum_augmenter.py	539
lingvo/core/constants.py	1
lingvo/core/quant_utils.py	757
lingvo/core/gradient_combiner.py	4
lingvo/core/gshard_layers.py	1697
lingvo/core/repeat_layer.py	123
lingvo/core/scatter_update.py	31
lingvo/core/gshard_utils.py	285
lingvo/core/predictor.py	234
lingvo/core/batch_major_attention.py	4756
lingvo/core/conformer_layer.py	871
lingvo/core/plot.py	295
lingvo/core/target_sequence_sampler.py	163
lingvo/core/generic_input.py	72
lingvo/core/schedule.py	622
lingvo/core/ops/tokenizer_op_headers.h	123
lingvo/core/ops/record_yielder.cc	496
lingvo/core/ops/yielder_test_helper.cc	66
lingvo/core/ops/beam_search_step_op_kernels.h	169
lingvo/core/ops/functional_ops_kernels.cc	88
lingvo/core/ops/generic_input_op_kernels.cc	285
lingvo/core/ops/preconditioner_captain.cc	102
lingvo/core/ops/best_step_op_kernels.cc	136
lingvo/core/ops/beam_search_step_op_kernels.cc	1369
lingvo/core/ops/simple_vocab.cc	208
lingvo/core/ops/ascii_tokenizer.h	18
lingvo/core/ops/random_ops_kernels.cc	71
lingvo/core/ops/pack_ops.cc	557
lingvo/core/ops/thread_local_runner.cc	14
lingvo/core/ops/record.proto	7
lingvo/core/ops/yielder_test_helper.h	22
lingvo/core/ops/input_common.h	83
lingvo/core/ops/rope.h	18
lingvo/core/ops/thread_local_runner.h	31
lingvo/core/ops/record_batcher.h	109
lingvo/core/ops/preconditioner_op_kernels.cc	111
lingvo/core/ops/hyps.proto	24
lingvo/core/ops/ml_perf_subword_op.cc	107
lingvo/core/ops/static_map_op.cc	93
lingvo/core/ops/input_common.cc	96
lingvo/core/ops/__init__.py	41
lingvo/core/ops/record_batcher.cc	347
lingvo/core/ops/sequential_record_yielder.cc	60
lingvo/core/ops/record_yielder.h	148
lingvo/core/ops/simple_vocab.h	98
lingvo/core/ops/mass_op.cc	196
lingvo/core/ops/weighted_mix_record_yielder.h	26
lingvo/core/ops/weighted_mix_record_yielder.cc	63
lingvo/core/ops/ascii_tokenizer.cc	139
lingvo/core/ops/x_ops.cc	1207
lingvo/core/ops/text_packing.h	36
lingvo/core/ops/versioned_file_set.proto	19
lingvo/core/ops/ml_perf_subword_op.h	21
lingvo/core/ops/assert_kernels.cc	84
lingvo/core/ops/record_debug.cc	54
lingvo/core/ops/tokenizer_ops_kernels.cc	319
lingvo/core/ops/preconditioner_captain.h	39
lingvo/core/ops/x_ops_helper.h	62
lingvo/core/ops/sequential_record_yielder.h	26
lingvo/core/ops/text_packing.cc	76
lingvo/core/insertion.py	156
lingvo/core/entmax.py	70
lingvo/core/bfloat16_variables.py	31
lingvo/core/flat_beam_search_helper.py	260
lingvo/core/gshard_builder.py	2949
lingvo/core/scorers.py	69
lingvo/core/layers_with_attention.py	1882
lingvo/core/base_model.py	962
lingvo/core/recurrent.py	884
lingvo/core/optimizer.py	823
lingvo/core/activations.py	76
lingvo/core/retry.py	43
lingvo/core/bn_layers.py	716
lingvo/core/adagraft.py	103
lingvo/core/conv_layers_with_time_padding.py	540
lingvo/core/sendrecv.py	64
lingvo/core/learner.py	338
lingvo/core/symbolic.py	53
lingvo/core/decoder_lib.py	4
lingvo/core/hyperparams.py	668
lingvo/core/favor_attention.py	289
lingvo/core/cluster.py	419
lingvo/core/trainer_test_utils.py	82
lingvo/core/py_utils.py	3563
lingvo/core/summary_utils.py	179
lingvo/core/py_utils_flags.py	76
lingvo/core/__init__.py	1
lingvo/core/self_attention_layer.py	79
lingvo/core/task_scheduler.py	209
lingvo/core/matrix_functions.py	79
lingvo/core/model_helper.py	32
lingvo/core/saver.py	294
lingvo/core/steps/rnn_steps.py	108
lingvo/core/steps/__init__.py	1
lingvo/core/steps/embedding_steps.py	108
lingvo/core/steps/attention_steps.py	102
lingvo/core/builder_layers.py	953
lingvo/core/hyperparams.proto	56
lingvo/core/ml_perf_log.py	46
lingvo/core/var_tmp_wrappers.py	106
lingvo/core/rnn_cell.py	1839
lingvo/core/inference_graph.proto	104
lingvo/core/gshard_decode.py	360
lingvo/core/nested_map.py	239
lingvo/core/conv_layers_builder.py	408
lingvo/core/pruning_utils.py	118
lingvo/core/thread_local_utils.py	9
lingvo/core/gpipe.py	413
lingvo/core/build_data.py	4
lingvo/core/distillation_task.py	121
lingvo/core/distributed_shampoo.py	456
lingvo/core/routing_config_helper.py	93
lingvo/core/tshape.py	53
lingvo/core/datasource.py	648
lingvo/core/quant_test_lib.py	92
lingvo/core/graddrop.py	98
lingvo/core/metrics.py	349
lingvo/core/spectrum_augmenter_on_device.py	25
lingvo/core/reversible_layers.py	114
lingvo/core/ml_perf_bleu_metric.py	128
lingvo/core/program.py	668
lingvo/core/ml_perf_tokenizer.py	12
lingvo/core/inspect_utils.py	41
lingvo/core/rnn_layers.py	892
lingvo/core/batch_utils.py	27
lingvo/core/base_layer.py	568
lingvo/core/builder.py	168
lingvo/core/base_input_generator.py	1109
lingvo/core/inference_graph_exporter.py	332
lingvo/core/cluster_factory.py	54
lingvo/core/step.py	297
lingvo/core/base_decoder.py	347
lingvo/core/stream_step_test_base.py	166
lingvo/core/attention.py	1945
lingvo/core/beam_search_helper.py	503
lingvo/core/egdd.py	102
lingvo/core/multitask_model.py	64
lingvo/lingvo.bzl	168
lingvo/tools/create_asr_features.py	145
lingvo/tools/count_records.py	28
lingvo/tools/audio_lib.py	54
lingvo/tools/bpe_word_tokenizer.py	41
lingvo/tools/print_tf_records.py	81
lingvo/tools/wpm_encode_file.py	98
lingvo/tools/beam_utils.py	20
lingvo/tools/compute_stats.py	79
lingvo/tools/keras2ckpt.py	29
lingvo/tools/__init__.py	1
lingvo/tools/compare_params.py	57
lingvo/tools/generate_proto_def.cc	47
lingvo/tools/gke_launch.py	241
lingvo/repo.bzl	237
lingvo/__init__.py	1
lingvo/runners.py	932
lingvo/models_test_helper.py	134
lingvo/model_imports.py	58
lingvo/tasks/milan/image_preprocessor.py	80
lingvo/tasks/milan/constants.py	8
lingvo/tasks/milan/common_schema.py	38
lingvo/tasks/milan/tf_hub_layers.py	125
lingvo/tasks/milan/tools/prepare_coco.py	139
lingvo/tasks/milan/dataset_spec.py	118
lingvo/tasks/milan/tpu_utils.py	56
lingvo/tasks/milan/utils.py	105
lingvo/tasks/milan/dual_encoder.py	210
lingvo/tasks/milan/params/cxc.py	61
lingvo/tasks/milan/params/dual_encoder_recipe.py	86
lingvo/tasks/milan/params/params.py	2
lingvo/tasks/milan/params/generic_datasets.py	59
lingvo/tasks/milan/score_functions.py	10
lingvo/tasks/milan/input_generator.py	70
lingvo/tasks/milan/labels.py	120
lingvo/tasks/milan/transformers.py	47
lingvo/tasks/punctuator/model.py	31
lingvo/tasks/punctuator/tools/download_brown_corpus.py	89
lingvo/tasks/punctuator/tools/__init__.py	1
lingvo/tasks/punctuator/__init__.py	1
lingvo/tasks/punctuator/params/params.py	1
lingvo/tasks/punctuator/params/codelab.py	60
lingvo/tasks/punctuator/input_generator.py	116
lingvo/tasks/car/input_preprocessors.py	2158
lingvo/tasks/car/pointnet.py	169
lingvo/tasks/car/base_extractor.py	215
lingvo/tasks/car/detection_3d_lib.py	331
lingvo/tasks/car/kitti_decoder.py	248
lingvo/tasks/car/kitti_ap_metric.py	141
lingvo/tasks/car/ops/average_precision_3d_op.cc	177
lingvo/tasks/car/ops/point_grid_op.cc	140
lingvo/tasks/car/ops/sampling_ops.cc	61
lingvo/tasks/car/ops/pairwise_iou_op.cc	47
lingvo/tasks/car/ops/__init__.py	16
lingvo/tasks/car/ops/ps_utils.cc	385
lingvo/tasks/car/ops/image_metrics.h	322
lingvo/tasks/car/ops/box_util.h	60
lingvo/tasks/car/ops/image_metrics.cc	123
lingvo/tasks/car/ops/ps_utils.h	45
lingvo/tasks/car/ops/car_ops.cc	214
lingvo/tasks/car/ops/box_util.cc	211
lingvo/tasks/car/ops/nms_3d_op.cc	145
lingvo/tasks/car/evaluation_metadata.py	37
lingvo/tasks/car/car_lib.py	218
lingvo/tasks/car/detection_decoder.py	80
lingvo/tasks/car/calibration_processing.py	120
lingvo/tasks/car/detection_3d_metrics.py	315
lingvo/tasks/car/tools/compare_params_main.py	22
lingvo/tasks/car/tools/create_kitti_crop_dataset.py	151
lingvo/tasks/car/tools/export_kitti_detection.py	139
lingvo/tasks/car/tools/__init__.py	1
lingvo/tasks/car/tools/kitti_data.py	130
lingvo/tasks/car/tools/kitti_exporter.py	140
lingvo/tasks/car/__init__.py	1
lingvo/tasks/car/kitti_input_generator.py	391
lingvo/tasks/car/point_detector.py	198
lingvo/tasks/car/breakdown_metric.py	496
lingvo/tasks/car/transform_util.py	82
lingvo/tasks/car/kitti_metadata.py	40
lingvo/tasks/car/builder_lib.py	626
lingvo/tasks/car/car_layers.py	58
lingvo/tasks/car/input_extractor.py	97
lingvo/tasks/car/ap_metric.py	329
lingvo/tasks/car/summary.py	331
lingvo/tasks/car/params/waymo.py	308
lingvo/tasks/car/params/params.py	2
lingvo/tasks/car/params/kitti.py	427
lingvo/tasks/car/starnet.py	554
lingvo/tasks/car/lr_util.py	69
lingvo/tasks/car/waymo/export_to_submission_format.py	76
lingvo/tasks/car/waymo/tools/waymo_proto_to_tfe.py	326
lingvo/tasks/car/waymo/tools/generate_waymo_tf.py	36
lingvo/tasks/car/waymo/tools/__init__.py	1
lingvo/tasks/car/waymo/__init__.py	1
lingvo/tasks/car/waymo/waymo_open_input_generator.py	708
lingvo/tasks/car/waymo/waymo_decoder.py	192
lingvo/tasks/car/waymo/waymo_ap_metric.py	292
lingvo/tasks/car/waymo/waymo_metadata.py	37
lingvo/tasks/car/base_decoder.py	39
lingvo/tasks/car/pillars.py	433
lingvo/tasks/car/geometry.py	287
lingvo/tasks/asr/frontend.py	276
lingvo/tasks/asr/decoder_metrics.py	218
lingvo/tasks/asr/metrics_calculator.py	110
lingvo/tasks/asr/fusion.py	66
lingvo/tasks/asr/levenshtein_distance.py	39
lingvo/tasks/asr/decoder.py	1145
lingvo/tasks/asr/model.py	173
lingvo/tasks/asr/eos_normalization.py	56
lingvo/tasks/asr/tools/__init__.py	1
lingvo/tasks/asr/tools/simple_wer_v2.py	211
lingvo/tasks/asr/tools/simple_wer.py	148
lingvo/tasks/asr/__init__.py	1
lingvo/tasks/asr/decoder_utils.py	53
lingvo/tasks/asr/encoder.py	340
lingvo/tasks/asr/contextualizer_base.py	27
lingvo/tasks/asr/params/params.py	1
lingvo/tasks/asr/params/librispeech.py	203
lingvo/tasks/asr/input_generator.py	109
lingvo/tasks/asr/model_test_input_generator.py	217
lingvo/tasks/image/__init__.py	1
lingvo/tasks/image/params/mnist.py	34
lingvo/tasks/image/params/params.py	1
lingvo/tasks/image/input_generator.py	61
lingvo/tasks/image/classifier.py	234
lingvo/tasks/mt/layers.py	112
lingvo/tasks/mt/data_augmenter.py	83
lingvo/tasks/mt/decoder.py	2006
lingvo/tasks/mt/model.py	394
lingvo/tasks/mt/tools/__init__.py	1
lingvo/tasks/mt/__init__.py	1
lingvo/tasks/mt/base_config.py	419
lingvo/tasks/mt/encoder.py	809
lingvo/tasks/mt/params/wmtm16_en_de.py	74
lingvo/tasks/mt/params/xendec/wmt14_en_de.py	129
lingvo/tasks/mt/params/params.py	3
lingvo/tasks/mt/params/wmt14_en_de.py	143
lingvo/tasks/mt/input_generator.py	986
lingvo/tasks/mt/text_input.proto	24
lingvo/tasks/__init__.py	1
lingvo/tasks/lm/layers.py	811
lingvo/tasks/lm/model.py	386
lingvo/tasks/lm/tools/__init__.py	1
lingvo/tasks/lm/tools/gshard_lm_decode.py	302
lingvo/tasks/lm/tools/download_lm1b.py	34
lingvo/tasks/lm/__init__.py	1
lingvo/tasks/lm/params/one_billion_wds.py	175
lingvo/tasks/lm/params/wiki_bert.py	227
lingvo/tasks/lm/params/params.py	3
lingvo/tasks/lm/params/synthetic_packed_input.py	315
lingvo/tasks/lm/input_generator.py	329
lingvo/tasks/lm/tokenizer.py	86
lingvo/eager_runners.py	328
lingvo/trainer.py	632
lingvo/model_registry.py	198
lingvo/executor.py	387
publications.bib	788