workload_generator/generate_megatron_workload.py [75:83]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
                        stage="init.model_setup",
                    )
                )
        # time
        self.workload.append(
            LogItem(
                comm_type=CommType.all_gather,
                comm_group=CommGroup.dp_group,
                comm_group_size=self.args.dp_num,
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -



workload_generator/generate_megatron_workload.py [108:116]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
                        stage="init.model_setup",
                    )
                )
        # time
        self.workload.append(
            LogItem(
                comm_type=CommType.all_gather,
                comm_group=CommGroup.dp_group,
                comm_group_size=self.args.dp_num,
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -