bench_cluster/communication/all_reduce.py [90:103]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
    parser.add_argument('--trials', type=int, default=3)
    parser.add_argument('--warmups', type=int, default=1)
    parser.add_argument('--maxsize', type=int, default=24)
    parser.add_argument('--async_op', action='store_true')
    parser.add_argument('--bw_unit', type=str, default='Gbps')
    parser.add_argument('--scan', action='store_true')
    parser.add_argument('--raw', action='store_true')
    parser.add_argument('--dtype', type=str, default='float32')
    parser.add_argument('--mem_factor', type=float, default=0.1)
    parser.add_argument('--debug', action='store_true')
    
    args = parser.parse_args()
    local_rank = int(os.environ['LOCAL_RANK'])
    init_torch_distributed("nccl", local_rank)
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -



bench_cluster/communication/all_to_all.py [107:120]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
    parser.add_argument('--trials', type=int, default=3)
    parser.add_argument('--warmups', type=int, default=1)
    parser.add_argument('--maxsize', type=int, default=24)
    parser.add_argument('--async_op', action='store_true')
    parser.add_argument('--bw_unit', type=str, default='Gbps')
    parser.add_argument('--scan', action='store_true')
    parser.add_argument('--raw', action='store_true')
    parser.add_argument('--dtype', type=str, default='float32')
    parser.add_argument('--mem_factor', type=float, default=0.1)
    parser.add_argument('--debug', action='store_true')
    
    args = parser.parse_args()
    local_rank = int(os.environ['LOCAL_RANK'])
    init_torch_distributed("nccl", local_rank)
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -