in dpr_scale/utils/prep_wiki_exp.py [0:0]
def get_parser():
parser = argparse.ArgumentParser()
parser.add_argument(
"--doc_path",
type=str,
# default="/private/home/vladk/data/wikipedia/wiki_passages/psgs_w100.tsv",
)
parser.add_argument(
"--doc_dict_path",
type=str,
# default="/checkpoint/kushall/data/wikipedia/psgs_w100_doc_dict.npy",
)
parser.add_argument(
"--output_dir_path",
type=str,
default="/checkpoint/kushall/data/wikipedia",
)
parser.add_argument(
"--dev_pct",
type=float,
default=0.01,
)
parser.add_argument(
"--base",
type=float,
default=1.2,
)
parser.add_argument("--workers", type=int, default=1)
parser.add_argument("--debug", action="store_true")
return parser