def get_args()

in fulltext_search/search_sharded.py [0:0]


def get_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--input_dataset", type=str, default="HuggingFaceTB/bisac_expanded_final"
    )
    parser.add_argument("--n_pages", type=int, default=2000)
    parser.add_argument(
        "--output_dataset",
        type=str,
        default="HuggingFaceTB/bisac_boosted_new_index_2000",
    )
    parser.add_argument("--shard", type=int, required=True)
    parser.add_argument("--num_shards", type=int, required=True)
    return parser.parse_args()