collection/download_commoncrawl_passages.py [241:250]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
    )
    parser.add_argument(
        '--workers',
        default=8,
        type=int,
        help='Number of workers for downloading in parallel',
    )
    args = parser.parse_args()

    logging.basicConfig(level=logging.INFO)
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -



collection/paragraph_chunker.py [91:100]:
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
    )
    parser.add_argument(
        '--workers',
        default=8,
        type=int,
        help='Number of workers for downloading in parallel',
    )
    args = parser.parse_args()

    logging.basicConfig(level=logging.INFO)
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -