（屏幕呼啸） (screen whooshing)
- Hugging Face Datasets 库: 快速概览。 - The Hugging Face Datasets library: A Quick overview.
Hugging Face Datasets 库 The Hugging Face Datasets library
是一个库, 提供 API is a library that provides an API
来快速下载许多公共数据集 to quickly download many public datasets
并对它们进行预处理。 and pre-process them.
在本视频中，我们将探索如何做到这一点。 In this video we will explore to do that.
下载部分使用 load_dataset 函数很容易， The downloading part is easy with the load_dataset function,
你可以直接下载并缓存数据集 you can directly download and cache a dataset
来自其在数据集 Hub 的 ID 。 from its identifier on the Dataset hub.
这里我们从 GLUE benchmark 中获取 MRPC 数据集， Here we fetch the MRPC dataset from the GLUE benchmark,
是一个包含句子对的数据集 is a dataset containing pairs of sentences
任务是确定释义。 where the task is to determine the paraphrases.
load_dataset 函数返回的对象 The object returned by the load_dataset function
是一个 DatasetDict，它是一种字典 is a DatasetDict, which is a sort of dictionary
包含我们数据集的每个拆分。 containing each split of our dataset.
我们可以通过使用其名称进行索引来访问每个拆分。 We can access each split by indexing with its name.
这个拆分然后是 Dataset 类的一个实例， This split is then an instance of the Dataset class,
有列: sentence1，sentence2， with columns, here sentence1, sentence2,
label 和 idx，以及行。 label and idx, and rows.
我们可以访问给定的元素, 通过索引。 We can access a given element by its index.
Hugging Face Datasets 库的神奇之处 The amazing thing about the Hugging Face Datasets library
是所有内容都使用 Apache Arrow 保存到磁盘， is that everything is saved to disk using Apache Arrow,
这意味着即使你的数据集很大 which means that even if your dataset is huge
你不会内存溢出， you won't get out of RAM,
只有你请求的元素才会加载到内存中。 only the elements you request are loaded in memory.
访问数据集的一个切片就像访问一个元素一样简单。 Accessing a slice of your dataset is as easy as one element.
结果是一个包含值列表的字典 The result is then a dictionary with list of values
对于每个键，这里是标签列表， for each keys, here the list of labels,
第一句话列表， the list of first sentences,
和第二句话的列表。 and the list of second sentences.
数据集的特征属性 The features attribute of a Dataset
为我们提供有关其列的更多信息。 gives us more information about its columns.
特别是，我们可以在这里看到它给了我们 In particular, we can see here it gives us
整数之间的对应关系 a correspondence between the integers
和标签的名称。 and names for the labels.
0 代表不相等，1 代表相等。 0 stands for not equivalent and 1 for equivalent.
要预处理数据集的所有元素， To pre-process all the elements of our dataset,
我们需要将它们 token 化。 we need to tokenize them.
看看视频 “Pre-process sentence pairs” Have a look at the video "Pre-process sentence pairs"
复习一下，但你只需要发送这两个句子 for a refresher, but you just have to send the two sentences
给 tokenizer, 带有一些额外的关键字参数。 to the tokenizer with some additional keyword arguments.
这里我们表示最大长度为 128 Here we indicate a maximum length of 128
和垫全输入短于这个长度的， and pad inputs shorter than this length,
截断更长的输入。 truncate inputs that are longer.
我们把所有这些都放在一个 tokenize_function 中 We put all of this in a tokenize_function
我们可以直接应用于所有拆分 that we can directly apply to all the splits
在我们的数据集中使用 map 方法。 in our dataset with the map method.
只要函数返回一个类似字典的对象， As long as the function returns a dictionary-like object,
map 方法将根据需要添加新列 the map method will add new columns as needed
或更新现有的。 or update existing ones.
为加快预处理并利用 To speed up pre-processing and take advantage
我们的分词器由 Rust 支持的事实 of the fact our tokenizer is backed by Rust
感谢 Hugging Face Tokenizers 库， thanks to the Hugging Face Tokenizers library,
我们可以同时处理多个元素 we can process several elements at the same time
在我们的 tokenize 函数中，使用 batched=True 参数。 in our tokenize function, using the batched=True argument.
由于 tokenizer 可以处理列表 Since the tokenizer can handle a list
第一句话或第二句话, tokenize_function of first or second sentences, the tokenize_function
不需要为此改变。 does not need to change for this.
你还可以将多进程与 map 方法一起使用， You can also use multiprocessing with the map method,
查看下面链接的文档。 check out its documentation linked below.
完成后，我们几乎准备好训练了， Once this is done, we are almost ready for training,
我们只是删除我们不再需要的列 we just remove the columns we don't need anymore
使用 remove_columns 方法， with the remove_columns method,
将 label 重命名为 labels ，因为模型是 rename label to labels, since the models
transformers 库中的，期望如此 from the transformers library expect that,
并将输出格式设置为我们想要的后端， and set the output format to our desired backend,
torch、tensorflow 或 numpy。 torch, tensorflow or numpy.
如果需要，我们还可以生成一个简短的示例 If needed, we can also generate a short sample
使用 select 方法的数据集。 of a dataset using the select method.
（屏幕呼啸） (screen whooshing)