（嘶嘶声） (whooshing sound)
- 我们来看一下 - Let's have a look
在 token 分类管线(pipeline)内。 inside the token classification pipeline.
在有关管线的视频中， In the pipeline video,
我们研究了不同的应用 we looked at the different applications
transformers 库支持开箱即用的。 the transformers library supports out of the box.
其中之一是 token 分类。 One of them being token classification.
例如，预测句子中的每个单词， For instance, predicting for each word in a sentence,
他们是否对应于一个人， whether they correspond to a person,
一个组织或地点。 an organization, or location.
我们甚至可以将 token 组合在一起 We can even group together the tokens
对应同一个实体。 corresponding to the same entity.
例如，这里构成单词 Sylvain 的所有 token For instance, all the tokens that form the word Sylvain here
或 Hugging 和 Face。 or Hugging and Face.
因此，token 分类管线 So, token classification pipeline
与文本分类管线的工作方式相同 works the same way as a text classification pipeline
我们在之前的视频中学习过。 we studied in a previous video.
分为三个步骤。 There are three steps.
分词化、模型和后处理。 Tokenization, the model, and the post processing.
前两个步骤相同 The first two steps are identical
到文本分类管道， to the text classification pipeline,
除了我们使用 auto 的 token 分类模型 except we use an auto token classification model
而不是分类。 instead of a sequence classification one.
我们分词化我们的文本，然后将其提供给模型。 We tokenize our text, then feed it to the model.
而不是为每个可能的级别获得一个数字 Instead of getting one number for each possible level
对于整个句子， for the whole sentence,
我们为可能的九个级别中的每一个获得一个数字 we get one number for each of the possible nine levels
对于句子中的每个 token 。 for every token in the sentence.
在这里，19。 Here, 19.
与 transformers 库的所有其他模型一样， Like all the other models of the transformers library,
我们的模型输出我们需要转换的 logits our model outputs logits which we need to turn
使用 SoftMax 进行预测。 into predictions by using a SoftMax.
我们还获得了每个 token 的预测标签 We also get the predicted label for each token
通过最大预测。 by taking the maximum prediction.
由于 softmax 函数保留顺序， Since the softmax function preserves the order,
我们本可以在 logits 上完成 we could have done it on the logits
如果我们不需要预测。 if we had no need of the predictions.
模型配置包含标签映射 The model config contains the label mapping
在其 id2label 字段中。 in its id2label field.
使用它，我们可以将每个 token 映射到其相应的标签。 Using it, we can map every token to its corresponding label.
标签 O 对应 “no entity” (没有实体) The label O corresponds to "no entity"
这就是为什么我们没有在结果中看到它 which is why we didn't see it in our results
在第一张幻灯片中。 in the first slide.
在标签和概率之上， On top of the label and the probability,
这些结果包括开始 those results included the start
和句末字符。 and end character in the sentence.
我们需要使用偏移映射 We'll need to use the offset mapping
对于 tokenizer 以得到那些。 of the tokenizer to get those.
看看下面的视频链接 Look at the video link below
如果你还不知道它们。 if you don't know about them already.
然后，遍历每个 token Then, looping through each token
具有不同于 O 的标签， that has a label distinct from O,
我们可以建立结果列表 we can build the list of results
我们得到了我们的第一条管线。 we got with our first pipeline.
最后一步是将 token 组合在一起 The last step is to group together tokens
对应于同一个实体。 that corresponds to the same entity.
这就是为什么我们为每种类型的实体设置了两个标签， This is why we had two labels for each type of entity,
例如 I-PER 和 B-PER。 I-PER and B-PER for instance.
它让我们知道一个 token 是否 It allows us to know if a token
与前一个实体处于同一实体中。 is in the same entity as a previous one.
注意有两种方式 Note that there are two ways
用于 token 分类的标签。 of labeling used for token classification.
一个，这里是粉红色的，使用 B-PER 标签 One, in pink here, uses the B-PER label
在每个新实体的开头。 at the beginning of each new entity.
但另一个蓝色的只使用它 But the other in blue only uses it
分隔两个相邻的相同类型的实体。 to separate two adjacent entities of the same types.
在这两种情况下，我们都可以标记一个新实体 In both cases we can flag a new entity
每次我们看到一个新标签出现时， each time we see a new label appearing,
带有 I 或 B 前缀。 either with the I or B prefix.
然后，将以下所有标记为相同的标记 Then, take all the following tokens labeled the same
带有 I 标志。 with an I-flag.
这与偏移映射相结合 This, coupled with the offset mapping
获取开始和结束字符 to get the start and end characters
允许我们获得每个实体的文本跨度。 allows us to get the span of texts for each entity.
（嘶嘶声） (whooshing sound)