（标题嘶嘶作响） (title whooshes)
（标志弹出） (logo pops)
（标题嘶嘶作响） (title whooshes)
- 我们来看一下 - Let's have a look
在 token 分类管线( pipeline )内。 inside the token classification pipeline.
在有关管线视频中， In the pipeline video,
我们学习了不同的应用 we looked at the different applications
transformers 库支持开箱即用的， the Transformers library supports out of the box,
其中之一是 token 分类， one of them being token classification,
例如预测句子中的每个单词 for instance predicting for each word in a sentence
是否对应于一个人，一个组织 whether they correspond to a person, an organization
或一个位置。 or a location.
我们甚至可以将相应的 token 组合在一起 We can even group together the tokens corresponding
到同一个实体，例如所有 token to the same entity, for instance all the tokens
在这里形成了 Sylvain 这个词，或 Hugging 和 Face。 that formed the word Sylvain here, or Hugging and Face.
token 分类管线的工作方式相同 The token classification pipeline works the same way
和我们研究的文本分类的管线 as the text classification pipeline we studied
在上一个视频中。 in the previous video.
分为三个步骤。 There are three steps.
分词化、模型和后处理。 The tokenization, the model, and the postprocessing.
前两个步骤相同 The first two steps are identical
到文本分类管线， to the text classification pipeline,
除了我们使用 auto (自动) 的 token 分类模型 except we use an auto token classification model
而不是序列分类。 instead of a sequence classification one.
我们分词化我们的文本，然后将其提供给模型。 We tokenize our text then feed it to the model.
而不是为每个可能的标签获取一个数字 Instead of getting one number for each possible label
对于整个句子，我们得到一个数字 for the whole sentence, we get one number
对于可能的九个标签中的每一个 for each of the possible nine labels
对于句子中的每个 token ，此处为 19。 for every token in the sentence, here 19.
与 transformers 库的所有其他模型一样， Like all the other models of the transformers library,
我们的模型输出 logits， our model outputs logits,
我们使用 SoftMax 将其转化为预测值。 which we turn into predictions by using a SoftMax.
我们还获得了每个 token 的预测标签 We also get the predicted label for each token
通过最大预测， by taking the maximum prediction,
因为 SoftMax 函数保留了顺序， since the SoftMax function preserves the orders,
我们本可以在 logits 上完成 we could have done it on the logits
如果我们不需要预测。 if we had no need of the predictions.
模型配置包含标签映射 The model config contains the label mapping
在其 id2label 字段中。 in its id2label field.
使用它，我们可以将每个 token 映射到其相应的标签。 Using it, we can map every token to its corresponding label.
标签 O 不对应任何实体， The label, O, correspond to no entity,
这就是为什么我们没有在结果中看到它 which is why we didn't see it in our results
在第一张幻灯片中。 in the first slide.
在标签和概率之上， On top of the label and the probability,
这些结果包括开始 those results included the start
和句末字符。 and end character in the sentence.
我们需要使用偏移映射 We'll need to use the offset mapping
分词器得到那些。 of the tokenizer to get those.
看看下面链接的视频 Look at the video linked below
如果你还不知道它们。 if you don't know about them already.
然后，遍历每个 token Then, looping through each token
具有不同于 O 的标签， that has a label distinct from O,
我们可以建立我们得到的结果列表 we can build the list of results we got
用我们的第一条管线。 with our first pipeline.
最后一步是将 token 组合在一起 The last step is to group together tokens
对应于同一个实体。 that correspond to the same entity.
这就是为什么我们为每种类型的实体设置了两个标签， This is why we had two labels for each type of entity,
例如，I-PER 和 B-PER。 I-PER and B-PER, for instance.
它让我们知道一个 token 是否是 It allows us to know if a token is
在与前一个相同的实体中。 in the same entity as the previous one.
请注意，有两种标记方式 Note, that there are two ways of labeling used
用于 token 分类。 for token classification.
一个，这里是粉红色的，使用 B-PER 标签 One, in pink here, uses the B-PER label
在每个新实体的开始， at the beginning of each new entity,
但另一个，蓝色的， but the other, in blue,
只用它来分隔两个相邻的实体 only uses it to separate two adjacent entities
同类型的。 of the same type.
在这两种情况下，我们都可以标记一个新实体 In both cases, we can flag a new entity
每次我们看到一个新标签出现时， each time we see a new label appearing,
带有 I 或 B 前缀， either with the I or B prefix,
然后将以下所有标记为相同的标记， then take all the following tokens labeled the same,
带有 I 标志。 with an I-flag.
这与偏移映射一起开始 This, coupled with the offset mapping to get the start
和结束字符允许我们获得文本的跨度 and end characters allows us to get the span of texts
对于每个实体。 for each entity.
（标题嘶嘶作响） (title whooshes)
（标题失败） (title fizzles)