关于transformer的tokenizer的作用的信息

StringTokenizer 是一个Java的类，属于 javautil 包，用来分割字符串和枚举类型StringTokenizer 构造方法1 StringTokenizerString str 构造一个用来解析 str 的 StringTokenizer 对象使用默认的分隔符空格quotquot；二训练模型 接下来，我们需要训练一个神经网络模型，让它学会生成诗歌这里我使用的是一个名为“GPT2”的模型，它是由OpenAI开发的一种基于Transformer结构的语言模型我们可以使用pytorchpretrainedbert库中的GPT2LMHea。

11 词法分析器Lexer 词法分析器又称为Scanner，Lexical analyser和Tokenizer程序设计语言通常由关键字和严格定义的语法结构组成编译的最终目的是将程序设计语言的高层指令翻译成物理机器或虚拟机可以执行的指令词法分析；3可以利用更细粒度的对齐信息例如帧级别对齐来促进联合建模研究员们定义了两套不同的离散Tokenizer来实现这个目的，分别将语音文本映射到基于音素单元的表示空间和基于隐藏单元的表示空间音素单元Tokenizer使用混合ASR。