关于transformer的tokenizer的作用的信息

StringTokenizer是一个Java的类，属于javautil包，用来分割字符串和枚举类型StringTokenizer构造方法1StringTokenizerStringstr构造一个用来解析str的StringTokenizer对象使用默认的分隔符空格quotquo