tokenizerbert的简单介绍

有BertTokenizerFast和BertTokenizer，BertTokenizerFast更快，因为使用了tokenizer库因为tokenizer库基于RUST所以多线程更好而BertTokenizer基于python的所以，我们使用BertTokeniz