token计算机术语-tokenization技术

Token，英语单词，名词形容词，作名词时意为“用以启动某些机器或用作支付方式的代币，辅币代价券礼券标志用于表达感情的表示记号证明路签权标象征性代表语言学符号标记计算机令牌”；在自然语言处理领域中，Token也经常用于表示文本中的基本单元，例如单词标点符号等等因此，在计算机和自然语言处理领域中，“t