tokenizeraddspecialtokens的简单介绍

原作者JamesBelding，SamuelGeorges，ScottBarr，FaridUddeen，BrendanLEE，特别感谢；Tokenizer通常用于处理文本数据，例如在自然语言处理文本分析搜索引擎等领域中经常会用到在实际应用中，需要根据具体的需求和场景选择合适。