tokenizer、tokenizer怎么读

1一种解释token令牌tokenize令牌化tokenizer令牌解析器2另一种翻译是token可以翻译为“标记”，tokenize可以翻译为“标记解析”或“解析标记”，tokenizer可以翻译为“标记解析器”在编写词法分析器Lexer或语。全文搜索引擎会用某种算法对要建索引的文档进行分析，