tokenzer、introduce名词

tokenizer封装了统一的语法来分割字符串，并且提供了三种常用的分割方式，足以满足我们的绝大多数编程需求tokenizer主要由分割器和迭代器两部分组；怎么理解token，tokenize，tokenizer？html这只是当个人笔记使用编写词法分析器Lexer或语法分析。sente