tokenzer、introduce名词

tokenizer 封装了统一的语法来分割字符串，并且提供了三 种常用的分割方式，足以满足我们的绝大多数编程需求 tokenizer 主要由分割器和迭代器两部分组；怎么理解token，tokenize，tokenizer？html 这只是当个人笔记使用 编写词法分析器Lexer或语法分析。

sentence复数

tokenizer一个小型库，用于将标记化PHP源代码转换为XML以及其他可能的格式，分词器一个小型库，用于将标记化PHP源代码转换为XML安装您。

Tokenizer 是 NLP pipeline 的核心组件之一 Tokenizer 的目标是将文本转换为模型可以处理的数据模型只能处理数字，因此 Tokenizer 需要将文本输入转换为数字输入 通常。

一个分析器analyzer必须知道它所配置的字段，但是tokenizer不需要，分词器tokenizer从一个字符流reader读取数据，生成一个Token对象。