tokenizer分词器的简单介绍

1、这些算法称为Tokenizer分词器，这些Token会被进一步处理，比如转成小写等，这些处理算法被称为TokenFilter词元处理器，被。2、CharacterFilters字符过滤器接收原始文本text的字符流，可以对原始文本增加删除字段或者对字符做转换一个Analyze