tokentest_tokentool官网

1、全文搜索引擎会用某种算法对要建索引的文档进行分析，从文档中提取出若干Token词元，这些算法称为Tokenizer分词器，这些Token会被进一步处理，比如转成小写等，这些处理算法被称为TokenFilter词元处理器；一1首先要了解的是什么是URL和Token，在这里，