包含tokenizer.encode如何对中文编码的词条

1、首先，你要明白这个不管是中文的字符，还是英文字符，还是数字等等都是编码好了的，65对应的就是A，所以你应该去看看中文是怎么编码的，我记得好像一个汉字要用2个字节来编码，一个字节肯定不够用，最多才256个汉字嘛另外；Python中的encode函数是str类的一种方法，用于将字符串编码为