使用RegexpTokenizer()进行中文文本预处理的简便方法

RegexpTokenizer()是NLTK（Natural Language Toolkit）包中的一个函数，它用于将文本分割成单词或标记的列表，基于正则表达式的规则。然而，由于中文是一个字符为单位的语言，而不是以空格作为分隔符，因此使用RegexpTokenizer()直接处理中文文本的效果可能不理想。

然而，我们可以使用python的正则表达式模块re结合RegexpTokenizer()来对中文文本进行预处理，在分句和分词的过程中，使用正则表达式模式匹配中文字符。

下面是使用RegexpTokenizer()进行中文文本预处理的一种简便方法：

import re
from nltk.tokenize import RegexpTokenizer

def chinese_tokenizer(text):
    # 中文分句
    sentences = re.split('。|！|？', text)
    tokenizer = RegexpTokenizer('\w+')
    tokens = []
    for sentence in sentences:
        # 中文分词
        words = tokenizer.tokenize(sentence)
        tokens.extend(words)
    return tokens

上述代码中，我们首先使用正则表达式模式'。|！|？'对中文文本进行分句，将句子分割成一个句子列表。然后我们定义了一个名为chinese_tokenizer的函数，该函数接受一个中文文本作为参数。在函数内部，我们使用RegexpTokenizer('\w+')对每个句子进行分词操作。\w+是一个正则表达式模式，表示匹配一个或多个连续的字母、数字或下划线字符。最后，我们将分词的结果逐个追加到列表tokens中，并返回该列表。

下面是一个使用例子：

text = '今天天气真好，阳光明媚。去公园散步吧！'
tokens = chinese_tokenizer(text)
print(tokens)

运行上述代码，输出结果将会是：

['今天', '天气', '真好', '阳光明媚', '去', '公园', '散步', '吧']

从结果可以看出，我们将中文文本成功地分割成了单个字词，并将它们存储在列表tokens中。

需要注意的是，这个方法只是对中文文本进行了简单的分句和分词处理，并未考虑到一些特殊情况，例如处理标点符号、停用词等等。如果需要更加完整和专业的中文文本处理，推荐使用更强大的中文分词工具，例如jieba分词、pkuseg分词等。