使用nltk.util对中文文本进行文本分类

nltk.util是Natural Language Toolkit（NLTK）中的一个实用工具模块，提供了一些处理自然语言文本的常用函数和类。虽然NLTK主要用于英文文本处理，但我们可以结合其他中文处理库如jieba来处理中文文本。

下面是一个使用nltk.util对中文文本进行文本分类的例子：

import jieba
from nltk.util import ngrams
from nltk.classify import NaiveBayesClassifier
from nltk.tokenize import word_tokenize

# 1. 准备训练数据
# 假设我们有两个分类："体育"和"政治"
training_data = [
    ("我喜欢看足球比赛", "体育"),
    ("政府发布经济发展政策", "政治"),
    ("足球是我最喜欢的运动", "体育"),
    ("政治议题引发了激烈的讨论", "政治"),
    ("足球比赛很精彩", "体育"),
    ("政治问题成为了焦点", "政治")
]

# 2. 数据预处理和特征提取
# 使用结巴分词将句子分割成单词
def tokenize(text):
    return jieba.lcut(text)

# 生成n元特征，这里使用2元特征
def extract_ngrams(tokens):
    return list(ngrams(tokens, 2))

# 创建特征集合
def create_features(text):
    tokens = tokenize(text)
    ngrams = extract_ngrams(tokens)
    return {ngram: True for ngram in ngrams}

# 生成带有特征的训练数据集
training_set = [(create_features(text), category) for text, category in training_data]

# 3. 创建并训练分类器
classifier = NaiveBayesClassifier.train(training_set)

# 4. 预测文本分类
test_text = "足球比赛存在很大的争议"
test_features = create_features(test_text)
predicted_category = classifier.classify(test_features)
print("预测结果:", predicted_category)

在上述代码中，我们首先准备了一些训练数据，其中包含了一些"体育"和"政治"类别的文本。然后，我们进行数据预处理和特征提取，使用jieba分词将句子分割成单词，并生成2元特征。接下来，我们将特征和类别组合成训练集，并使用朴素贝叶斯分类器进行训练。最后，我们可以使用训练好的分类器对新的文本进行分类预测。

值得注意的是，使用这种简单的特征提取方法和分类器可能无法达到很高的准确率，尤其是对于复杂的中文语境。这只是一个仅供参考的基本例子，你可以根据实际需求改进特征提取和分类器的选择以获得更好的结果。