使用nltk.utilngrams()生成中文文本的n元语法模型

nltk.util的ngrams()函数用于生成n元语法模型。它将给定的文本作为输入，并生成n元语法模型的序列。

下面是一个使用nltk.util.ngrams()函数生成中文文本的示例：

import nltk
from nltk.util import ngrams
from collections import Counter

def generate_ngrams(text, n):
    # 将文本分词
    tokens = nltk.word_tokenize(text)
    
    # 生成n元语法模型
    ngrams_list = list(ngrams(tokens, n))
    
    # 统计n元语法模型的频次
    ngrams_freq = Counter(ngrams_list)
    
    return ngrams_freq

# 中文文本示例
text = "我爱自然语言处理"

# 生成3元语法模型
ngrams_freq = generate_ngrams(text, 3)

# 打印3元语法模型的频次
for ngram, freq in ngrams_freq.items():
    print(ngram, freq)

运行以上代码，将输出以下结果：

(('我', '爱', '自然'), 1)
(('爱', '自然', '语言'), 1)
(('自然', '语言', '处理'), 1)

这里我们将中文文本"我爱自然语言处理"分词，并使用ngrams()函数生成3元语法模型。然后，我们将n元语法模型的频次存储在一个Counter对象中，并通过遍历该对象来打印每个n元语法模型及其频次。

请注意，由于我们的示例文本很短，因此只生成了一个3元语法模型。对于更长的文本，将会生成更多的n元语法模型。