Python中的Vocabulary()类在信息检索中的应用

在信息检索中，Vocabulary()类可以用于构建词汇表，即将文本数据中的单词进行索引和统计，方便后续的文本处理和分析。以下是一个简单的使用例子：

from collections import defaultdict

class Vocabulary:
    def __init__(self):
        self.word2index = {}
        self.word2count = defaultdict(int)
        self.index2word = []
        self.num_words = 0
    
    def add_word(self, word):
        if word not in self.word2index:
            self.word2index[word] = self.num_words
            self.index2word.append(word)
            self.num_words += 1
        self.word2count[word] += 1
    
    def add_sentence(self, sentence):
        words = sentence.split()
        for word in words:
            self.add_word(word)
    
    def get_word_index(self, word):
        return self.word2index.get(word, -1)
    
    def get_index_word(self, index):
        if index >= 0 and index < self.num_words:
            return self.index2word[index]
        return None
    
    def get_word_count(self, word):
        return self.word2count[word]
    
    def get_vocab_size(self):
        return self.num_words

# 创建一个Vocabulary对象
vocab = Vocabulary()

# 添加句子到词汇表
vocab.add_sentence("This is a test sentence.")
vocab.add_sentence("Another sentence for testing the Vocabulary class.")

# 获取词汇表大小
print("Vocabulary size:", vocab.get_vocab_size())

# 获取词汇表中某个单词的索引
print("Index of 'test':", vocab.get_word_index("test"))

# 获取词汇表中某个索引对应的单词
print("Word at index 3:", vocab.get_index_word(3))

# 获取词汇表中某个单词的出现次数
print("Count of 'sentence':", vocab.get_word_count("sentence"))

以上代码中，我们首先定义了一个Vocabulary类，并初始化了一些成员变量，例如word2index用于将单词映射到索引，word2count用于统计每个单词的出现次数，以及index2word用于根据索引获取单词。

接着，我们定义了add_word()方法和add_sentence()方法用于向词汇表中添加单词和句子。其中add_word()方法将单词添加到词汇表中，并更新索引和单词计数；add_sentence()方法将句子按照空格分割为单词，并逐个调用add_word()方法进行添加。

在上述例子中，我们通过添加两个句子来构建词汇表。然后，我们可以通过调用get_vocab_size()方法获取词汇表的大小，即词汇表中不同单词的数量。我们也可以通过调用get_word_index()方法获取某个单词的索引，或者通过调用get_index_word()方法获取某个索引对应的单词。最后，我们可以调用get_word_count()方法获取某个单词的出现次数。

通过Vocabulary()类，我们可以构建一个词汇表，并对文本数据进行索引和统计。这对于后续的文本处理和信息检索任务非常有用。例如，在文本分类任务中，可以使用Vocabulary()类将训练集和测试集中的单词进行索引，并构建特征矩阵用于训练和预测。