使用torchtext.vocabVectors()对中文词向量表进行过滤和清理

torchtext.vocabVectors()是torchtext库中的一个函数，用于加载词向量表。它接受一个参数file，指定词向量表的路径，并返回一个Vocab对象。

在使用torchtext.vocabVectors()加载中文词向量表之前，我们需要先准备好一个中文词向量表，该词向量表的格式与GloVe和Word2Vec等常见的词向量表格式相似。每一行表示一个词向量， 个元素为词，后面的元素为词向量的数值。中文词向量表通常会比较大，包含大量的词和向量。

以下是一个例子，展示如何使用torchtext.vocabVectors()对中文词向量表进行过滤和清理：

import torchtext

def filter_chinese_word_vectors(raw_vectors_file, filtered_vectors_file, words_to_keep):
    # 加载原始词向量表
    vocab = torchtext.vocab.Vectors(raw_vectors_file)
    
    # 过滤词向量表
    filtered_vectors = {}
    for word in words_to_keep:
        if word in vocab.stoi:
            filtered_vectors[word] = vocab.vectors[vocab.stoi[word]]
    
    # 保存过滤后的词向量表
    with open(filtered_vectors_file, 'w', encoding='utf-8') as file:
        for word, vector in filtered_vectors.items():
            vector_string = ' '.join([str(num) for num in vector])
            file.write(f"{word} {vector_string}
")

# 定义要过滤的词列表
words_to_keep = ['中国', '北京', '上海', '天安门']

# 定义原始词向量表路径和过滤后词向量表路径
raw_vectors_file = 'chinese_word_vectors.txt'
filtered_vectors_file = 'filtered_chinese_word_vectors.txt'

# 调用过滤函数
filter_chinese_word_vectors(raw_vectors_file, filtered_vectors_file, words_to_keep)

在上述例子中，我们定义了一个函数filter_chinese_word_vectors来加载和过滤词向量表。首先，我们通过调用torchtext.vocabVectors()加载原始的中文词向量表，得到一个Vocab对象。然后，我们遍历要保留的词列表words_to_keep，检查每个词是否在词向量表的索引中。如果词存在于词向量表中，就将该词和对应的词向量保存到一个字典中。最后，我们将过滤后的词向量表保存到指定的文件中。

需要注意的是，上述代码假设原始的中文词向量表文件中每一行的编码为UTF-8，并且词向量表文件每个单词之间使用空格分隔。如果原始词向量表的格式有所不同，需要根据具体情况修改代码。另外，该代码只过滤指定的词，没有进行其他数据清理操作，如去除标点符号等。如果需要进行更复杂的数据清理操作，可以根据自己的需求进行修改。