使用Python实现的Word2Vec主函数和其应用示例

Word2Vec是一种用于将文本转换为向量表示的流行算法。它基于分布假设，即在给定上下文的情况下，单词的含义可以通过其与其他单词的关系来捕捉。Python中有多种库可以实现Word2Vec，如gensim和spaCy。

以下是一个使用gensim库实现Word2Vec的主函数示例：

from gensim.models import Word2Vec
from nltk.tokenize import sent_tokenize, word_tokenize
from nltk.corpus import stopwords
import string

def train_word2vec(sentences):
    # 进行文本预处理，包括分词和去除停用词
    tokenized_sentences = [word_tokenize(sentence.lower()) for sentence in sentences]
    stop_words = set(stopwords.words('english')).union(set(string.punctuation))
    filtered_sentences = [[word for word in sentence if word not in stop_words] for sentence in tokenized_sentences]
    
    # 训练Word2Vec模型
    model = Word2Vec(filtered_sentences, window=5, min_count=1, workers=4)
    return model

# 示例文本
sentences = [
    "I love coding",
    "Python is my favorite programming language",
    "Machine learning is a subset of artificial intelligence"
]

# 训练Word2Vec模型
word2vec_model = train_word2vec(sentences)

# 获取单词向量
word_vector = word2vec_model.wv['python']
print(word_vector)

上述代码首先引入了必要的库，包括gensim、nltk和string。然后定义了一个名为train_word2vec的函数，该函数使用了gensim的Word2Vec模型。接下来，代码进行了文本预处理，包括分词和去除停用词。最后，代码训练了Word2Vec模型并返回。在主函数中，示例文本通过train_word2vec函数进行训练。使用训练好的模型，可以获取特定单词的向量表示。

Word2Vec模型训练好后，可以应用于多种自然语言处理任务，如文本分类、文本相似度计算和信息检索等。以下是一个示例，展示了如何使用Word2Vec模型计算两个文本之间的相似度：

# 两个文本
text1 = "I love coding"
text2 = "Python is my favorite programming language"

# 将文本转换为词向量的平均值
vector1 = sum([word2vec_model.wv[word] for word in word_tokenize(text1.lower()) if word not in stop_words]) / len(word_tokenize(text1.lower()))
vector2 = sum([word2vec_model.wv[word] for word in word_tokenize(text2.lower()) if word not in stop_words]) / len(word_tokenize(text2.lower()))

# 计算余弦相似度
similarity = np.dot(vector1, vector2) / (np.linalg.norm(vector1) * np.linalg.norm(vector2))
print(similarity)

上述代码中，首先将两个文本分别转换为词向量的平均值。然后，通过计算向量之间的余弦相似度，来衡量两个文本之间的相似度。

Word2Vec是一个非常有用的工具，可用于许多自然语言处理任务。它可以帮助我们理解单词之间的语义关系，并且可以应用于许多其他任务，如推荐系统、问答系统等。