在Python中使用pytorch_pretrained_bert.tokenization.BertTokenizerfrom_pretrained()实现中文句子相似度计算

在Python中使用pytorch_pretrained_bert库中的BertTokenizerfrom_pretrained()方法可以实现中文句子的相似度计算。BertTokenizer是用于将文本转换为BERT模型所需的token序列，并提供了多种辅助方法。

首先，需要安装pytorch_pretrained_bert库。可以通过以下命令使用pip进行安装：

pip install pytorch-pretrained-bert

导入需要的库：

from pytorch_pretrained_bert import BertTokenizer

加载中文预训练模型的tokenizer：

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

接下来，可以使用tokenizer将句子转换为token序列。例如，将两个句子转换为token序列：

sentence1 = "我喜欢看电影"
sentence2 = "我喜欢看电视剧"

tokens1 = tokenizer.tokenize(sentence1)
tokens2 = tokenizer.tokenize(sentence2)

此时，tokens1和tokens2分别表示句子1和句子2的token序列。可以使用tokenizer中的convert_tokens_to_ids方法将token序列转换为对应的token id序列：

token_ids1 = tokenizer.convert_tokens_to_ids(tokens1)
token_ids2 = tokenizer.convert_tokens_to_ids(tokens2)

接下来，可以使用计算相似度的方法进行句子相似度计算。在本例中，我们使用余弦相似度进行计算。可以使用scipy库中的cosine_similarity函数进行计算：

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

# 将token id序列转换为numpy数组
token_ids1 = np.array(token_ids1).reshape(1, -1)
token_ids2 = np.array(token_ids2).reshape(1, -1)

# 使用余弦相似度计算句子相似度
similarity = cosine_similarity(token_ids1, token_ids2)[0][0]
print(similarity)

以上代码中，首先将token id序列转换为numpy数组，并使用cosine_similarity计算句子的相似度。通过打印similarity可以获取计算出的相似度。

完整的代码如下所示：

from pytorch_pretrained_bert import BertTokenizer
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

sentence1 = "我喜欢看电影"
sentence2 = "我喜欢看电视剧"

tokens1 = tokenizer.tokenize(sentence1)
tokens2 = tokenizer.tokenize(sentence2)

token_ids1 = tokenizer.convert_tokens_to_ids(tokens1)
token_ids2 = tokenizer.convert_tokens_to_ids(tokens2)

token_ids1 = np.array(token_ids1).reshape(1, -1)
token_ids2 = np.array(token_ids2).reshape(1, -1)

similarity = cosine_similarity(token_ids1, token_ids2)[0][0]
print(similarity)

通过以上代码，可以实现中文句子的相似度计算。要注意的是，需要使用预训练的BERT模型和对应的tokenizer，并将句子转换为符合BERT要求的token序列才能进行相似度计算。