基于BertModel()的中文文本相似度计算模型

BERT（Bidirectional Encoder Representations from Transformers）是一种强大的预训练模型，用于处理自然语言处理任务，包括文本相似度计算。BertModel()是一个BERT模型的类，可以用来计算文本之间的相似度。

下面是一个使用BertModel()的中文文本相似度计算模型的示例：

import torch
from transformers import BertTokenizer, BertModel

# 加载预训练的BERT模型和tokenizer
model_name = 'bert-base-chinese'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertModel.from_pretrained(model_name)

# 输入文本
text1 = '我喜欢吃苹果'
text2 = '苹果是我喜欢吃的水果'

# 对文本进行分词和编码
encoded_text1 = tokenizer.encode_plus(text1, add_special_tokens=True, return_tensors='pt')
encoded_text2 = tokenizer.encode_plus(text2, add_special_tokens=True, return_tensors='pt')

# 获取输入的token张量
input_ids1 = encoded_text1['input_ids']
input_ids2 = encoded_text2['input_ids']

# 获取输入的attention mask张量
attention_mask1 = encoded_text1['attention_mask']
attention_mask2 = encoded_text2['attention_mask']

# 使用BERT模型计算文本的嵌入表示
with torch.no_grad():
    outputs1 = model(input_ids1, attention_mask=attention_mask1)
    outputs2 = model(input_ids2, attention_mask=attention_mask2)

# 获取文本的嵌入表示
embeddings1 = outputs1[0][:, 0, :].numpy()
embeddings2 = outputs2[0][:, 0, :].numpy()

# 计算相似度
similarity = cosine_similarity(embeddings1, embeddings2)[0][0]
print('文本1和文本2之间的相似度为：', similarity)

上述代码的思路如下：

1. 首先，加载预训练的BERT模型和tokenizer。我们使用了一个来自哈工大的中文BERT模型。

2. 然后，定义输入的文本变量text1和text2。

3. 接下来，我们使用tokenizer对文本进行分词和编码，生成输入的token张量和attention mask张量。

4. 使用BertModel()计算文本的嵌入表示。BertModel()会返回一个元组，包含了文本的嵌入表示和其他相关信息。

5. 从模型的输出中提取文本的嵌入表示，我们仅使用[CLS]标记对应的向量作为文本的表示。

6. 最后，基于文本的嵌入表示计算文本之间的相似度。这里我们使用余弦相似度（cosine similarity）来衡量相似度。

运行以上代码，将会输出文本1和文本2之间的相似度。

注意：以上示例代码仅演示了如何使用BertModel()计算文本相似度，实际应用中可能需要对输入文本进行预处理，如去除停用词、标点符号等，并根据具体任务进行相应的后处理。