使用transformers库实现中文文本相似度计算的方法

transformers是一个基于深度学习的自然语言处理库，主要用于训练和应用各种文本任务和模型。在这里，我们将使用transformers库中的预训练模型来实现中文文本的相似度计算。

首先，您需要确保已经安装了transformers库。可以使用以下命令来安装：

pip install transformers

接下来，我们将使用transformers库中的BERT模型来计算中文文本的相似度。BERT（Bidirectional Encoder Representations from Transformers）是一种双向Transformer编码器，目前在自然语言处理任务中表现卓越。

我们将使用哈工大的BERT-wwm模型，它是一个在中文预训练语料上训练的BERT模型。

from transformers import BertTokenizer, BertModel
import torch

# 加载BERT模型和tokenizer
model_name = 'hfl/chinese-bert-wwm'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertModel.from_pretrained(model_name)

# 输入文本
text1 = "今天天气真好"  
text2 = "今天天气不错"

# 对输入文本进行分词和编码
inputs = tokenizer([text1, text2], padding=True, truncation=True, return_tensors='pt')

# 使用BERT模型获取文本的嵌入表示
outputs = model(**inputs)
embeddings = outputs.last_hidden_state

# 计算相似度
cos_sim = torch.nn.functional.cosine_similarity(embeddings[0], embeddings[1], dim=0)

print("相似度：", cos_sim.item())

在上述示例中，我们首先加载了预训练的BERT模型和tokenizer。然后，我们定义了两个输入文本text1和text2。接下来，我们使用tokenizer对输入文本进行分词和编码，并设置padding、truncation参数来处理不同长度的文本。

然后，我们将编码后的文本输入到BERT模型中，获取文本的嵌入表示。最后，我们使用torch.nn.functional.cosine_similarity函数来计算嵌入表示的余弦相似度，即文本的相似度。

在这个例子中，我们的输入文本是"今天天气真好"和"今天天气不错"，计算得到的相似度是一个介于-1到1之间的值。值越接近1，表示两个文本越相似；值越接近-1，表示两个文本越不相似。

上述示例是使用BERT模型实现中文文本相似度计算的基本方法。您可以根据实际需求使用其他预训练模型和技术来进一步优化和改进。