从预训练模型中加载权重的方法。

从预训练模型中加载权重是将预训练模型的参数用于新任务的常用方法。这样可以节省训练时间和计算资源，并且通常能够提高任务的性能。在本文中，将介绍从预训练模型加载权重的常见方法，并提供一个使用例子。

加载预训练模型的权重通常涉及以下几个步骤：

1. 选择预训练模型：首先，需要选择适合任务的预训练模型。常见的预训练模型包括BERT、GPT、ResNet等。选择合适的预训练模型将有助于提高任务的性能。

2. 下载预训练模型的权重文件：一旦选择了适合的预训练模型，需要下载预训练模型的权重文件。这些文件通常可以从预训练模型的官方网站或第三方库中获取。

3. 创建模型结构：在加载权重之前，需要创建与预训练模型相对应的模型结构。这意味着需要在代码中定义预训练模型的网络结构，以便加载权重。

4. 加载权重：加载权重是将预训练模型的参数加载到新模型中的过程。这通常通过读取权重文件并将其赋值给新模型的对应参数来实现。

下面是一个从预训练模型加载权重的例子，以PyTorch为例：

import torch
from transformers import BertModel, BertTokenizer

# 步骤1：选择预训练模型和标记器
model_name = 'bert-base-uncased'
tokenizer = BertTokenizer.from_pretrained(model_name)
model = BertModel.from_pretrained(model_name)

# 步骤3：创建模型结构
class MyModel(torch.nn.Module):
    def __init__(self):
        super().__init__()
        self.bert = model  # 将预训练模型的网络结构赋值给新模型
        
    def forward(self, input_ids, attention_mask):
        outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask)
        # 添加自定义层和逻辑...

# 步骤4：加载权重
state_dict = torch.load('bert_weights.pth')
model.load_state_dict(state_dict)

# 使用新模型进行推理或微调...

在这个例子中，首先通过选择bert-base-uncased预训练模型和对应的标记器BertTokenizer指定要使用的模型和标记化方法。接下来，通过BertModel.from_pretrained()方法创建预训练模型的网络结构。然后，定义一个新模型，并将预训练模型的网络结构赋值给新模型的bert属性。最后，通过torch.load()方法加载预训练模型的权重，并使用load_state_dict()方法将权重加载到新模型中。

加载预训练模型的权重是进行迁移学习和自然语言处理等任务中的常见操作。通过合理选择预训练模型并加载其权重，可以加快模型的训练速度并提高模型在新任务上的性能。