如何使用权重衰减（weightdecay）减小模型的损失

发布时间：2023-12-16 19:57:58

权重衰减是一种常用的正则化技术，能够减小模型的复杂度并防止过拟合。通过对损失函数添加一个正则化项，惩罚模型中较大的权重值。本文将从理论和实例两个方面介绍如何使用权重衰减来减小模型的损失。

一、理论

权重衰减通过对损失函数添加一个正则化项实现，正则化项和权重有关。一般来说，正则化项被定义为权重的平方和乘以一个正则化参数λ。我们可以将原损失函数记为L(θ)，其中θ表示模型的所有参数。那么加入权重衰减后的损失函数为：

L'(θ) = L(θ) + λ * Σ(θ2)

其中，Σ(θ2)表示所有权重的平方和。

正则化参数λ的选择需要根据具体问题和数据进行调整。较大的λ值会迫使模型更加简单，减小过拟合的风险，但可能会增加欠拟合的风险。较小的λ值则容易导致过拟合。

二、实例

下面以一个简单的线性回归模型为例，介绍如何使用权重衰减来减小模型的损失。假设我们有一个包含100个样本的数据集，特征x和标签y的关系为y = 2x + 1，我们的目标是学习一个线性回归模型来预测新的样本。

1. 导入所需的库

import torch

import torch.nn as nn

import torch.optim as optim

2. 生成数据集

# 设置随机种子，以便结果可复现

torch.manual_seed(1)

# 生成特征x

x = torch.randn(100, 1)

# 生成标签y

y = 2 * x + 1 + 0.2 * torch.randn(100, 1)

3. 定义线性回归模型

class LinearRegression(nn.Module):

def __init__(self):

super(LinearRegression, self).__init__()

self.linear = nn.Linear(1, 1)

def forward(self, x):

return self.linear(x)

model = LinearRegression()

4. 定义损失函数和优化器

criterion = nn.MSELoss() # 均方误差损失函数

optimizer = optim.SGD(model.parameters(), lr=0.01) # 随机梯度下降优化器

5. 使用权重衰减训练模型

epochs = 1000

for epoch in range(epochs):

# 前向传播

outputs = model(x)

loss = criterion(outputs, y)

# 添加权重衰减

l2_lambda = 0.01 # 正则化参数

l2_reg = torch.tensor(0.) # 正则化项

for param in model.parameters():

l2_reg += torch.norm(param)

loss += l2_lambda * l2_reg

# 反向传播和优化

optimizer.zero_grad()

loss.backward()

optimizer.step()

if (epoch+1) % 100 == 0:

print('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, epochs, loss.item()))

6. 测试模型效果

# 生成测试数据

x_test = torch.tensor([[1.0], [2.0], [3.0]])

y_test = 2 * x_test + 1

# 测试模型预测效果

model.eval()

with torch.no_grad():

y_pred = model(x_test)

print('Predicted:', y_pred.flatten())

print('Ground Truth:', y_test.flatten())

运行以上代码，模型将输出训练过程中每100个epoch的损失值，并在测试集上进行预测，并将预测结果与真实结果进行对比。

通过添加权重衰减项，可以观察到模型的损失值在训练过程中逐渐减小，同时预测结果与真实结果的差距也在不断减小，说明模型的泛化能力得到了提升。

总结：

权重衰减是一种常用的正则化技术，通过正则化项对模型中的权重进行惩罚，以减小模型的复杂度并防止过拟合。在实际应用中，可以根据具体问题和数据的特点调整正则化参数λ的值。在代码实现上，通过在损失函数中添加正则化项并利用优化器进行反向传播更新模型参数，即可使用权重衰减来减小模型的损失。