在Python中使用observe_lr()函数追踪学习率的变动

在Python中，可以使用pytorch中的observe_lr()函数来追踪学习率的变动。该函数可以用于监测和记录优化算法中学习率的变化情况，并可以在训练过程中进行可视化展示。

下面是一个使用observe_lr()函数的例子，步骤如下：

首先，我们需要导入相应的库：

import torch
import torch.optim as optim
import matplotlib.pyplot as plt

然后，我们定义一个模型和数据：

# 定义一个简单的线性回归模型
class LinearRegression(torch.nn.Module):
    def __init__(self):
        super(LinearRegression, self).__init__()
        self.linear = torch.nn.Linear(1, 1)
    
    def forward(self, x):
        out = self.linear(x)
        return out

# 创建训练数据和标签
x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[2.0], [4.0], [6.0]])

接下来，我们定义优化器，并使用observe_lr()函数追踪学习率的变动：

# 创建一个线性回归模型对象
model = LinearRegression()

# 定义优化器
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 创建一个列表用于存储学习率的变化
lr_list = []

# 追踪学习率的变动
def observe_lr(param_group):
    lr = param_group['lr']
    lr_list.append(lr)

# 注册observe_lr函数为回调函数
optimizer.param_groups[0]['observe_lr'] = observe_lr

然后，我们开始训练模型，并将学习率的变动情况进行可视化展示：

# 进行模型训练
for epoch in range(100):
    # 清零梯度
    optimizer.zero_grad()
    
    # 前向传播
    y_pred = model(x_data)
    
    # 计算损失
    loss = torch.nn.functional.mse_loss(y_pred, y_data)
    
    # 反向传播
    loss.backward()
    
    # 更新参数
    optimizer.step()
    
    # 输出学习率的变动情况
    lr = optimizer.param_groups[0]['lr']
    print('Epoch [{}/{}], Loss: {:.4f}, Learning Rate: {:.4f}'.format(epoch+1, 100, loss.item(), lr))

# 可视化学习率的变动
plt.plot(range(100), lr_list)
plt.xlabel('Epoch')
plt.ylabel('Learning Rate')
plt.title('Learning Rate Variation')
plt.show()

在上述代码中，首先我们注册了observe_lr()函数为优化器的回调函数，然后在每个epoch中通过optimizer.param_groups[0]['lr']获取当前学习率的值，并将其添加到lr_list列表中，最后使用matplotlib库可视化展示学习率的变动情况。

使用observe_lr()函数可以方便地监测和记录学习率的变化情况，在调整和优化模型时提供有价值的信息。