使用observe_lr()函数在Python中监控学习率

在Python中，可以使用observe_lr()函数来监控学习率的变化。这个函数是PyTorch库中torch.optim.lr_scheduler模块中定义的一个方法。该函数允许我们在每个epoch或每个batch时期打印学习率的值，以便我们可以检查和调整学习率的变化情况。

下面是一个使用observe_lr()函数的例子，涉及到模型训练和学习率的监控。假设我们有一个简单的线性回归模型，需要在给定的训练数据上进行训练，并监控学习率的变化。

import torch
import torch.optim as optim
from torch.optim.lr_scheduler import LambdaLR

class LinearRegression(torch.nn.Module):
    def __init__(self):
        super(LinearRegression, self).__init__()
        self.linear = torch.nn.Linear(1, 1)
        
    def forward(self, x):
        return self.linear(x)
    
# 构造样本数据
x_train = torch.tensor([[1.0], [2.0], [3.0], [4.0]])
y_train = torch.tensor([[2.0], [4.0], [6.0], [8.0]])

# 创建模型和优化器
model = LinearRegression()
optimizer = optim.SGD(model.parameters(), lr=0.1)

# 设置初始学习率以及学习率调整函数
scheduler = LambdaLR(optimizer, lr_lambda=lambda epoch: 0.95 ** epoch)

# 迭代训练过程中监控学习率的变化
for epoch in range(10):
    optimizer.zero_grad()
    y_pred = model(x_train)
    
    loss = torch.nn.functional.mse_loss(y_pred, y_train)
    loss.backward()
    optimizer.step()
    
    # 打印学习率
    scheduler.observe_lr(optimizer)

在这个例子中，我们首先定义了一个简单的线性回归模型，并创建了一个优化器和学习率调整函数。然后，我们设置一个10个epoch的训练循环。在每个epoch中，我们通过调用optimizer.zero_grad()来清除上一次迭代的梯度，然后使用模型进行前向传播和损失计算。接着，我们使用反向传播和优化器来更新网络参数。最后，我们通过调用scheduler.observe_lr(optimizer)打印当前的学习率。

通过运行上述代码，我们可以在每个batch或epoch时期打印学习率的变化情况。例如，打印出的学习率可能如下所示：

Epoch 0: 0.10000
Epoch 1: 0.09500
Epoch 2: 0.09025
...

这样，我们就可以监控学习率的变化情况，并根据需要调整学习率的策略。