使用observe_lr()函数追踪学习率在Python中的变动趋势

在PyTorch中，优化器的学习率可以通过observe_lr()函数来追踪其变动趋势。这个函数可以用来获取优化器对象中当前的学习率，并且在每个迭代步骤后记录和可视化学习率的变化。

在下面的例子中，我们首先导入必要的库，然后创建一个简单的神经网络模型和优化器对象。然后，我们使用observe_lr()函数来追踪学习率的变化，并在训练过程中打印学习率。

import torch
import torch.nn as nn
import torch.optim as optim

# 创建一个简单的神经网络模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(10, 10)
        self.fc2 = nn.Linear(10, 2)
    
    def forward(self, x):
        x = self.fc1(x)
        x = self.fc2(x)
        return x

# 创建模型的实例
model = Net()

# 创建优化器对象
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 定义一个损失函数
loss_fn = nn.CrossEntropyLoss()

def train(model, optimizer, loss_fn, num_epochs):
    for epoch in range(num_epochs):
        # 假设每个epoch只有一个batch数据
        inputs = torch.randn(10)
        targets = torch.randint(0, 2, (1,))
        
        optimizer.zero_grad()
        
        # 前向传播
        outputs = model(inputs)
        
        # 计算损失
        loss = loss_fn(outputs, targets)
        
        # 反向传播和优化
        loss.backward()
        optimizer.step()
        
        # 打印学习率
        print(optimizer.observe_lr())

在训练过程中，通过调用optimizer.observe_lr()，我们可以获取当前优化器对象中的学习率。在上述例子中，我们在每个迭代步骤中都打印学习率。

observe_lr()函数的返回值是一个列表，元素是每个学习率所对应的迭代步骤的索引（从0开始）。例如，如果学习率在第10次迭代时变为0.01，那么observe_lr()函数的返回值将是[0, 10]。

在实际使用中，我们可以将这些学习率记录下来，并使用可视化工具，如Matplotlib来绘制学习率的变化趋势。

总之，通过使用observe_lr()函数，我们可以追踪学习率的变化趋势，并根据需要进行记录和可视化。这对于调整学习率以获得更好的训练效果非常有用。