在Python中使用observe_lr()观察学习率的波动

在Python中，我们可以使用observe_lr()函数观察学习率的波动。observe_lr()是torch.optim.lr_scheduler中的一个方法，它可以在训练过程中以回调函数的形式观察和记录学习率的变化。

下面是一个使用observe_lr()观察学习率波动的例子：

import torch
import torch.optim as optim
from torch.optim.lr_scheduler import LambdaLR

# 创建一个优化器
optimizer = optim.Adam(params, lr=0.001)

# 创建一个学习率调度器
scheduler = LambdaLR(optimizer, lr_lambda=lambda epoch: 0.95 ** epoch)

# 定义一个函数用于观察学习率的变化
def observe_lr(epoch):
    lr = optimizer.param_groups[0]['lr']
    print(f"Epoch {epoch}: Learning rate {lr}")

# 训练循环
for epoch in range(num_epochs):
    # 训练代码...

    # 执行学习率调度器
    scheduler.step()

    # 观察学习率
    observe_lr(epoch)

在上面的代码中，我们首先创建了一个优化器optimizer和一个学习率调度器scheduler。然后，我们定义了一个用于观察学习率变化的函数observe_lr()。在每个训练周期的末尾，我们通过调用scheduler.step()来更新学习率，并通过调用observe_lr(epoch)来打印出当前的学习率。

需要注意的是，学习率调度器在每个训练周期末尾被调用，因此学习率的变化是在一次完整训练循环结束后才能观察到的。此外，observe_lr()函数中的optimizer.param_groups[0]['lr']用于获取当前学习率，0是优化器参数组的索引，通常我们只使用一个参数组。

通过使用observe_lr()函数观察学习率的波动，我们可以更好地了解模型训练过程中学习率的调整情况，从而进行更合理的学习率策略的选择和优化。