在Python中使用observe_lr()函数检测学习率的改变

在Python中，使用observe_lr()函数可以帮助我们检测学习率的改变情况。observe_lr()函数是torch.optim.lr_scheduler模块中_LRScheduler类中的一个方法。该方法会在每次学习率变化时被调用，可以用来记录学习率的变化情况。

下面，我为你提供一个使用observe_lr()函数的例子。

import torch
import torch.optim as optim
from torch.optim.lr_scheduler import _LRScheduler

class MyScheduler(_LRScheduler):
    def __init__(self, optimizer, last_epoch=-1):
        super(MyScheduler, self).__init__(optimizer, last_epoch)

    def get_lr(self):
        return [base_lr * 0.9 ** self.last_epoch for base_lr in self.base_lrs]

# 创建一个随机初始化的模型
model = torch.nn.Linear(10, 10)

# 初始化优化器和学习率调度器
optimizer = optim.SGD(model.parameters(), lr=0.1)
scheduler = MyScheduler(optimizer)

# 使用observe_lr()函数来检测学习率的变化情况
def print_lr_scheduler(optimizer):
    lrs = []
    def hook_fn(_, lr):
        lrs.append(lr)
    optimizer.param_groups[0]['lr'] = 0.5  # 设置一个初始学习率
    handle = optimizer.observe_lr(hook_fn)
    
    # 进行一些训练迭代
    for epoch in range(10):
        optimizer.step()
        scheduler.step()
        print("Epoch {}: lr = {}".format(epoch, lrs[epoch]))

    handle.remove()

print_lr_scheduler(optimizer)

在上面的例子中，我们创建了一个自定义的学习率调度器MyScheduler，该调度器继承了_LRScheduler类并重写了get_lr()方法。在get_lr()方法中，我们使用了指数衰减的方式来逐渐降低学习率。然后，我们调用了observe_lr()函数来监测学习率的变化情况。在print_lr_scheduler()函数中，我们通过hook函数hook_fn将学习率的变化记录下来，并在每个epoch结束后打印出学习率。

运行上述代码，你可以看到每个epoch中学习率的变化情况。这对于调试和优化模型的训练过程非常有帮助。