Python中创建自动调整的学习率函数的代码示例

调整学习率是优化算法中的一项重要工作，可以帮助模型更好地收敛。在Python中，可以通过编写自动调整学习率的函数来实现。

下面是一个示例代码，演示了如何创建一个自动调整学习率的函数，并使用它来优化一个简单的模型。

import numpy as np
import matplotlib.pyplot as plt

def adjust_learning_rate(optimizer, epoch, init_lr, lr_decay_epoch):
    """自动调整学习率的函数
    
    参数:
        optimizer: 优化器
        epoch: 当前训练的epoch数
        init_lr: 初始学习率
        lr_decay_epoch: 调整学习率的epoch间隔
        
    """
    lr = init_lr * (0.1 ** (epoch // lr_decay_epoch))
    for param_group in optimizer.param_groups:
        param_group['lr'] = lr

# 创建一个简单的模型
class SimpleModel:
    def __init__(self, lr):
        self.lr = lr
        self.weights = np.random.randn()
    
    def train(self, num_epochs, lr_decay_epoch):
        optimizer = SimpleOptimizer(self.weights, self.lr)
        losses = []
        
        for epoch in range(num_epochs):
            # 调整学习率
            adjust_learning_rate(optimizer, epoch, self.lr, lr_decay_epoch)
            
            # 更新模型参数
            loss = optimizer.step()
            losses.append(loss)
        
        return losses

# 创建一个简单的优化器
class SimpleOptimizer:
    def __init__(self, weights, lr):
        self.weights = weights
        self.lr = lr
    
    def step(self):
        # 通过简单的更新公式更新模型参数
        self.weights -= self.lr * np.random.randn()
        
        # 计算损失函数
        loss = self.weights ** 2
        
        return loss

# 设置参数
num_epochs = 10
lr_decay_epoch = 5
init_lr = 0.1

# 创建模型并训练
model = SimpleModel(init_lr)
losses = model.train(num_epochs, lr_decay_epoch)

# 绘制损失函数曲线
plt.plot(range(num_epochs), losses)
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.title('Training Loss')
plt.show()

在这个示例代码中，我们创建了一个简单的模型SimpleModel和一个简单的优化器SimpleOptimizer。SimpleModel包含一个权重和一个学习率属性，SimpleOptimizer负责更新模型参数并计算损失函数。

我们还创建了一个adjust_learning_rate函数，它根据给定的初始学习率和学习率衰减的间隔来自动调整学习率。在每个训练epoch之后，我们调用adjust_learning_rate来更新优化器的学习率。

最后，我们使用以上定义的模型和函数来训练模型，并绘制了训练过程中的损失函数曲线。

以上示例代码演示了如何创建一个自动调整学习率的函数，并使用它来优化一个简单的模型。可以根据实际需求，对函数和模型进行适当的修改来适应不同的场景和数据。