使用torch.nn.functional中的leaky_relu()激活函数提高模型的非线性表达能力

在深度学习中，激活函数是神经网络中非常重要的一个组成部分，它可以为网络添加非线性表达能力。一种常用的激活函数是ReLU（Rectified Linear Unit），即max(0, x)。但是，ReLU存在一个缺点，即负输入时，它的输出为0，导致神经元将无法更新其权重。为了解决这个问题，我们可以使用Leaky ReLU激活函数。

Leaky ReLU的定义为：

leaky_relu(x) = max(0.01x, x)

与ReLU相比，Leaky ReLU在负输入时，不会输出0，而是输出一个小的负数。这样可以避免ReLU的“神经元死亡”问题，同时提高模型的非线性表达能力。

在PyTorch中，我们可以使用torch.nn.functional中的leaky_relu()函数来实现Leaky ReLU激活函数，并可以通过设置负斜率参数alpha来控制负输入时输出的小负数的大小。

下面我们给出一个使用Leaky ReLU激活函数的例子，通过一个简单的两层神经网络来演示其效果。

import torch
import torch.nn as nn
import torch.nn.functional as F

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(10, 5)
        self.fc2 = nn.Linear(5, 1)

    def forward(self, x):
        x = F.leaky_relu(self.fc1(x), negative_slope=0.01)
        x = self.fc2(x)
        return x

# 创建模型和输入数据
model = Net()
input_data = torch.randn(1, 10)

# 使用Leaky ReLU激活函数进行前向传播
output = model(input_data)
print(output)

在上述代码中，我们定义了一个两层的全连接神经网络模型，使用Leaky ReLU作为激活函数。输入数据是一个大小为(1, 10)的随机向量。通过模型的前向传播，输出了一个大小为(1, 1)的结果。

Leaky ReLU激活函数可以提高模型的非线性表达能力，尤其在负输入时表现更好。它的引入可以解决ReLU的一些问题，提升训练效果和模型的稳定性。在实际使用中，我们可以根据问题的特点选择合适的激活函数，以提高模型的性能和鲁棒性。