LeNet网络架构的Python实现

LeNet是一个经典的卷积神经网络架构，最早由Yann LeCun等人在1998年提出，被广泛应用于手写数字识别任务中。LeNet包含了卷积层、池化层和全连接层，它的设计原则是将学习能力从浅层网络中逐渐引导到深层网络中。下面是一个使用Python实现LeNet网络架构的示例。

首先，我们需要导入必要的库：

import torch
import torch.nn as nn
import torch.nn.functional as F

接下来，我们定义LeNet网络的架构：

class LeNet(nn.Module):
    def __init__(self):
        super(LeNet, self).__init__()
        self.conv1 = nn.Conv2d(1, 6, 5)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = F.relu(self.conv1(x))
        x = F.max_pool2d(x, 2)
        x = F.relu(self.conv2(x))
        x = F.max_pool2d(x, 2)
        x = x.view(-1, 16 * 5 * 5)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

我们可以看到，在构造函数__init__中，我们定义了LeNet网络中的卷积层self.conv1和self.conv2，全连接层self.fc1、self.fc2和self.fc3。

在forward函数中，我们首先进行卷积操作self.conv1(x)，然后使用ReLU激活函数F.relu，再通过最大池化操作F.max_pool2d进行特征下采样。接着，我们再次进行卷积和池化操作，最后将得到的特征图展平为两维张量x.view(-1, 16 * 5 * 5)。之后，我们依次通过全连接层并使用ReLU激活函数，最终输出一个10维的向量。

我们可以使用LeNet网络来完成手写数字识别任务。下面是一个使用LeNet网络进行训练和测试的完整示例：

import torch
import torchvision
import torchvision.transforms as transforms

# 加载数据集
transform = transforms.Compose(
    [transforms.ToTensor(),
     transforms.Normalize((0.5,), (0.5,))])

trainset = torchvision.datasets.MNIST(root='./data', train=True,
                                      download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=64,
                                          shuffle=True, num_workers=2)

testset = torchvision.datasets.MNIST(root='./data', train=False,
                                     download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=64,
                                         shuffle=False, num_workers=2)

classes = ('0', '1', '2', '3', '4', '5', '6', '7', '8', '9')

# 定义LeNet网络
net = LeNet()

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

# 训练网络
for epoch in range(10):  # 迭代10次
    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        inputs, labels = data
        optimizer.zero_grad()  # 梯度清零
        outputs = net(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        running_loss += loss.item()
        if i % 200 == 199:    # 每200个小批量数据打印一次损失值
            print('[%d, %5d] loss: %.3f' %
                  (epoch + 1, i + 1, running_loss / 200))
            running_loss = 0.0

print('Finished Training')

# 测试网络
correct = 0
total = 0
with torch.no_grad():
    for data in testloader:
        images, labels = data
        outputs = net(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

print('Accuracy of the network on the 10000 test images: %d %%' % (
    100 * correct / total))

在这个示例中，我们首先加载了MNIST数据集，并使用torchvision中的transforms模块对数据进行预处理。接着，我们定义了LeNet网络、损失函数和优化器。在训练阶段，我们对数据进行迭代，并使用SGD进行优化。在每个小批量数据上，我们计算损失并进行反向传播，最后根据损失更新网络权重。在测试阶段，我们使用训练好的网络对测试数据集进行预测，并计算准确率。

以上就是LeNet网络架构的Python实现，并附带了一个使用例子。通过这个例子，我们可以了解如何构建LeNet网络，并使用它来完成手写数字识别任务。