欢迎访问宙启技术站
智能推送

PyTorch中的CIFAR100数据集应用:图像分类和模型训练

发布时间:2023-12-29 13:08:52

CIFAR100是一个包含100个不同类别的图像数据集,每个类别中包含600张32×32大小的彩色图像。这个数据集被广泛用于图像分类任务的训练和测试。

在PyTorch中,可以使用torchvision库来加载和预处理CIFAR100数据集。首先,需要安装torchvision库:

pip install torchvision

接下来,可以使用以下代码加载CIFAR100数据集并进行预处理:

import torchvision
import torchvision.transforms as transforms

# 定义图像的预处理操作
transform = transforms.Compose(
    [transforms.ToTensor(),
     transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])

# 加载训练集
trainset = torchvision.datasets.CIFAR100(root='./data', train=True,
                                        download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,
                                          shuffle=True, num_workers=2)

# 加载测试集
testset = torchvision.datasets.CIFAR100(root='./data', train=False,
                                       download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=4,
                                         shuffle=False, num_workers=2)

# 定义类别名称
classes = ('apple', 'bee', 'cat', 'dog', ... 'watermelon')

接下来,可以使用这个数据集来训练和测试一个模型。例如,可以定义一个简单的卷积神经网络模型,然后使用CIFAR100数据集对其进行训练:

import torch.nn as nn
import torch.optim as optim

# 定义一个简单的卷积神经网络模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 6, 5)
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 100)

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1, 16 * 5 * 5)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

net = Net()

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

# 训练模型
for epoch in range(2):  # 迭代两个epoch
    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        # 获取输入和标签
        inputs, labels = data

        # 清零梯度参数
        optimizer.zero_grad()

        # 前向传播,反向传播,优化
        outputs = net(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        # 打印统计信息
        running_loss += loss.item()
        if i % 2000 == 1999:    # 每2000个小批量数据打印一次
            print('[%d, %5d] loss: %.3f' %
                  (epoch + 1, i + 1, running_loss / 2000))
            running_loss = 0.0

print('Training Finished')

# 使用测试集对模型进行测试
correct = 0
total = 0
with torch.no_grad():
    for data in testloader:
        images, labels = data
        outputs = net(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

print('Accuracy of the network on the 10000 test images: %d %%' % (
    100 * correct / total))

这段代码中,首先定义了一个简单的卷积神经网络模型,并定义了损失函数和优化器。然后,使用训练集对这个模型进行训练,并使用测试集对训练好的模型进行测试,最后计算模型的准确率。

通过以上代码的运行,就可以完成CIFAR100数据集的图像分类和模型训练任务。