PyTorch中的CIFAR100数据集应用:图像分类和模型训练
发布时间:2023-12-29 13:08:52
CIFAR100是一个包含100个不同类别的图像数据集,每个类别中包含600张32×32大小的彩色图像。这个数据集被广泛用于图像分类任务的训练和测试。
在PyTorch中,可以使用torchvision库来加载和预处理CIFAR100数据集。首先,需要安装torchvision库:
pip install torchvision
接下来,可以使用以下代码加载CIFAR100数据集并进行预处理:
import torchvision
import torchvision.transforms as transforms
# 定义图像的预处理操作
transform = transforms.Compose(
[transforms.ToTensor(),
transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])
# 加载训练集
trainset = torchvision.datasets.CIFAR100(root='./data', train=True,
download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,
shuffle=True, num_workers=2)
# 加载测试集
testset = torchvision.datasets.CIFAR100(root='./data', train=False,
download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=4,
shuffle=False, num_workers=2)
# 定义类别名称
classes = ('apple', 'bee', 'cat', 'dog', ... 'watermelon')
接下来,可以使用这个数据集来训练和测试一个模型。例如,可以定义一个简单的卷积神经网络模型,然后使用CIFAR100数据集对其进行训练:
import torch.nn as nn
import torch.optim as optim
# 定义一个简单的卷积神经网络模型
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.conv1 = nn.Conv2d(3, 6, 5)
self.pool = nn.MaxPool2d(2, 2)
self.conv2 = nn.Conv2d(6, 16, 5)
self.fc1 = nn.Linear(16 * 5 * 5, 120)
self.fc2 = nn.Linear(120, 84)
self.fc3 = nn.Linear(84, 100)
def forward(self, x):
x = self.pool(F.relu(self.conv1(x)))
x = self.pool(F.relu(self.conv2(x)))
x = x.view(-1, 16 * 5 * 5)
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
x = self.fc3(x)
return x
net = Net()
# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)
# 训练模型
for epoch in range(2): # 迭代两个epoch
running_loss = 0.0
for i, data in enumerate(trainloader, 0):
# 获取输入和标签
inputs, labels = data
# 清零梯度参数
optimizer.zero_grad()
# 前向传播,反向传播,优化
outputs = net(inputs)
loss = criterion(outputs, labels)
loss.backward()
optimizer.step()
# 打印统计信息
running_loss += loss.item()
if i % 2000 == 1999: # 每2000个小批量数据打印一次
print('[%d, %5d] loss: %.3f' %
(epoch + 1, i + 1, running_loss / 2000))
running_loss = 0.0
print('Training Finished')
# 使用测试集对模型进行测试
correct = 0
total = 0
with torch.no_grad():
for data in testloader:
images, labels = data
outputs = net(images)
_, predicted = torch.max(outputs.data, 1)
total += labels.size(0)
correct += (predicted == labels).sum().item()
print('Accuracy of the network on the 10000 test images: %d %%' % (
100 * correct / total))
这段代码中,首先定义了一个简单的卷积神经网络模型,并定义了损失函数和优化器。然后,使用训练集对这个模型进行训练,并使用测试集对训练好的模型进行测试,最后计算模型的准确率。
通过以上代码的运行,就可以完成CIFAR100数据集的图像分类和模型训练任务。
