数据加载与采样调优：torch.utils.data.sampler模块的高级用法

在深度学习中，数据加载与采样是非常重要的步骤。PyTorch提供了一个torch.utils.data.sampler模块来帮助我们实现高效的数据加载和采样操作。

torch.utils.data.sampler模块提供了一些常用的采样器类，可以根据我们的需求进行数据加载和采样的自定义。下面我们来看一些常见的采样器类和它们的高级用法。

1. SubsetRandomSampler：随机子集采样器

SubsetRandomSampler允许我们从数据集中随机选择一个子集进行训练。使用该采样器时，我们需要提供一个索引列表，表示从数据集中选择的样本的索引。下面是一个使用SubsetRandomSampler的例子：

import torch
from torch.utils.data import DataLoader, Dataset
from torch.utils.data.sampler import SubsetRandomSampler

# 定义数据集类
class MyDataset(Dataset):
    def __init__(self):
        self.data = [i for i in range(100)]
    
    def __getitem__(self, index):
        return self.data[index]
    
    def __len__(self):
        return len(self.data)

# 创建数据集实例
dataset = MyDataset()

# 创建SubsetRandomSampler实例
sampler = SubsetRandomSampler([i for i in range(50)])

# 创建数据加载器
dataloader = DataLoader(dataset, batch_size=10, sampler=sampler)

# 打印采样结果
for batch in dataloader:
    print(batch)

在上面的例子中，我们定义了一个包含100个样本的数据集类MyDataset。然后，我们创建了一个SubsetRandomSampler实例，该采样器会从数据集中随机选择50个样本进行训练。最后，我们通过数据加载器来加载数据，并打印每个批次的数据。

2. WeightedRandomSampler：加权随机采样器

WeightedRandomSampler允许我们根据样本的权重进行采样。使用该采样器时，我们需要提供一个权重列表，表示每个样本的权重。下面是一个使用WeightedRandomSampler的例子：

import torch
from torch.utils.data import DataLoader, Dataset
from torch.utils.data.sampler import WeightedRandomSampler

# 定义数据集类
class MyDataset(Dataset):
    def __init__(self):
        self.data = [i for i in range(100)]
        self.weights = [1.0/(i+1) for i in range(100)]
    
    def __getitem__(self, index):
        return self.data[index]
    
    def __len__(self):
        return len(self.data)

# 创建数据集实例
dataset = MyDataset()

# 创建WeightedRandomSampler实例
sampler = WeightedRandomSampler(dataset.weights, len(dataset))

# 创建数据加载器
dataloader = DataLoader(dataset, batch_size=10, sampler=sampler)

# 打印采样结果
for batch in dataloader:
    print(batch)

在上面的例子中，我们定义了一个包含100个样本的数据集类MyDataset。每个样本的权重是1/(index+1)，表示越靠前的样本权重越大。然后，我们创建了一个WeightedRandomSampler实例，该采样器会根据每个样本的权重进行采样。最后，我们通过数据加载器来加载数据，并打印每个批次的数据。

torch.utils.data.sampler模块还提供了其他一些采样器类，如RandomSampler、SequentialSampler等，可以根据不同的需求选择合适的采样器。

总结来说，torch.utils.data.sampler模块提供了一些高级的数据加载和采样器类，可以实现数据加载与采样的灵活控制。掌握这些高级用法，可以帮助我们更好地进行深度学习任务的数据预处理和加载操作。