Python中使用DataParallel()进行数据并行处理的示例

在Python中，我们可以使用PyTorch库中的DataParallel()函数来进行数据并行处理。DataParallel()函数可以简化我们在多个GPU上训练模型的过程，从而提高训练速度和性能。

下面是一个使用DataParallel()函数进行数据并行处理的示例：

import torch
import torch.nn as nn
from torch.nn.parallel import DataParallel

# 定义一个简单的神经网络模型
class SimpleNet(nn.Module):
    def __init__(self):
        super(SimpleNet, self).__init__()
        self.fc = nn.Linear(10, 1)
    
    def forward(self, x):
        return self.fc(x)

# 创建一个模型实例
model = SimpleNet()

# 将模型放入多个GPU上进行并行处理
model = DataParallel(model)

# 定义输入数据
inputs = torch.randn(100, 10)

# 将输入数据放入多个GPU上
inputs = inputs.cuda()

# 将输入数据传递给模型进行前向传播
outputs = model(inputs)

# 在多个GPU上计算的结果会自动合并成一个tensor
# 输出的形状为torch.Size([100, 1])
print(outputs.shape)

在上面的示例中，我们首先定义了一个简单的神经网络模型SimpleNet，该模型包含一个全连接层。然后，我们创建了一个模型实例，并使用DataParallel()函数将模型放入多个GPU上进行并行处理。

接下来，我们定义了一个输入数据inputs，并将其放入多个GPU上。然后，我们将输入数据传递给模型进行前向传播，模型会在多个GPU上对数据进行并行处理，并自动将计算结果合并成一个tensor。

最后，我们输出了合并后的计算结果的形状，可以看到输出的形状为torch.Size([100, 1])，表示有100个样本经过模型计算后得到的结果。