在Python中构建支持CUDA的扩展模块：torch.utils.cpp_extension

在Python中，可以使用torch.utils.cpp_extension模块来构建支持CUDA的扩展模块。该模块为我们提供了一种将C++代码编译成Python模块的简便方式，使得我们可以在Python中使用C++的性能优势。

下面是一个使用torch.utils.cpp_extension的例子，展示了如何创建和使用支持CUDA的扩展模块：

首先，我们需要编写C++源代码，在这个例子中，我们使用C++实现了一个加法操作，具体代码如下（add.cpp）：

#include <torch/extension.h>

void add_cuda(torch::Tensor input1, torch::Tensor input2, torch::Tensor output) {
    output.copy_(input1 + input2);
}

PYBIND11_MODULE(TORCH_EXTENSION_NAME, m) {
    m.def("add_cuda", &add_cuda, "Addition operation (CUDA)");
}

接下来，我们可以编写一个Python脚本来编译和使用这个扩展模块。首先，我们需要导入必要的库：

import torch
from torch.utils.cpp_extension import CUDAExtension

然后，我们可以使用CUDAExtension类来编译我们的C++源代码。在创建CUDAExtension对象时，我们需要传递C++源文件的路径，以及扩展模块的名称。

ext = CUDAExtension(name='myextension', sources=['add.cpp'])

接下来，我们可以通过build_extension函数来编译扩展模块。我们需要传递一个包含CUDAExtension对象的列表作为输入，并指定生成的共享对象文件的保存路径。

torch.utils.cpp_extension.build_extension(ext, verbose=True)

编译成功后，我们就可以导入这个扩展模块，并调用其中的函数了。

import myextension

# 创建输入Tensor
input1 = torch.ones(10).cuda()
input2 = torch.ones(10).cuda()

# 创建输出Tensor
output = torch.zeros(10).cuda()

# 调用扩展模块的函数
myextension.add_cuda(input1, input2, output)

# 打印输出Tensor
print(output)

在上述例子中，我们首先使用CUDAExtension类编译了包含add_cuda函数的C++源代码。然后，我们使用build_extension函数来编译扩展模块。最后，我们导入这个扩展模块，并使用其中的函数来执行加法操作。

总结来说，torch.utils.cpp_extension模块为我们提供了一个方便的方式来构建支持CUDA的扩展模块，使我们可以在Python中使用C++的性能优势。通过编写C++源代码，并使用CUDAExtension类和build_extension函数，我们可以轻松地将C++代码编译成Python模块，并在Python中使用。