使用pad_sequence()函数进行序列填充的实例教程

pad_sequence()函数是Pytorch中的一个用于进行序列填充的函数。它可以将一批变长的序列填充为相同长度的序列，并返回填充后的序列张量。

在使用pad_sequence()函数之前，我们需要注意的是，需要将输入的序列按照长度递减的顺序排列，这样填充后的序列会较短，并且不会包含太多的填充值。下面是pad_sequence()函数的用法：

torch.nn.utils.rnn.pad_sequence(sequences, batch_first=False, padding_value=0)

其中，参数sequences是一个List[List[Tensor]]类型的输入，表示一批变长的序列。batch_first参数用于控制返回的序列张量形状的顺序，默认是False，表示返回的形状为(seq_len, batch_size, *)，如果设置为True，则返回的形状为(batch_size, seq_len, *)。padding_value参数用于指定填充值，默认为0。

下面是一个使用pad_sequence()函数进行序列填充的具体例子：

import torch

from torch.nn.utils.rnn import pad_sequence

# 创建一个List[List[Tensor]]类型的输入

sequences = [torch.tensor([1, 2, 3]), 

             torch.tensor([4, 5]), 

             torch.tensor([6, 7, 8, 9])]

# 按照序列长度递减的顺序排列输入

sequences.sort(key=lambda x: len(x), reverse=True)

# 进行序列填充，返回填充后的序列张量

padded_sequences = pad_sequence(sequences, batch_first=True)

print(padded_sequences)

print(padded_sequences.shape)

运行以上代码，输出结果如下：

tensor([[6, 7, 8, 9],

        [1, 2, 3, 0],

        [4, 5, 0, 0]])

torch.Size([3, 4])

在上述代码中，我们首先创建了一个List[List[Tensor]]类型的输入sequences，其中包含了3个不等长的序列。然后，我们按照序列长度递减的顺序排列输入sequences。最后，我们调用pad_sequence()函数进行序列填充，并设置batch_first参数为True，表示返回的序列张量形状为(batch_size, seq_len, *)。填充后的结果形状为(3, 4)，其中序列长度最长为4，较短的序列会被填充为相同长度。

总结来说，pad_sequence()函数是Pytorch中一个非常实用的函数，能够方便地对变长序列进行填充，并返回填充后的序列张量。通过合理的使用pad_sequence()函数，我们可以更方便地处理一批不等长的序列数据，提升模型的处理效果。