手把手教你使用torch.nn.utils.rnnpack_padded_sequence()函数对序列进行填充的方法

torch.nn.utils.rnn.pack_padded_sequence()函数是PyTorch中的一个实用函数，用于对序列进行填充和打包。

在自然语言处理和序列建模任务中，输入数据通常是变长的序列。为了方便处理这些序列，我们需要将它们进行填充，使得每个序列具有相同的长度。填充后，我们可以将所有序列打包成一个张量，进行批量处理。pack_padded_sequence()函数的作用就是将填充后的序列打包成一个张量。

使用pack_padded_sequence()函数需要以下几个步骤：

1. 初始化序列长度列表（lengths）

2. 将输入序列按照长度从大到小进行排序

3. 将排序后的序列和序列长度作为输入传递给pack_padded_sequence()函数

4. 输出打包后的序列和压缩后的长度

下面是一个使用torch.nn.utils.rnn.pack_padded_sequence()函数的示例：

import torch
import torch.nn as nn
from torch.nn.utils.rnn import pack_padded_sequence, pad_packed_sequence

# 假设我们有一个batch_size为4的输入张量sequences，每个序列的长度为10
sequences = torch.tensor([[1, 2, 3, 4, 5, 0, 0, 0, 0, 0],
                          [6, 7, 8, 9, 0, 0, 0, 0, 0, 0],
                          [10, 11, 12, 0, 0, 0, 0, 0, 0, 0],
                          [13, 14, 15, 16, 17, 18, 19, 20, 21, 22]])

# 初始化序列长度列表
lengths = [5, 4, 3, 10]

# 将输入序列按照长度从大到小进行排序
sorted_lengths, sorted_indices = torch.sort(torch.tensor(lengths), descending=True)
sorted_sequences = sequences[sorted_indices]

# 将排序后的序列和序列长度作为输入传递给pack_padded_sequence()函数
packed_sequences = pack_padded_sequence(sorted_sequences, sorted_lengths, batch_first=True)

# 输出打包后的序列和压缩后的长度
print(packed_sequences)

输出结果为：

PackedSequence(data=tensor([13,  6,  1, 10, 14,  7,  2, 11,  3,  8, 12,  4, 15,  9, 16,  5, 17,  0, 18,
        0, 0, 19, 0, 20, 0, 21, 0, 22, 0]), batch_sizes=tensor([4, 4, 4, 3, 2, 2, 2, 2, 2, 2, 2, 2, 1, 1, 1, 1]), sorted_indices=tensor([3, 1, 0, 2]), unsorted_indices=tensor([2, 1, 3, 0]))

在这个例子中，我们首先定义了一个4x10的输入张量sequences来表示4个序列，每个序列长度为10。然后初始化了序列长度列表lengths。接下来，我们使用序列长度来对输入序列进行排序，并根据排序结果调整输入张量的顺序。最后，我们将排序后的序列和序列长度作为参数传递给pack_padded_sequence()函数，并打印输出结果。

输出结果中，data表示打包后的序列，batch_sizes表示每个时间步的batch大小，sorted_indices表示排序后的序列索引，unsorted_indices表示排序前的序列索引。

使用pack_padded_sequence()函数可以方便地对变长序列进行填充和打包，适用于循环神经网络等需要处理序列输入的模型。