RolloutStorage()：对强化学习训练数据进行高效存储与访问

RolloutStorage是一种用于存储和访问强化学习训练数据的高效方法。在强化学习中，我们通常需要存储大量的训练样本，以便于用于后续的训练过程。RolloutStorage提供了一个有效的方式来管理和访问这些数据，以便于加快训练速度。

RolloutStorage的使用方式非常简单，以下是一个示例：

storage = RolloutStorage(batch_size=32, num_steps=10, obs_shape=(4,))

在这个例子中，我们创建了一个RolloutStorage对象，并指定了批量大小为32，步长为10，观测空间形状为(4,)。简单来说，这个例子表示我们要存储32个训练样本，每个样本包含10个时间步的观测数据，每个观测数据的形状为(4,)。

接下来，我们可以使用add方法将样本添加到存储中：

obs = np.array([0.1, 0.2, 0.3, 0.4])
action = np.array([0])
reward = np.array([1.0])
mask = np.array([1.0])

storage.add(obs, action, reward, mask)

在这个例子中，我们添加了一个样本，其中obs为观测数据，action为动作数据，reward为奖励数据，mask为掩码数据。掩码数据通常被用于标记一个样本是否终止。

我们可以重复调用add方法，以添加更多的样本。当存储满时，新的样本会将旧样本替换出队列。

当我们需要取出样本进行训练时，可以使用get方法：

obs, action, reward, mask = storage.get()

这里的obs、action、reward、mask分别表示获取到的观测数据、动作数据、奖励数据和掩码数据。这些数据是存储在RolloutStorage中的一批样本。

当训练过程完毕，我们可以使用reset方法来清空存储：

storage.reset()

这样，我们就可以重新开始新一轮的训练。

总结来说，RolloutStorage提供了一种高效存储和访问强化学习训练数据的方法。它能够有效地管理大量的训练样本，并提供了方便的接口用于添加、获取和清空样本。通过使用RolloutStorage，我们可以加快强化学习训练的速度，提高训练效果。