使用gym.spacesMultiDiscrete()实现多元离散动作空间

gym.spaces.MultiDiscrete()是OpenAI Gym库中的一个动作空间类，用于定义多元离散动作空间。该类可以接受一个shape参数，用于指定每个离散维度的动作空间大小。

使用gym.spaces.MultiDiscrete()，我们可以创建一个多元离散动作空间，用于定义智能体在某个环境中可以采取的不同行动。下面是一个使用gym.spaces.MultiDiscrete()的简单例子：

import gym

# 创建一个3维的多元离散动作空间
action_space = gym.spaces.MultiDiscrete([3, 5, 2])

# 打印动作空间的维度
print('Action space dimension:', action_space.shape)

# 随机采样一个动作
action = action_space.sample()
print('Random action:', action)

# 打印每个维度的取值范围
for i in range(action_space.shape[0]):
    print('Dimension', i, 'range:', action_space.high[i]+1)

# 指定一个动作
action = [1, 3, 0]

# 判断动作是否合法
if action_space.contains(action):
    print('Action is valid')
else:
    print('Action is invalid')

在上面的例子中，我们首先创建了一个3维的多元离散动作空间，其中每个维度的取值范围分别为3、5和2。我们可以使用sample()函数随机采样一个动作，也可以自定义一个动作。我们还可以使用contains()函数判断一个动作是否在动作空间范围内。

输出结果可能如下所示：

Action space dimension: (3,)
Random action: [1 4 1]
Dimension 0 range: 4
Dimension 1 range: 6
Dimension 2 range: 3
Action is valid

在这个例子中，多元离散动作空间的维度为(3,)，即有3个维度。我们随机采样了一个动作[1, 4, 1]，并检查了每个维度的取值范围。我们还指定了一个动作[1, 3, 0]，并检查了它是否合法，结果显示该动作是合法的。

使用gym.spaces.MultiDiscrete()创建多元离散动作空间可以帮助我们定义智能体可以采取的不同行动，进而实现更复杂的智能体行为。