使用RandomNormal()初始化器设置神经网络的初始权重分布

在神经网络中，初始化权重是一个重要的步骤，它可以影响到网络的收敛速度和性能。通常情况下，我们希望将权重初始化为接近零的随机值，以避免梯度消失或梯度爆炸问题。一种常用的初始化器是RandomNormal()，它可以根据正态分布生成接近零的随机值来作为初始权重。

在TensorFlow中，可以使用tf.random.normal()函数来实现RandomNormal()初始化器。该函数具有以下参数：

tf.random.normal(shape, mean=0.0, stddev=1.0, dtype=tf.dtypes.float32, seed=None, name=None)

- shape：表示要生成随机值的形状，可以是一个整数或一个整数列表。

- mean：表示正态分布的均值，默认为0.0。

- stddev：表示正态分布的标准差，默认为1.0。

- dtype：表示生成随机值的数据类型，默认为tf.dtypes.float32。

- seed：表示随机种子，用于复现随机生成的结果。

- name：表示操作的名称。

下面是一个使用RandomNormal()初始化器设置神经网络初始权重分布的示例代码：

import tensorflow as tf

# 神经网络模型
class MyModel(tf.keras.Model):
    def __init__(self):
        super(MyModel, self).__init__()
        self.dense1 = tf.keras.layers.Dense(64, activation='relu', kernel_initializer=tf.random.normal)
        self.dense2 = tf.keras.layers.Dense(10, activation='softmax', kernel_initializer=tf.random.normal)

    def call(self, inputs):
        x = self.dense1(inputs)
        return self.dense2(x)

# 加载数据
(x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data()
x_train = x_train / 255.0
x_test = x_test / 255.0

# 创建模型实例
model = MyModel()

# 编译模型
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

# 训练模型
model.fit(x_train, y_train, epochs=10, validation_data=(x_test, y_test))

在上述代码中，我们定义了一个简单的神经网络模型MyModel，其中包含两个全连接层。我们使用tf.random.normal初始化器将这两个全连接层的权重初始化为接近零的随机值。然后，我们加载数据集并将输入归一化到0到1的范围内。接下来，我们使用Adam优化器和稀疏交叉熵损失函数编译模型，并使用训练集进行训练。最后，我们在测试集上进行验证。

通过使用RandomNormal()初始化器，我们可以为神经网络的权重创建接近零的随机值，从而提高网络的训练效果和性能。在实际应用中，我们还可以根据具体的需求调整均值和标准差来控制权重的初始化范围。