tensorflow.keras.initializers常用的初始化方法有哪些

在TensorFlow中，Keras提供了多种初始化方法来初始化神经网络的权重和偏置。以下是TensorFlow.keras.initializers中常用的一些初始化方法，并附带使用例子。

1. RandomNormal:

该初始化方法根据高斯分布随机初始化权重张量。

   initializer = tf.keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=42)
   weights = tf.Variable(initializer(shape=(3, 3)))
   

2. GlorotUniform:

该初始化方法是一种 Xavier/Glorot 初始化方法，根据均匀分布随机初始化权重张量。

   initializer = tf.keras.initializers.GlorotUniform(seed=42)
   weights = tf.Variable(initializer(shape=(3, 3)))
   

3. Zeros:

该初始化方法将权重张量初始化为全零。

   initializer = tf.keras.initializers.Zeros()
   weights = tf.Variable(initializer(shape=(3, 3)))
   

4. Ones:

该初始化方法将权重张量初始化为全一。

   initializer = tf.keras.initializers.Ones()
   weights = tf.Variable(initializer(shape=(3, 3)))
   

5. Identity:

该初始化方法将权重张量初始化为单位矩阵。

   initializer = tf.keras.initializers.Identity()
   weights = tf.Variable(initializer(shape=(3, 3)))
   

6. Constant:

该初始化方法将权重张量初始化为常数。

   initializer = tf.keras.initializers.Constant(value=10)
   weights = tf.Variable(initializer(shape=(3, 3)))
   

7. RandomUniform:

该初始化方法根据均匀分布随机初始化权重张量。

   initializer = tf.keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=42)
   weights = tf.Variable(initializer(shape=(3, 3)))
   

8. TruncatedNormal:

该初始化方法根据截断的高斯分布随机初始化权重张量。

   initializer = tf.keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=42)
   weights = tf.Variable(initializer(shape=(3, 3)))
   

9. Orthogonal:

该初始化方法将权重张量初始化为正交矩阵。

   initializer = tf.keras.initializers.Orthogonal()
   weights = tf.Variable(initializer(shape=(3, 3)))
   

10. VarianceScaling:

该初始化方法根据给定的标准差和缩放因子随机初始化权重张量。

    initializer = tf.keras.initializers.VarianceScaling(scale=2.0, mode='fan_in', distribution='normal', seed=42)
    weights = tf.Variable(initializer(shape=(3, 3)))
    

以上是TensorFlow.keras.initializers中常用的一些初始化方法，每个初始化方法都可以根据具体需求进行参数配置，以生成合适的初始化权重。