TensorFlow.keras中的initializers()函数探索

在TensorFlow的Keras中，initializers模块提供了各种初始化权重的方法。它包括以下几种初始化器：zeros，ones，constant，random_normal，random_uniform，truncated_normal，glorot_normal，glorot_uniform，he_normal，he_uniform等。

initializers是一个函数，用于初始化层权重的方法。下面是一些常用的初始化器：

1. zeros：将权重张量初始化为全零张量。例如：

from tensorflow.keras import initializers

init = initializers.zeros()
w = init(shape=(2, 2))  # 输出全零矩阵
print(w)  

2. ones：将权重张量初始化为全1的张量。例如：

init = initializers.ones()
w = init(shape=(2, 2))  # 输出全1矩阵
print(w)

3. constant：根据指定的常量值初始化权重矩阵。例如：

init = initializers.constant(value=5)
w = init(shape=(2, 2))  # 输出元素全为5的矩阵
print(w)

4. random_normal：从正态分布中提取随机数来初始化权重矩阵。例如：

init = initializers.random_normal(mean=0.0, stddev=0.05)
w = init(shape=(2, 2))  # 输出均值为0，标准差为0.05的随机矩阵
print(w)

5. random_uniform：从均匀分布中提取随机数来初始化权重矩阵。例如：

init = initializers.random_uniform(minval=0, maxval=1)
w = init(shape=(2, 2))  # 输出0到1之间的随机矩阵
print(w)

6. truncated_normal：从截断的正态分布中提取随机数来初始化权重矩阵。例如：

init = initializers.truncated_normal(mean=0.0, stddev=0.05)
w = init(shape=(2, 2))  # 输出均值为0，标准差为0.05的截断正态分布随机矩阵
print(w)

7. glorot_normal：根据Glorot正态分布初始化权重矩阵。例如：

init = initializers.glorot_normal(seed=None)
w = init(shape=(2, 2))  # 输出均值为0，标准差为sqrt(2 / (fan_in + fan_out))的随机矩阵
print(w)

8. glorot_uniform：根据Glorot均匀分布初始化权重矩阵。例如：

init = initializers.glorot_uniform(seed=None)
w = init(shape=(2, 2))  # 输出均匀分布的随机矩阵
print(w)

9. he_normal：根据He正态分布初始化权重矩阵。例如：

init = initializers.he_normal(seed=None)
w = init(shape=(2, 2))  # 输出均值为0，标准差为sqrt(2 / fan_in)的随机矩阵
print(w)

10. he_uniform：根据He均匀分布初始化权重矩阵。例如：

init = initializers.he_uniform(seed=None)
w = init(shape=(2, 2))  # 输出均匀分布的随机矩阵
print(w)

以上是一些常用的初始化器示例，它们可以在定义层的时候使用。例如，在定义一个全连接层时，可以指定初始化器来初始化权重矩阵。例如：

from tensorflow.keras import layers, initializers

model = tf.keras.Sequential()
model.add(layers.Dense(64, activation='relu', kernel_initializer=initializers.glorot_normal()))

在这个例子中，我们使用了glorot_normal初始化器来初始化Dense层的权重矩阵。当模型被构建时，权重将使用该初始化器来设置初始值。

总结一下，initializers模块提供了不同的初始化权重矩阵的方法，可以根据自己的需求选择合适的初始化器来初始化模型中的权重矩阵。这样可以帮助模型更好地收敛和提高模型的性能。