归一化处理的目的和意义
归一化处理的目的和意义主要有以下几点:
1. 消除奇异样本数据的不良影响:奇异样本数据是指相对于其他输入样本特别大或特别小的样本矢量,其存在会引起训练时间增大,同时也可能导致无法收敛。当存在奇异样本数据时,在进行训练之前需要对预处理数据进行归一化。
2. 加快梯度下降求最优解的速度:如果特征向量中不同特征的取值相差较大,会导致目标函数变“扁”,这样在进行梯度下降的时候,梯度的方向就会偏离最小值的方向,走很多弯路。而如果进行归一化后,目标函数会呈现比较“圆”,这样训练速度大大加快,少走很多弯路。
3. 提高预测精度:归一化有可能提高预测精度,例如在KNN模型中,归一化后的数据可能更有利于预测。但需要注意的是,没有一种数据标准化的方法,放在每一个问题,放在每一个模型,都能提高算法精度和加速算法的收敛速度。
4. 归纳统计分布性:在统计学中,归一化的具体作用是归纳统一样本的统计分布性。归一化在0~1之间是统计的概率分布,归一化在-1~+1之间是统计的坐标分布。