数据规范化(归一化)处理是数據挖掘的一项基础工作不同评价指标往往具有不同的量纲,数值见的差别可能很大不进行处理可能会影响到数据分析的结果。为了消除指标之间的量纲和取值范围差异的影响需要进行标准化处理,将数据按照比例进行缩放使之落入一个特定的区域,便于进行综合分析如将工资收入属性值映射到[-1, 1]或者[0, 1]内。
数据规范化对于基于距离的挖掘算法尤为重要
(1)最小-最大规范化
最小-最大规范化也称为离散標准化,是对原始数据的线性变换将数据值映射到[0, 1]之间。
离差标准化保留了原来数据中存在的关系是消除量纲和数据取值范围影响的朂简单方法。这种处理方法的缺点是若数值集中且某个数值很大则规范化后各值接近于0,并且将会相差不大(如 1, 1.2 1.3, 1.4 1.5, 1.68.4)这组數据。若将来遇到超过目前属性[min, max]取值范围的时候会引起系统报错,需要重新确定min和max
(2)零-均值规范化(z-score标准化)
零-均值规范化也称标准差标准化,经过处理的数据的均值为0标准差为1。转化公式为:
其中为原始数据的均值为原始数据的标准差,是当前用得最多的数据標准化方式标准差分数可以回答这样一个问题:"给定数据距离其均值多少个标准差"的问题,在均值之上的数据会得到一个正的标准化分數反之会得到一个负的标准化分数。
通过移动属性值的小数位数将属性值映射到[-1, 1]之间,移动的小数位数取决于属性值绝对值的最大值转化公式为: