在日常的机器学习开发过程中，基本的机器学习过程如下图所示。本文将讲解经过特征提取之后的数据预处理部分。

 

 

简介

---

通过特征提取，我们能得到未经处理的特征，这时的特征可能有以下问题：

• 不属于同一量纲：即特征的规格不一样，不能够放在一起比较。无量纲化可以解决这一问题。
• 信息冗余：对于某些定量特征，其包含的有效信息为区间划分，例如学习成绩，假若只关心“及格”或不“及格”，那么需要将定量的考分，转换成“1”和“0”表示及格和未及格。二值化可以解决这一问题。
• 定性特征不能直接使用：某些机器学习算法和模型只能接受定量特征的输入，那么需要将定性特征转换为定量特征。最简单的方式是为每一种定性值指定一个定量值，但是这种方式过于灵活，增加了调参的工作。通常使用哑编码的方式将定性特征转换为定量特征。 假设有N种定性值，则将这一个特征扩展为N种特征，当原始特征值为第i种定性值时，第i个扩展特征赋值为1，其他扩展特征赋值为0。哑编码的方式相比直接指定的方式，不用增加调参的工作，对于线性模型来说，使用哑编码后的特征可达到非线性的效果。
• 存在缺失值：缺失值需要补充。
• 信息利用率低：不同的机器学习算法和模型对数据中信息的利用是不同的，之前提到在线性模型中，使用对定性特征哑编码可以达到非线性的效果。类似地，对定量变量多项式化，或者进行其他的转换，都能达到非线性的效果。

下面我们使用sklearn中的preproccessing库来进行数据预处理，以覆盖上面遇到的问题。

 

数据集准备

首先，加载IRIS数据集，代码如下所示。

from sklearn.datasets import load_iris # 导入IRIS数据集 
import numpy as np
iris = load_iris()  # 特征矩阵 
print(iris.data.shape) # (150, 4)
print(iris.data[:1,:]) # [[5.1 3.5 1.4 0.2]]
print(np.unique(iris.target)) # [0 1 2]
复制代码

 

无量纲化

---

无量纲化是使不同规格的数据转换到同一规格，或不同分布的数据转换到某个特定分布。

在以梯度和矩阵为核心的算法中，譬如逻辑回归，支持向量机，神经网络，无量纲化可以加快求解速度；而在距离类模型，譬如K近邻，K-Means聚类中，无量纲化可以帮我们提升模型精度，避免某一个取值范围特别大的特征对距离计算造成影响。

常见的无量纲化方法有标准化、区间缩放法。

• 标准化的前提是特征值服从正态分布，标准化后，其转换成标准正态分布。
• 区间缩放法利用了边界值信息，将特征的取值区间缩放到某个特点的范围，例如[0, 1]等。

量纲与无量纲的区别

量纲：物理量的大小与单位有关。比如，1块钱和1分钱，就是两个不同的量纲，因为度量的单位不同了。
无量纲：物理量大小与单位无关。比如，角度、增益、两个长度之比等。

 

标准化-零均值标准化（zero-mean normalization）

标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下。

简而言之，标准化将连续性变量转变为均值0、标准差1的变量，标准化需要计算特征的均值和标准差，其公式表达为：

x′=x−x‾σ，其中x‾是均值，σ是标准差{x}'=\frac{x-\overline{x}}{\sigma} ，其中\overline{x}是均值，{\sigma}是标准差x′=σx−x，其中x是均值，σ是标准差

常用于基于正态分布的算法，比如回归。

使用preproccessing库的StandardScaler（基于特征矩阵的列，将属性值转换至服从正态分布）类对数据进行标准化，代码如下：

from sklearn.preprocessing import StandardScaler
# 标准化，返回值为标准化后的数据
standard = StandardScaler().fit_transform(iris.data)
print(standard[:1,:]) # [[-0.90068117,  1.01900435, -1.34022653, -1.3154443 ]]
复制代码

 

归一化-区间缩放法

区间缩放法的思路有多种，常见的一种为利用两个最值进行缩放，把原始的连续型变量转换为范围在 [a,b] 或者 [0,1] 之间的变量，公式表达为：

x′=x−min(x)max(x)−min(x){x}'=\frac{x-\mathit{min}(x)}{\mathit{max}(x)-\mathit{min}(x)}x′=max(x)−min(x)x−min(x)

区间缩放可以提升模型收敛速度，提升模型精度。

常见用于神经网络。

使用preproccessing库的MinMaxScaler（基于最大最小值，将数据转换到[0,1]区间上的）类对数据进行区间缩放，代码如下：

# 区间缩放，返回值为缩放到[0, 1]区间的数据
from sklearn.preprocessing import MinMaxScaler 
min_max = MinMaxScaler().fit_transform(iris.data)
print(min_max[:1,:]) # [[0.22222222, 0.625     , 0.06779661, 0.04166667]]
复制代码

 

正则化（Normalization）

正则化的过程是将每个样本缩放到单位范数（每个样本的范数为1），正则化的目的在于样本向量在点乘运算或其他核函数计算相似性时，拥有统一的标准。例如，对于两个TF-IDF向量的l2-norm进行点积，就可以得到这两个向量的余弦相似性。

常见用于文本分类和聚类。

Normalization主要思想是对每个样本计算其p-范数，然后对该样本中每个元素除以该范数，这样处理的结果是使得每个处理后样本的p-范数（l1-norm, l2-norm）等于1。即Normalization的过程是将每个样本缩放到单位范数(结合单位向量进行理解，p=2p=2p=2时为单位向量，其他为单位范数)

LpL_pLp范数的计算公式如下所示：

∣∣X∣∣p=(∣x1∣p+∣x2∣p+...+∣xn∣p)1p||X||_p = (|x_1|^p+|x_2|^p+...+|x_n|^p)^{\frac {1}{p}}∣∣X∣∣p=(∣x1∣p+∣x2∣p+...+∣xn∣p)p1

可见，L2L2L2范数即为欧式距离，则规则为L2L2L2的Normalization公式如下所示：

x′=x∑jmxj2{x}' = \frac {x} {\sqrt{\sum_j^mx_j^2}}x′=∑jmxj2x

可知，其将每行(条)数据转为相应的“单位向量”。

使用preproccessing库的Normalizer（基于矩阵的行，将样本向量转换为单位向量）类对数据进行正则化，其代码如下：

from sklearn.preprocessing import Normalizer 
norm = Normalizer(norm='l2').fit_transform(iris.data)
print(norm[:1,:]) # [[0.22222222, 0.625     , 0.06779661, 0.04166667]
复制代码

 

参数说明：

norm：可以为l1、l2或max，默认为l2。

• 若为l1时，样本各个特征值除以各个特征值的绝对值之和
• 若为l2时，样本各个特征值除以各个特征值的平方之和
• 若为max时，样本各个特征值除以样本中特征值最大的值

标准化、归一化与正则化的区别

• 标准化处理：把特征变量转换成均值为0，方差为1的标准正态分布
• 归一化处理：把特征变量转换为最小值为0，最大值为1的区间
• 正则化处理：将每个样本在所有变量上的值缩放到单位范数（即每个样本在所有变量上的值的范数为1）

定性特征和定量特征的区别

一般定性都会有相关的描述词，定量的描述都是可以用数字来量化处理。举个例子：

• 定性：博主很胖、博主很瘦
• 定量：博主有80kg、博主有60kg

 

对定量特征二值化

---

定量特征二值化的核心在于设定一个阈值，大于阈值的赋值为1，小于等于阈值的赋值为0，公式表达如下：

x′=={1，x>threshold0，x≤threshold{x}' == \begin{cases} 1 & ， x > {threshold} \\ 0 & ，{x} \leq {threshold} \end{cases}x′=={10，x>threshold，x≤threshold

使用preproccessing库的Binarizer类对数据进行二值化，代码如下：

from sklearn.preprocessing import Binarizer
 
# 二值化，阈值设置为3，返回值为二值化后的数据
binary = Binarizer(threshold=3).fit_transform(iris.data)
print(binary[:1,:]) # [[1., 1., 0., 0.]]
复制代码