机器学习特征工程

一、预处理

1.1、整体分析探索

• 数据缺失情况

• 数据大小、形状

• 数据是否有重复样本

• 如果是分类任务，则看样本分布情况，看标签是否有缺失

• 根据业务看数据：如有些指标不能为负数，看看有没有负数；有些指标可能严重异常，年龄几百岁，入网时长超过运营商存在的时长，等等

1.2、缺失值

1.2.1、删除

data.dropna(axis=0, thresh=round(len(data.columns) * 0.2, 0), inplace=True)
data.dropna(axis=1, thresh=round(len(data.index) * 0.2, 0), inplace=True)

1.2.2、统计值填充

• 均值：适用连续型字段

• 中位数：适用连续型字段

• 众数：类别型数据

for col in data.columns:
	data[col] = data[col].fillna(data[col].mean())
	data[col] = data[col].fillna(data[col].mode())
	data[col] = data[col].fillna(data[col].median())

1.2.3、特殊值填充

1.2.4、插值填充

1.3、特征转换

1.3.1、字符串类型

• 如果只有两类，那就直接将值映射成 0,1 即可；

• 如果是多类，且具有顺序关系：可以直接进行编号编码。衣服尺寸（大中小），学历（高中，本科，研究生）等

• 如果是多类，但没有顺序关系：则需要先将字符串映射成数字编号，然后进行独热编码（当然也可以直接进行独热编码，先转换成数字编号主要是为了避免汉字出现）

for col in cat_cols:
    col_dum = pd.get_dummies(data[col])
    data.join(col_dum)
    data.drop(col, inplace=True)

• 频率编码：统计每个类别的频率作为数据

• 目标编码：将类别值替换为它们与目标变量的统计相关性（如平均值）。

• 特征交叉：将目标特征与其他特征组合在一起，尝试新特征

• 获取枚举值中出现次数较多的值组成类别，出现次数少的值归类到unknown中，然后进行独热编码。

1.3.2、日期数据

• 计算出所有样本的时间到某一个未来时间之间的数值差距，从而将时间特征转化为连续值。

• 将一个时间特征转化为若干个离散特征：年，月，日，星期几，小时数。这种方法在分析具有明显时间趋势的问题比较好用。

• 根据时间的新旧得到一个权重值。比如商品，最近购买的权重大，很早之前购买的权重小。

• 将日期的年月日拆分成不同的字段、当前日期在一年中的第几天、当前日期在一个月的第几天、当前周在一年中的第几周、当前日期在一周中是第几天等等。

1.3.3、连续特征离散化

1.3.4、文本数据

• 词袋模型：统计词的数量（重点在于词典的构建）

• 词嵌入：word2vec等

• 预训练模型：bert等

1.3.5、图片和视频

• 预训练模型

1.4、异常值

1.5、样本平衡

二、标准化&归一化

2.1、z-score标准化

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
scaler.fit_transform(df)   # 返回的是 array，不是 df

2.2、max-min标准化

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
scaler.fit_transform(df)   # 返回的是 array，不是 df

2.3、L1/L2范数标准化

from sklearn.preprocessing import Normalizer

scaler = Normalizer()
scaler.fit_transform(df)   # 返回的是 array，不是 df

2.4、数据标准化的使用时机

2.5、参考文章

连续特征和离散特征处理

1. 连续特征的处理：归一化 vs. 标准化

• 归一化：将特征缩放到一个固定的范围（通常是 [0, 1]）。常用于特征之间的尺度不一致或数值范围相差较大的情况。

• 标准化：将特征值转换为均值为 0，方差为 1 的标准正态分布。

• K-近邻算法（KNN）：因为 KNN 依赖距离度量，特征的尺度会对结果产生重大影响，因此需要归一化。

• 支持向量机（SVM）：特别是使用 RBF 核的 SVM，对特征的尺度较为敏感。

• 神经网络（例如深度学习）：为了使梯度下降更快收敛，一般会将输入特征归一化。

• 线性回归 和 逻辑回归：标准化可以使梯度下降更快收敛。

• 朴素贝叶斯：标准化数据更适合模型的假设（例如高斯朴素贝叶斯假设数据呈正态分布）。

• 线性判别分析（LDA）：标准化有助于提升模型的稳定性。

• K-means 聚类：标准化后有助于各特征对距离的贡献一致。

• PCA（主成分分析）：标准化数据后各个方向的方差一致，有助于模型更好地找到主成分。

2. 离散特征的处理

• 目标编码（Target Encoding）：将类别特征编码为目标变量的均值，适用于有监督学习，但需注意防止数据泄漏。

• 频率编码（Frequency Encoding）：将类别编码为它们出现的频率，有助于减少稀疏性。

• 嵌入编码（Embeddings）：使用神经网络将高维类别特征映射到低维空间，尤其适用于深度学习模型。

• 哈希编码（Hashing Encoding）：将类别特征哈希到固定大小的空间，可以处理大量类别，但可能存在哈希冲突。

• 树模型（如决策树、随机森林、梯度提升树 XGBoost、LightGBM、CatBoost 等）：这些模型对特征的数值大小不敏感，可以直接处理数字编码的特征，并且对类别之间的顺序无假设。

• 朴素贝叶斯：对数字编码的特征可以接受，因为它们主要关注概率计算。

三、特征变换

3.1、特征衍生

3.1.1、数学函数变换（单一特征）

• 对数变换

• 指数变换

• 平方根变换

3.1.2、衍生统计特征

3.1.2、衍生交互特征

• 趋势值：要求特征之间有时序属性

def trendline(data, order=1):   # order表示是正序还是反序
    index = [i for i in range(len(data),0,-1)]
    coeffs = np.polyfit(index, list(data), order)
    return float(coeffs[0])

• 权重组合：根据不同的权重对多个特征进行加权

3.2、特征降维

四、特征选择

• 第一类过滤法，根据某种指标设定一个阈值，进行筛选特征。
• 方差过滤：方差越大的特征，那么可以认为它是比较有用的。如果方差较小，比如小于1，那么这个特征可能对我们的算法作用没有那么大。最极端的，如果某个特征方差为0，即所有的样本该特征的取值都是一样的，那么它对我们的模型训练没有任何作用，可以直接舍弃。
• 相关系数：分别计算所有训练集中各个特征与输出值之间的相关系数，设定一个阈值，选择相关系数较大的部分特征。主要用于输出连续值的监督学习算法
• 卡方检验：卡方检验可以检验某个特征分布和输出值分布之间的相关性。给定卡方值阈值， 选择卡方值较大的部分特征。
• 互信息：从信息熵的角度分析各个特征和输出值之间的关系评分。互信息值越大，说明该特征和输出值之间的相关性越大，越需要保留。
没有什么思路的 时候，可以优先使用卡方检验和互信息来做特征选择

• 第二类是包装法，根据目标函数，通常是预测效果评分，每次选择部分特征，或者排除部分特征。

• 第三类嵌入法则稍微复杂一点，它先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据权值系数从大到小来选择特征。

4.1、过滤法Filter

4.1.1、方差选择法

# 调包处理
from sklearn.feature_selection import VarianceThreshold
var_m = VarianceThreshold(threshold=0)                       # threshold:设定阈值
var_m.fit_transform(train_data)                              # 返回的是根据阈值选择过后的数据

# 直接计算方差
var_data = train_data_bool.apply(lambda x: x.var(),axis=0)
var_data = pd.DataFrame(var_data,columns=['var'])
var_data

4.1.2、相关系数法

import numpy as np
from scipy.stats import pearsonr                          # Scipy的pearsonr方法能够同时计算相关系数和p-value
from sklearn.feature_selection import SelectKBest

sel_m = SelectKBest(lambda X,Y: array(list(map(lambda x: pearsonr(x,Y),X.T))).T[0],k=69)   # 加一个[0],选择相关系数得分,去掉p-value，不然报错
sel_m.fit_transform(train_data_cont,train_data_tag)       # 返回选择好的数据

• 适合的数据类型：只对线性关系敏感，如果关系是非线性的，即便两个变量具有一一对应的关系，Pearson相关性也可能会接近 0

• 优缺点：

4.1.3、卡方检验

from sklearn.datasets import load_digits
from sklearn.feature_selection import chi2               # 卡方检验
from sklearn.feature_selection import SelectKBest        # 按个数选择器
from sklearn.feature_selection import SelectPercentile   # 按比例选择器

X, y = load_digits(return_X_y=True)
X.shape

X_new = SelectPercentile(chi2, percentile=10).fit_transform(X, y)   # 使用卡方检验选择最好的10%的特征
X_new.shape

4.1.4、互信息

from sklearn.datasets import load_digits
from sklearn.feature_selection import mutual_info_classif      # 互信息，分类问题
from sklearn.feature_selection import mutual_info_regression   # 互信息，回归问题
from sklearn.feature_selection import SelectKBest              # 按个数选择器
from sklearn.feature_selection import SelectPercentile         # 按比例选择器

X, y = load_digits(return_X_y=True)
X.shape

X_new = SelectPercentile(mutual_info_classif, percentile=70).fit_transform(X, y)   # 使用卡方检验选择最好的10%的特征
X_new.shape

4.1、包装法Wrapper

from sklearn.feature_selection import RFE
from sklearn.feature_selection import RFECV   # 含交叉验证
from sklearn.svm import SVR
from sklearn.datasets import make_friedman1

"""
RFECV(estimator, *, step=1, min_features_to_select=1, cv=None, scoring=None, verbose=0, n_jobs=None, importance_getter='auto')
- estimator：监督学习估计器
- step：
	- 大于1：每次迭代要删除的特征个数
	- 小于1：每次迭代要删除的特征比例
- min_features_to_select：最少要选择的特征数量
- cv：交叉验证折数
- scoring：评分函数，详见
- verbose：控制输出的详细程度
"""

X, y = make_friedman1(n_samples=50, n_features=10, random_state=0)
estimator = SVR(kernel="linear")
selector = RFECV(estimator, step=1, cv=5)
selector = selector.fit(X, y)
selector.support_   # 所选特征的掩码，返回一个长度与原字段数相同的布尔值数组，对应值为1，则特征被保留，否则被删除
selector.ranking_   # 特征排序，ranking_[i] 对应第i个特征的排名位置

4.3、嵌入法Embedded

from sklearn.feature_selection import SelectFromModel
from sklearn.linear_model import LogisticRegression

"""
SelectFromModel(estimator, *, threshold=None, prefit=False, norm_order=1, max_features=None, importance_getter='auto')
- estimato：估计器
- threshold：选择特征的阈值
- max_features：要选择的最大特征数
"""

from sklearn.feature_selection import SelectFromModel
from sklearn.linear_model import LogisticRegression
X = [[ 0.87, -1.34,  0.31 ],
     [-2.79, -0.02, -0.85 ],
     [-1.34, -0.48, -2.55 ],
     [ 1.92,  1.48,  0.65 ]]
y = [0, 1, 0, 1]
selector = SelectFromModel(estimator=LogisticRegression()).fit(X, y)

selector.estimator_.coef_
selector.threshold_
selector.get_support()
selector.transform(X)

4.4、推荐阅读