数据预处理的四个步骤分别是数据清洗、数据集成、数据变换和数据归约；而数据的预处理是指对所收集数据进行分类或分组前所做的审核、筛选、排序等必要的处理；数据预处理，一方面是为了提高数据的质量，另一方面也是为了适应所做数据分析的软件或者方法。
数据预处理的流程可以概括为以下步骤：数据采集和收集：收集各种数据资源，包括数据库、文件、API接口、传感器等。数据清洗：去除不完整、不准确、重复或无关的数据，填补缺失值，处理异常值。数据集成：将来自不同数据源的数据进行整合和合并，消除重复和不一致的数据。
数据预处理的五个主要方法：数据清洗、特征选择、特征缩放、数据变换、数据集拆分。数据清洗 数据清洗是处理含有错误、缺失值、异常值或重复数据等问题的数据的过程。常见的清洗操作包括删除重复数据、填补缺失值、校正错误值和处理异常值，以确保数据的完整性和一致性。
数据清理数据清理（data cleaning） 的主要思想是通过填补缺失值、光滑噪声数据，平滑或删除离群点，并解决数据的不一致性来清理数据。如果用户认为数据时脏乱的，他们不太会相信基于这些数据的挖掘结果，即输出的结果是不可靠的。数据集成 数据分析任务多半涉及数据集成。
1、随机下采样： 简单直接，随机剔除部分多数类样本，但可能会丢失信息。 Cluster Centroids： 基于聚类的策略，通过簇中心代表多数类，保留关键信息。 Tomek Links： 通过消除决策边界附近的噪声样本，保持数据的纯净度。 ENN （Error Nearest Neighbors）： 选择支持多数类的近邻，提升模型对少数类的识别能力。
2、在处理高度不平衡的数据集的时候，经常会用户重采样方法，重采样有降采样和过采样两种。降采样是从样本多的类别中删除样本，过采样是向样本少的类别中添加样本。imbalanced-learn（imblearn）是一个处理非平衡数据集的Python包。Tomek Links 是一组从属于不同类别的相邻样本对。
3、抽样方法是指在研究或统计时采取的一种科学的数据收集方法。通过抽样方法，可以减少调查成本和时间投入，同时还能够尽可能地反映出总体情况，从而提高数据的准确性和可靠性。不同的研究对象和研究目的需要选择不同的抽样方法，例如简单随机抽样、分层抽样、整群抽样和系统抽样等。
4、深入理解：观察法通常需要深入理解研究主题和现象，以有效地采集和解释数据。 观察法是一种强大的研究工具，可以提供深刻的理解和客观数据，但需要小心处理主观性和确保方法的一致性。它在深度理解事件和行为方面非常有价值，特别是在需要捕捉自然环境中的数据时。
5、重采样方法（Resampling）包括从原始数据样本中提取重复样本。这是一种统计推断的非参数方法。即，重采样不使用通用分布来逼近地计算概率 p 的值。重采样基于实际数据生成一个独特的采样分布。它使用经验性方法，而不是分析方法，来生成该采样分布。重采样基于数据所有可能结果的无偏样本获取无偏估计。
1、· 判断是否出现某一类别样本数目非常稀少的情况，这时模型很有可能学习不好，类别不均衡是需要解决的，如选择一些数据增强的方法，或者尝试如异常检测的单分类模型。
2、第三种：就是直接采用不均衡数据进行训练，可以在代价函数那里需要增加样本权重，用来平衡这个问题，也就是类别数量少的那一类代价就高，权重就比较大。在评价模型好坏的时候也需要考虑样本权重问题。
3、Tomek Links： 通过消除决策边界附近的噪声样本，保持数据的纯净度。 ENN （Error Nearest Neighbors）： 选择支持多数类的近邻，提升模型对少数类的识别能力。 CNN （Closest Class Neighbors）： 保留1-NN错误分类样本，增加模型的复杂度和多样性。
4、对原数据的权值进行改变 通过改变多数类样本和少数类样本数据在训练时的权重来解决样本不均衡的问题，是指在训练分类器时，为少数类样本赋予更大的权值，为多数类样本赋予较小的权值。例如scikit-learn中的SVM算法，也称作penalized-SVM，可以手动设置权重。
5、所以，为提高模型效果，要解决两个问题：主要应用在目标检测，实际应用范围很广。 分类问题中，常见的loss是cross-entropy：为了解决正负样本不均衡，乘以权重 ：一般根据各类别数据占比，对 进行取值 ，即当class_1占比为30%时， 。
当缺失比例很小时，可直接对缺失记录进行舍弃或进行手工处理。但在实际数据中，往往缺失数据占有相当的比重。这时如果手工处理非常低效，如果舍弃缺失记录，则会丢失大量信息，使不完全观测数据与完全观测数据间产生系统差异，对这样的数据进行分析，你很可能会得出错误的结论。
单元无回答的缺失数据处理方法是个案剔除法、均值替换法、热卡填充法。（一）个案剔除法（Listwise Deletion）。最常见、最简单的处理缺失数据的方法是用个案剔除法（listwisedeletion），也是很多统计软件（如SPSS和SAS）默认的缺失值处理方法。（二）均值替换法（Mean Imputation）。
简单缺失值处理的方法有。：完整数据及分析法、简单均数填补法、回归均数填补法、新类别法和LOCF法。
最常见、最简单的处理缺失数据的方法是用个案剔除法（listwisedeletion），也是很多统计软件（如SPSS和SAS）默认的缺失值处理方法。在这种方法中如果任何一个变量含有缺失数据的话，就把相对应的个案从分析中剔除。如果缺失值所占比例比较小的话，这一方法十分有效。
数据清理中，处理缺失值的方法是估算、整例删除、变量删除、成对删除等等。估算 最简单的办法就是用某个变量的样本均值、中位数或众数代替无效值和缺失值。这种办法简单，但没有充分考虑数据中已有的信息，误差可能较大。
1、在上一步分析的数据中，由于数据量不是很大，分析的结果比较正常，我们使用均值替换法，即用其他个案中该变量观测值的平均数对缺失的数据进行替换。在缺失值分析结果“单变量统计”表中，我们可以得到每个变量的均值，如图所示，已用红框标注。我们用每个变量的均值替换他们各自的缺失值。
2、第一步，打开spss系统，在菜单栏中依次选择“分析”|“缺失值分析”命令，如下图。第二步，进行相应的设置，设置主要包括以下几个方面的设置：1）“定量变量”列表框；2）“分类变量”列表框；3）“个案标签”；4）使用所有变量按钮。
3、最常见、最简单的处理缺失数据的方法是用个案剔除法（listwisedeletion），也是很多统计软件（如SPSS和SAS）默认的缺失值处理方法。在这种方法中如果任何一个变量含有缺失数据的话，就把相对应的个案从分析中剔除。如果缺失值所占比例比较小的话，这一方法十分有效。
