数据预处理-缺失值

~ 在数据预处理阶段，处理的主要内容包括缺失值、异常值和重复值。数据清洗的目标是通过丢弃、填充、替换、去重等操作，去除异常数据、纠正错误以及补充缺失数据，以提高数据质量。
不适用丢弃方法的情况包括：当数据集中缺失值的比例较高，例如超过10%，删除这些含有缺失值的记录可能会导致丢失大量有用信息。另外，当缺失值在整个数据集中呈现出明显的分布规律或特征时，例如带有缺失值的数据记录的目标标签主要集中在某一类或几类，删除这些记录可能会导致模型过拟合或分类不准确。
处理缺失值的方法包括：
1. 统计学法：使用均值、加权均值、中位数等统计方法来补充缺失值；对于分类数据，使用出现次数最多的类别（众数）来补充。
2. 模型法：通常情况下，我们会基于其他已知字段来预测缺失的字段，将其作为目标变量进行建模，以获得最可能的补全值。
3. 专家补全：依据领域专家的知识和经验来补充缺失值。
4. 随机法、特殊值法、多重填补等：通过随机生成、设置特殊值或多重填补的方式来处理缺失值。
例如，将性别这一分类变量转换为数值变量，可以将其转换为：性别 男（值域1，0）、性别 女（值域1，0）、性别 未知（值域1，0），这样就将一个分类变量转换为三个数值变量。
常见的能够自动处理缺失值的模型包括：KNN、决策树和随机森林、神经网络和朴素贝叶斯、DBSCAN等。这些模型对缺失值的处理方式不同：
- KNN算法忽略缺失值，不参与距离计算。
- 决策树将缺失值作为一种分布状态，参与建模过程。
- DBSCAN算法不基于距离计算，因此缺失值本身的影响被消除。
处理缺失值的步骤是：首先通过一定的方法识别出缺失值，然后分析缺失值在整个样本中的分布占比以及是否具有显著的无规律分布特征，接着考虑所选模型是否能够处理缺失值，最后决定采用哪种方法来处理缺失值。

---

数据预处理-缺失值视频