如何使用when()函数进行数据离散化处理

在Python中，可以使用pandas库中的when()函数对数据进行离散化处理。when()函数可以根据条件将数值型数据划分为指定的离散区间，即根据设定的条件来赋予数据相应的离散化标签。下面将详细介绍使用when()函数进行数据离散化处理的方法，并给出一个示例。

首先，需要安装并导入pandas库，如果没有安装可以使用以下命令进行安装：

pip install pandas

导入pandas库：

import pandas as pd

接下来，需要准备一个包含数值型数据的DataFrame，用于示例处理。假设有一个存储了学生成绩的DataFrame，包含了学生的姓名和数学成绩，如下所示：

data = {'姓名': ['张三', '李四', '王五', '赵六', '钱七'],
        '数学成绩': [89, 67, 95, 71, 82]}
df = pd.DataFrame(data)

然后，可以使用when()函数对数学成绩进行离散化处理，假设我们将成绩划分为优秀、良好、及格和不及格四个等级，对应的分数区间为[90, 100]、[80, 90)、[60, 80)和[0, 60)。可以使用以下代码对数学成绩进行离散化处理：

from pyspark.sql.functions import when

df = df.withColumn('成绩等级', when(df['数学成绩'] >= 90, '优秀')
                        .when((df['数学成绩'] >= 80) & (df['数学成绩'] < 90), '良好')
                        .when((df['数学成绩'] >= 60) & (df['数学成绩'] < 80), '及格')
                        .otherwise('不及格'))

在上述代码中，withColumn()函数用于在原DataFrame基础上增加一个名为'成绩等级'的新列。when()函数用于对数学成绩进行判断，如果满足条件，则赋予相应的离散化标签。在这个例子中，使用了四个when()函数来判断成绩等级，分别对应"优秀"、"良好"、"及格"和"不及格"四个等级，分数的划分在相应的判断条件中设置。当不满足任何一个条件时，使用otherwise()函数指定默认值为"不及格"。需要注意的是，使用与运算符“&”来判断条件的同时，要使用圆括号将判断条件括起来。

最后，可以使用show()函数查看离散化处理后的数据：

df.show()

运行结果如下：

+---+------+------+
|姓名 |数学成绩|成绩等级|
+---+------+------+
|张三 |89    |良好  |
|李四 |67    |及格  |
|王五 |95    |优秀  |
|赵六 |71    |及格  |
|钱七 |82    |良好  |
+---+------+------+

在结果中，可以看到新增的'成绩等级'列已经包含了相应的离散化标签。

通过以上的示例，我们可以看到，使用when()函数可以很便捷地对数据进行离散化处理。只需要根据自己的实际情况，设置条件和相应的离散化标签，即可对数据进行灵活的离散化处理。