pyspark.sqlDataFrame()中的数据去重方法

在pyspark中，DataFrame是一种表示分布式数据集的抽象概念，它可以被认为是一张表。当我们处理大规模数据时，经常需要对数据进行去重操作。下面是一些常用的DataFrame数据去重方法以及使用例子。

1. dropDuplicates()：将DataFrame中的重复记录去除。它会基于所有列的值进行去重，只保留 次出现的记录。

# 导入必要的库
from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建一个DataFrame
data = [("Alice", 20), ("Bob", 25), ("Alice", 20)]
df = spark.createDataFrame(data, ["name", "age"])

# 去除重复记录
df_without_duplicates = df.dropDuplicates()

# 显示去重后的结果
df_without_duplicates.show()

输出结果：

+-----+---+
| name|age|
+-----+---+
|Alice| 20|
|  Bob| 25|
+-----+---+

2. dropDuplicates(subset)：根据指定的列进行去重。可以使用subset参数指定要根据哪些列进行去重。

# 创建一个DataFrame
data = [("Alice", 20), ("Bob", 25), ("Alice", 20)]
df = spark.createDataFrame(data, ["name", "age"])

# 根据"name"列进行去重
df_without_duplicates = df.dropDuplicates(["name"])

# 显示去重后的结果
df_without_duplicates.show()

输出结果：

+-----+---+
| name|age|
+-----+---+
|Alice| 20|
|  Bob| 25|
+-----+---+

3. distinct()：获取DataFrame中不重复的记录，与dropDuplicates()方法类似，但它返回所有不重复的记录。

# 创建一个DataFrame
data = [("Alice", 20), ("Bob", 25), ("Alice", 20)]
df = spark.createDataFrame(data, ["name", "age"])

# 获取不重复的记录
distinct_records = df.distinct()

# 显示不重复的记录
distinct_records.show()

输出结果：

+-----+---+
| name|age|
+-----+---+
|Alice| 20|
|  Bob| 25|
|Alice| 20|
+-----+---+

在以上例子中，由于DataFrame中的记录都是 的，所以distinct()方法返回了所有记录。

需要注意的是，这些方法并不会改变原始的DataFrame，而是返回一个新的DataFrame。如果需要在原始的DataFrame上进行修改，可以使用df = df.dropDuplicates()的方式。

这些是一些常用的DataFrame数据去重方法及其使用例子。在实际的数据处理任务中，根据具体需求选择适合的方法进行数据去重操作。