使用Python清洗和转换CSV数据的技巧

Python是一种强大的编程语言，常用于数据清洗和转换。在本文中，将介绍一些常用的Python技巧和示例来清洗和转换CSV数据。

1. 读取CSV文件:

使用Python内置的csv模块，可以很容易地读取CSV文件并将其转换为列表。以下是读取CSV文件的示例代码：

import csv

with open('data.csv', 'r') as file:
    csv_reader = csv.reader(file)
    data = list(csv_reader)

上述代码将打开名为"data.csv"的文件，并使用csv.reader()函数将文件内容读取为列表，然后将其存储在名为"data"的变量中。

2. 写入CSV文件:

使用Python的csv模块，我们可以将数据写入CSV文件。以下是将数据写入CSV文件的示例代码：

import csv

data = [
    ['Name', 'Age', 'Location'],
    ['John', '25', 'USA'],
    ['Alice', '30', 'UK'],
    ['Bob', '20', 'Canada']
]

with open('data.csv', 'w', newline='') as file:
    csv_writer = csv.writer(file)
    csv_writer.writerows(data)

上述代码将用data列表中的内容创建一个CSV文件，其中每个子列表都代表一行数据。

3. 清除空行:

有时候CSV文件中会有一些空行，那么可以使用Python来清除这些空行。以下是清除空行的示例代码：

import csv

with open('data.csv', 'r') as file:
    csv_reader = csv.reader(file)
    data = list(filter(None, csv_reader))

上述代码使用filter()函数和None参数来过滤掉空行。

4. 删除重复行:

如果CSV文件中有重复的行，可以使用Python来删除这些重复行。以下是删除重复行的示例代码：

import csv

with open('data.csv', 'r') as file:
    csv_reader = csv.reader(file)
    data = list(csv_reader)

data = [list(x) for x in set(tuple(x) for x in data)]

上述代码将使用set()函数和tuple()函数来去除重复的行，并转换为列表。

5. 过滤行:

有时候我们只需要保留满足特定条件的行，可以使用Python来过滤CSV文件中的行。以下是过滤行的示例代码：

import csv

with open('data.csv', 'r') as file:
    csv_reader = csv.reader(file)
    data = list(csv_reader)

filtered_data = [row for row in data if row[1] == '25']

上述代码将过滤出所有第二列等于'25'的行，并将其存储在filtered_data变量中。

6. 数据转换:

有时候我们需要将CSV文件中的数据进行转换，可以使用Python来完成这个任务。以下是一个数据转换的示例代码：

import csv

with open('data.csv', 'r') as file:
    csv_reader = csv.reader(file)
    data = list(csv_reader)

for row in data:
    row[1] = int(row[1])
    row[2] = float(row[2])

# 保存转换后的数据到新的CSV文件
with open('new_data.csv', 'w', newline='') as file:
    csv_writer = csv.writer(file)
    csv_writer.writerows(data)

上述代码将第二列转换为整数，第三列转换为浮点数，然后将转换后的数据保存到名为"new_data.csv"的新文件中。

这些是一些常用的Python技巧和示例，可用于清洗和转换CSV数据。根据具体的需求，可以使用这些技巧来处理和转换不同类型的CSV数据。Python的csv模块提供了丰富的功能，可以满足大多数数据清洗和转换的需求。