使用生成器函数处理流式数据：降低内存占用和提高处理速度

生成器函数是一种特殊的函数，它返回一个生成器对象，这个对象可以迭代地生成数据。使用生成器函数处理流式数据的好处是可以降低内存占用和提高处理速度，特别适用于处理大量数据的场景。

下面我将通过一个例子来演示如何使用生成器函数处理流式数据。

假设我们有一个非常大的文件，每行包含一个数字，我们需要计算这些数字的平均数。

首先，我们可以创建一个生成器函数来读取文件的每一行并返回数字。代码如下：

def read_file(file_path):
    with open(file_path, 'r') as file:
        for line in file:
            yield int(line)

上述代码中，read_file函数使用yield关键字返回每一行的数字，而不是一次性返回所有的数字。这样做可以避免一次性加载整个文件到内存中，而是逐行读取，只保存当前行的数据，大大降低了内存占用。

接下来，我们可以创建一个计算平均值的生成器函数。代码如下：

def compute_average(file_path):
    numbers = read_file(file_path)
    sum = 0
    count = 0
    for num in numbers:
        sum += num
        count += 1
        yield sum / count

上述代码中，compute_average函数首先通过调用read_file函数获取生成器对象。接着，它使用一个循环迭代生成器对象，计算平均值，并使用yield关键字返回每一次的结果。

最后，我们可以使用生成器函数来打印平均值的变化。代码如下：

def print_average(file_path):
    averages = compute_average(file_path)
    for average in averages:
        print(average)

上述代码中，print_average函数通过调用compute_average函数获取生成器对象，并使用一个循环迭代生成器对象，打印每一次的平均值。

使用以上的代码，我们可以处理非常大的文件，并计算平均值，而不会占用过多的内存。代码的内存占用仅仅是一行数据的大小，而不是整个文件的大小。同时，生成器函数的迭代速度非常快，因为它每次只计算一个数字，而不是一次性计算所有数字。

这只是生成器函数的一个简单应用例子，实际上，生成器函数可以应用于各种处理流式数据的场景，例如网络数据流、大规模数据集等。通过使用生成器函数，我们可以大大提高处理效率，并且不会占用太多的内存。