使用pgen2.token模块实现Python语法高亮显示功能

Python语法高亮显示是代码编辑器和IDE中常见的功能之一，它可以帮助开发者更容易地阅读和理解源代码。在Python中，可以使用pgen2.token模块来实现语法高亮显示的功能。

pgen2.token模块是Python的一个内置模块，用于处理和操作Python源代码中的标记(token)，标记是源代码的最小单位，例如关键字、操作符、标识符等。pgen2.token模块提供了一系列常量，表示Python语法中的不同标记类型。

下面是一个简单的使用pgen2.token模块实现Python语法高亮显示功能的例子：

import pgen2.token as token
import tokenize

def highlight_code(code):
    # 将源代码转换为标记流
    tokens = tokenize.tokenize(code.splitlines(True).__iter__)
    
    # 定义用于存储高亮代码的变量
    highlighted_code = ""
    
    for toknum, tokval, _, _, _ in tokens:
        # 若标记为关键字或标识符，则使用特定的格式进行高亮
        if toknum in [token.NAME, token.KEYWORD]:
            highlighted_code += '\033[1;32m{}\033[0m'.format(tokval)  # 绿色
        # 若标记为操作符，则使用特定的格式进行高亮
        elif toknum == token.OP:
            highlighted_code += '\033[1;35m{}\033[0m'.format(tokval)  # 紫色
        else:
            highlighted_code += tokval  # 其他标记直接输出
            
    return highlighted_code

# 示例代码
code = """
def calculate_sum(num1, num2):
    return num1 + num2

result = calculate_sum(3, 5)
print(result)
"""

highlighted_code = highlight_code(code)
print(highlighted_code)

以上代码中，highlight_code函数接受一个源代码字符串，通过tokenize.tokenize函数将源代码转换为标记流。然后，对于每个标记，根据其类型进行判断，使用不同的格式进行高亮显示。其中，关键字和标识符高亮显示为绿色，操作符高亮显示为紫色，其他标记直接输出。最后，将高亮的代码字符串返回。

在上述示例中，被高亮显示的代码是通过在标记字符串的前后添加特定的ANSI转义码来实现的。这里使用的ANSI转义码\033[1;32m和\033[1;35m分别表示设置前景色为绿色和紫色，\033[0m表示恢复终端默认样式。

运行上述代码，可以看到输出的示例代码经过高亮显示之后，关键字和标识符变为绿色，操作符变为紫色，其他部分保持不变。

使用pgen2.token模块，你可以实现自定义的语法高亮显示方案，根据自己的需求为特定类型的标记设置合适的样式。可以根据标记的类型，选择不同的前景色、背景色、加粗等样式。通过编写相应的代码，将高亮显示的代码输出到控制台、HTML页面或其他地方，从而提供更好的代码阅读体验。