Python中的词法分析器：利用lex()函数进行变量提取和声明检查

在Python中，可以使用lex()函数来创建一个词法分析器。词法分析器的主要功能是将输入的代码按照一定的规则进行拆分，提取出词汇单元。在编程语言中，词汇单元可以是变量、运算符、关键字等等。lex()函数使用Lex模块来实现词法分析。下面是一个使用lex()函数进行变量提取和声明检查的示例：

import ply.lex as lex

# 定义词法分析规则
tokens = (
    'VARIABLE',
    'DECLARATION',
)

# 定义词法分析规则的正则表达式
t_VARIABLE = r'\w+'

# 忽略空格和制表符
t_ignore = ' \t'

# 定义错误处理函数
def t_error(t):
    print("Illegal character '%s'" % t.value[0])
    t.lexer.skip(1)

# 初始化词法分析器
lexer = lex.lex()

# 输入代码
code = '''
x = 10
y = 5
z = x + y
'''

# 将代码传递给词法分析器进行分词
lexer.input(code)

# 词法分析器的输出结果
for token in lexer:
    print(token.type, token.value)

在上面的代码中，首先导入了ply.lex模块并定义了要提取的词法单元的类型。在本例中，需要提取的词法单元有两种类型：VARIABLE（变量）和DECLARATION（声明）。然后定义了用于匹配变量的正则表达式t_VARIABLE。接下来，定义了一个忽略的字符集，即空格和制表符，以及一个错误处理函数t_error。

然后，初始化词法分析器lexer。在本例中，要进行词法分析的代码存储在变量code中。然后，将code传递给词法分析器进行分词。

最后，通过遍历词法分析器的输出结果，可以获取每个词汇单元的类型和对应的值。

运行上述代码的输出结果将是：

DECLARATION x
VARIABLE 10
DECLARATION y
VARIABLE 5
DECLARATION z
VARIABLE x
VARIABLE +
VARIABLE y

从输出结果可以看出，在词法分析阶段，变量x、y、z与运算符+都被正确地提取出来了。

需要注意的是，此示例仅仅展示了词法分析阶段，它只是在代码中提取各个词汇单元，而不做任何语法上的检查。所以在词法分析后，我们仍然需要进行进一步的语法分析才能得出更有用的信息。