Python中lex()函数的使用方法介绍

lex()函数是Python中用于进行词法分析的函数。它是基于Lex工具生成的分析器，用于将输入的字符流分割成一个个token。

lex()函数的基本用法如下：

1. 定义词法规则（即正则表达式）。

2. 使用lex.lex()函数创建词法分析器对象。

3. 调用词法分析器对象的tokenize()方法，传入待分析的字符流。

4. 循环遍历词法分析器对象，获取生成的token。

下面是一个简单的例子，通过lex()函数分析简单的数学表达式：

import lex

tokens = ['NUMBER', 'PLUS', 'MINUS', 'MULTIPLY', 'DIVIDE']
t_PLUS = r'\+'
t_MINUS = r'-'
t_MULTIPLY = r'\*'
t_DIVIDE = r'/'

def t_NUMBER(t):
    r'\d+'
    t.value = int(t.value)
    return t

t_ignore = ' \t
'

lexer = lex.lex()

expr = "3 + 4 * 2 - 1 / 5"
lexer.input(expr)

for token in lexer:
    print(token)

输出结果为：

LexToken(NUMBER,3,1,0)
LexToken(PLUS,'+',1,2)
LexToken(NUMBER,4,1,4)
LexToken(MULTIPLY,'*',1,6)
LexToken(NUMBER,2,1,8)
LexToken(MINUS,'-',1,10)
LexToken(NUMBER,1,1,12)
LexToken(DIVIDE,'/',1,14)
LexToken(NUMBER,5,1,16)

在这个例子中，我们定义了5个token，分别是NUMBER、PLUS、MINUS、MULTIPLY、DIVIDE。同时我们定义了5个正则表达式，t_PLUS、t_MINUS、t_MULTIPLY、t_DIVIDE用于匹配相应的操作符，t_NUMBER用于匹配数字。t_ignore用于忽略掉空格、制表符和换行符。

我们使用lex.lex()函数创建了词法分析器对象，并通过lexer.input()方法设定了待分析的字符流为表达式3 + 4 * 2 - 1 / 5。然后我们通过循环遍历词法分析器对象，获取生成的token，并打印输出。

在输出结果中，每个token都是一个LexToken对象，包含了token的类型、值、所在行数、列数等信息。对于数字，我们使用了t_NUMBER内部的函数将其转换成整数并存储在token的value属性中。

需要注意的是，当存在多个正则表达式匹配的情况时，词法分析器会选择最长的匹配。在上面的例子中，正则表达式r'\d+'匹配的是连续的数字字符串，而不包括单个数字字符的情况。这样就可以正确地解析表达式中的数字。