查询语句冒号的处理

Question

老师，这里是不是缺少对于查询结束的冒号的识别呢，我看完整版本的代码中也没有对应的处理，是不是这个
;仅仅语言的一个区分，实际没有作用呢，从逻辑上来说，可以把它加到ignore里面么?

def test_sql_colon():
    lexer = SQLLexer()
    toks = list(lexer.tokenize('select a, b from t1;'))
    types = [t.type for t in toks]
    vals = [t.value for t in toks]
    assert types == ['SELECT', 'ID', 'COMMA', 'ID', 'FROM', 'ID']
    assert vals == ['select', 'a', ',', 'b', 'from', 't1']

直接不能运行

Answer 1

Wotchin 2024-02-17 14:07:02

你说得对，冒号不是关键字，所以没有在这里面定义，他起到分隔符的作用。在预处理的时候会被splite掉

Answer 2

提问者 慕前端0385698 2024-02-15 11:39:27

我现在是直接将他放到ignore里面，暂时没有遇到问题