前言

总监：阿毛啊，下面咱们负责的项目你负责词法、语法那块的工作吧？

我：emmm........词法语法我倒是大学有学过，编译原理？？？？大学学的就不好，难于上青天啊。。

总监：你觉得有什么问题吗？

我：好的(内心一万个拒绝)，我前期先调研一下吧。

总监：好的这个功能比较难，好好用心啊。画大饼开始。。。。

经过几天的调研分析，antlr是最适合不过的了。下面咱们就一起学习一下吧。

ANTLR 官方网址 http://www.antlr.org/

ANTLR 官方 Github https://github.com/antlr/antlr4

大量语法文件例子 https://github.com/antlr/grammars-v4

Antlr是什么？

Antlr是一款强大的语法分析器生成工具，可用于读取、处理、执行和翻译结构化的文本或二进制文件。它被广泛的应用于学术领域和工业生产实践，是众多语言、工具和框架的基石。Twitter所使用Antlr进行语法分析，每天超过20亿次查询，Hadoop生态环境中的Hive、Pig、数据仓库和分析系统所使用的分析系统都使用到了Antlr。

Antlr是用JAVA写的语言识别工具，它用来声明语言的语法，简称为“元语言”(meta-language)。

Antlr 语法识别一般分为二个阶段：

1.词法分析阶段 （lexical analysis)

对应的分析程序叫做 lexer ，负责将符号（token）分组成符号类（token class or token type）

2.解析阶段

根据词法，构建出一棵分析树（parse tree）或叫语法树（syntax tree）

主要应用场景

1.定制特定领域语言（DSL)

类似hibernate中的HQL，用DSL来定义要执行操作的高层语法，这种语法接近人可理解的语言，由DSL到计算机语言的翻译则通过ANTLR来做，可在ANTLR的结构语言中定义DSL命令具体要执行何种操作。

2.文本解析 可利用ANTLR解析JSON，HTML，XML，EDIFACT，或自定义的报文格式。解析出来的信息需要做什么处理也可以在结构文件中定义。

3.数学计算 加减乘除，线性方程，几何运算，微积分等等

ANTRL 语法

结构

/** Optional javadoc style comment */
grammar Name; 
options {...}
import ... ;

tokens {...}
channels {...} // lexer only
@actionName {...}

rule1 // parser and lexer rules, possibly intermingled
...
ruleN

grammar

声明语法头，类似于java类的定义

grammar  SPL;

options

选项，如语言选项，输出选项，回溯选项，记忆选项等等

options { output=AST;  language=Java; }

options { tokenVocab=MySqlLexer; }

@actionName

动作（Actions）实际上是用目标语言写成的、嵌入到规则中的代码（以花括号包裹）。它们通常直接操作输入的标号，但是他们也可以用来调用相应的外部代码。属性，到目前为止我的理解还不多，感觉像是C++中类里面的成员。常用属性或动作说明：

• @header { package com.zetyun.aiops.antlr.test; }这个动作很有用，即在运行脚本后，生成的类中自动带上这个包路径，避免了手动加入的麻烦。
• @members { int i; public TParser(TokenStream input, int foo) { this(input); i = foo; }}
• @after {System.out.println("after matching rule; before finally");}

rule

这是核心，表示规则，以 “:” 开始， “;” 结束， 多规则以 "|" 分隔。

ID : [a-zA-Z0-9|'_']+ ;    //数字 
STR:''' ('''' | ~('''))* '''; 
WS: [ 	
r]+ -> skip ; // 系统级规则 ，即忽略换行与空格

sqlStatement
    : ddlStatement 
    | dmlStatement     | transactionStatement
    | replicationStatement     | preparedStatement
    | administrationStatement     | utilityStatement
    ;

2.注释

• 单行、多行、javadoc风格
• javadoc风格只能在开头使用

/** 
 * This grammar is an example illustrating the three kinds
 * of comments.
 */
grammar T;

/* a multi-line
  comment
*/

/** This rule matches a declarator for my language */

decl : ID ; // match a variable name

3.标识符

• 符号(Token)名大写开头
• 解析规则(Parser rule)名小写开头,后面可以跟字母、数字、下划线

ID, LPAREN, RIGHT_CURLY // token names
expr, simpleDeclarator, d2, header_file // rule names

g4文件实践例子和解释

grammar Dsl;    //定义规则文件grammar
@header {        //一种action,定义生成的词法语法解析文件的头，当使用java的时候，生成的类需要包名，可以在这里统一定义
 package antlr;
 }

//parsers
sta:(sql ender)*;  //定义sta规则，里面包含了*（0个以上）个 sql ender组合规则
ender:';';  //定义ender规则，是一个分号
sql   //定义sql规则，sql规则有两条分支：select/load
    : SELECT ~(';')* as tableName   //select语法规则，以lexer SELECT开头， 以as tableName 结尾，其中as 和tableName分别是两个parser
    | LOAD format '.' path  as tableName //load语法规则,大致就是 load json.'path' as table1，load语法里面含有format，path， as，tableName四种规则
    ;    //sql规则结束符
as: AS;   //定义as规则，其内容指向AS这个lexer
tableName: identifier;  //tableName 规则，指向identifier规则
format: identifier;   //format规则，也指向identifier规则
path: quotedIdentifier; //path,指向quotedIdentifier 
identifier: IDENTIFIER | quotedIdentifier;  //identifier，指向lexer IDENTIFIER  或者parser quotedIdentifier
quotedIdentifier: BACKQUOTED_IDENTIFIER;  //quotedIdentifier,指向lexer BACKQUOTED_IDENTIFIER

//lexers antlr将某个句子进行分词的时候，分词单元就是如下的lexer
//keywords  定义一些关键字的lexer，忽略大小写
AS: [Aa][Ss];
LOAD: [Ll][Oo][Aa][Dd];
SELECT: [Ss][Ee][Ll][Ee][Cc][Tt];

//base  定义一些基础的lexer,
fragment DIGIT:[0-9];   //匹配数字
fragment LETTER:[a-zA-Z];  //匹配字母
STRING        //匹配带引号的文本
    : ''' ( ~('''|'') | ('' .) )* '''
    | '"' ( ~('"'|'') | ('' .) )* '"'
    ;
IDENTIFIER    //匹配只含有数字字母和下划线的文本
    : (LETTER | DIGIT | '_')+
    ;
BACKQUOTED_IDENTIFIER   //匹配被``包裹的文本
    : '`' ( ~'`' | '``' )* '`'
    ;

//--hiden  定义需要隐藏的文本，指向channel(HIDDEN)就会隐藏。这里的channel可以自定义，到时在后台获取不同的channel的数据进行不同的处理
SIMPLE_COMMENT: '--' ~[r
]* 'r'? '
'? -> channel(HIDDEN);   //忽略行注释
BRACKETED_EMPTY_COMMENT: '/**/' -> channel(HIDDEN);  //忽略多行注释
BRACKETED_COMMENT : '/*' ~[+] .*? '*/' -> channel(HIDDEN) ;  //忽略多行注释
WS: [ r
	]+ -> channel(HIDDEN);  //忽略空白符

// 匹配其他的不能使用上面的lexer进行分词的文本
UNRECOGNIZED: .;

四.遍历模式

1、Listener (观察者模式，通过结点监听，触发处理方法)

• 程序员不需要显示定义遍历语法树的顺序，实现简单
• 缺点，不能显示控制遍历语法树的顺序
• 动作代码与文法产生式解耦，利于文法产生式的重用
• 没有返回值，需要使用map、栈等结构在节点间传值

2、Visitor (访问者模式，主动遍历)

• 程序员可以显示定义遍历语法树的顺序
• 不需要与antlr遍历类ParseTreeWalker一起使用，直接对tree操作
• 动作代码与文法产生式解耦，利于文法产生式的重用
• visitor方法可以直接返回值，返回值的类型必须一致，不需要使用map这种节点间传值方式，效率高

安装Antlr4步骤

下载Java安装

我使用的是Java8，这里就不详细介绍Java的安装了。

1.下载antlr-4.7.2-complete.jar

https://www.antlr.org/download/antlr-4.7.2-complete.jar

Linux下的安装方式：

$ cd /usr/local/lib
$ sudo curl -O https://www.antlr.org/download/antlr-4.7.2-complete.jar

2.新建运行脚本 antlr4.bat 和 grun.bat，放置于任意目录，如 E:/tools/antlr4

antlr4.bat 内容：

java org.antlr.v4.Tool %*

grun.bat 内容：

java org.antlr.v4.gui.TestRig %*

注：antlr依赖于java，如果java环境变量没有设置，请先行设置好。

3.设置antlr4的系统环境变量

Windows环境配置：

E:/tools/antlr4/antlr-4.7.2-complete.jar
E:/tools/antlr4

Windows环境变量配置

Linux及Mac：

// 设置环境变量
$ vim .bash_profile  
$ export CLASSPATH=".:/usr/local/lib/antlr-4.7.2-complete.jar:$CLASSPATH"
$ alias antlr4='java -jar /usr/local/lib/antlr-4.7.2-complete.jar'
$ alias grun='java org.antlr.v4.gui.TestRig'
$ wq
$ source .bash_profile 

是否安装成功测试

$ antlr4
ANTLR Parser Generator  Version 4.7.2
 -o ___              specify output directory where all output is generated
 -lib ___            specify location of grammars, tokens files
 -atn                generate rule augmented transition network diagrams
 -encoding ___       specify grammar file encoding; e.g., euc-jp
 -message-format ___ specify output style for messages in antlr, gnu, vs2005
 -long-messages      show exception details when available for errors and warnings
 -listener           generate parse tree listener (default)
 -no-listener        don't generate parse tree listener
 -visitor            generate parse tree visitor
 -no-visitor         don't generate parse tree visitor (default)
 -package ___        specify a package/namespace for the generated code
 -depend             generate file dependencies
 -D=value    set/override a grammar-level option
 -Werror             treat warnings as errors
 -XdbgST             launch StringTemplate visualizer on generated code
 -XdbgSTWait         wait for STViz to close before continuing
 -Xforce-atn         use the ATN simulator for all predictions
 -Xlog               dump lots of logging info to antlr-timestamp.log
 -Xexact-output-dir  all output goes into -o dir regardless of paths/package

$ grun
java org.antlr.v4.gui.TestRig GrammarName startRuleName
  [-tokens] [-tree] [-gui] [-ps file.ps] [-encoding encodingname]
  [-trace] [-diagnostics] [-SLL]
  [input-filename(s)]
Use startRuleName='tokens' if GrammarName is a lexer grammar.
Omitting input-filename makes rig read from stdin.

安装成功

Java实践例子

$ mkdir test
$ cd test/
$ vim Hello.g4
 
输入：
// Define a grammar called Hello
grammar Hello;
r  : 'hello' ID ;         // match keyword hello followed by an identifier
ID : [a-z]+ ;             // match lower-case identifiers
WS : [ 	r
]+ -> skip ; // skip spaces, tabs, newlines
 
$ wq! // 保存
$ antlr4 Hello.g4
$ ls
Hello.g4		HelloBaseListener.java	HelloLexer.tokens
Hello.interp		HelloLexer.interp	HelloListener.java
Hello.tokens		HelloLexer.java		HelloParser.java
 
$ javac Hello*.java
$ ls
Hello.g4			HelloLexer.java
Hello.interp			HelloLexer.tokens
Hello.tokens			HelloListener.class
HelloBaseListener.class		HelloListener.java
HelloBaseListener.java		HelloParser$RContext.class
HelloLexer.class		HelloParser.class
HelloLexer.interp		HelloParser.java
 
$ grun Hello r -gui  // 按回车
hello nihao  // 输入这个，再按回车
^D // 按ctrl+D 就出现gui图形界面了
      

GUI界面

java编译过程

Python实践例子

和生成Java代码类似，不同的地方在于编译g4文件命令：

antlr4 -Dlanguage=Python3 -visitor Expr.g4

这样就会生成python代码：

➜  antlr4 -Dlanguage=Python3 Hello.g4 
➜  ls
Hello.g4          Hello.tokens      HelloLexer.py     HelloListener.py
Hello.interp      HelloLexer.interp HelloLexer.tokens HelloParser.py

python编译

当然还可以生成其他代码，感兴趣的可以尝试学一下。

总结

上面就是我在学习Antlr中所了解的知识，欢迎大家指正，一起学习，一起进步。

关注私信小编，Antlr权威指南分享给你，另外小编会不定时分享一些学习知识点。一起学习吧。