ANTLR解析Java代码：正确选择入口规则与获取详细Token信息-java教程-PHP中文网

ANTLR解析Java代码：正确选择入口规则与获取详细Token信息

DDD

发布： 2025-11-05 14:29:21

原创

304人浏览过

ANTLR解析Java代码：正确选择入口规则与获取详细Token信息

本教程探讨了使用antlr解析java代码时，因选择不当的解析入口规则（如expression()而非compilationunit()）导致的extraneous input错误。文章将详细指导如何为完整java文件选择正确的入口规则，并演示如何重置词法分析器以提取每个token的类型、文本等详细信息，从而实现准确的语法分析和词法分析。

理解ANTLR的解析入口规则

在使用ANTLR进行语法分析时，核心在于定义一套语法规则（.g4文件），并选择一个合适的“入口规则”（entry rule）来启动解析过程。入口规则是语法分析器期望从输入流的起始位置开始匹配的最高层级语法结构。如果选择的入口规则与实际输入内容的结构不匹配，就会导致解析失败。

常见问题：错误的解析入口规则

许多初学者在解析完整的源文件时，可能会错误地选择一个针对局部语法结构的规则作为入口。例如，当尝试解析一个包含import语句、类定义、方法等的完整Java源文件时，如果选择parser.expression()作为入口规则，就会遇到以下错误：

line 1:0 extraneous input 'import' expecting {'boolean', 'byte', 'char', 'double', 'float', 'int', 'long', 'new', 'short', 'super', 'this', 'void', IntegerLiteral, FloatingPointLiteral, BooleanLiteral, CharacterLiteral, StringLiteral, 'null', '(', '!', '~', '++', '--', '+', '-', Identifier, '@'}

登录后复制

这个错误明确指出，在输入流的第一个字符（import关键字）处，解析器期望的是一个表达式的起始元素（如布尔值、数字、变量等），而不是import关键字。这是因为expression规则仅定义了Java语言中的表达式结构，它无法识别import声明或类定义等顶级结构。

原始的Java解析代码示例如下：

立即学习“Java免费学习笔记（深入）”；

import org.antlr.v4.runtime.CharStreams;
import org.antlr.v4.runtime.CommonTokenStream;
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.io.InputStream;

public class JavaParserTest {
  public static void main(String[] args) throws IOException {
    InputStream inputStream = Files.newInputStream(Paths.get(
        "/xxx/java-antler-parser/src/main/java/Test.java")); // 假设Test.java是一个完整的Java文件
    Java8Lexer lexer = new Java8Lexer(CharStreams.fromStream(inputStream));
    Java8Parser parser = new Java8Parser(new CommonTokenStream(lexer));
    System.out.println(parser.expression()); // 错误：这里使用了expression()
  }
}

登录后复制

解决方案一：选择正确的解析入口规则

对于解析完整的Java源文件，正确的入口规则通常是compilationUnit()。在Java语法中，compilationUnit代表一个完整的编译单元，它能够包含包声明、导入声明、类型定义（如类、接口）等所有顶级结构。

将解析入口规则从expression()修改为compilationUnit()即可解决上述extraneous input错误。

import org.antlr.v4.runtime.CharStreams;
import org.antlr.v4.runtime.CommonTokenStream;
import org.antlr.v4.runtime.Token;
import org.antlr.v4.runtime.tree.ParseTree;
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.io.InputStream;

public class JavaParserTest {
  public static void main(String[] args) throws IOException {
    // 示例Java源代码，包含import和class定义
    String source = "import org.antlr.v4.runtime.Lexer;\n" +
        "import org.antlr.v4.runtime.ParserRuleContext;\n" +
        "import org.antlr.v4.runtime.atn.PredictionMode;\n" +
        "\n" +
        "import java.io.File;\n" +
        "import java.lang.System;\n" +
        "import java.util.ArrayList;\n" +
        "import java.util.List;\n" +
        "import java.util.concurrent.BrokenBarrierException;\n" +
        "import java.util.concurrent.CyclicBarrier;\n" +
        "\n" +
        "class Test {\n" +
        "  public static boolean profile = false;\n" +
        "  public static boolean notree = false;\n" +
        "  public static boolean gui = false;\n" +
        "  public static boolean printTree = false;\n" +
        "}";

    // 1. 进行语法分析 (Parsing)
    Java8Lexer lexerForParsing = new Java8Lexer(CharStreams.fromString(source));
    Java8Parser parser = new Java8Parser(new CommonTokenStream(lexerForParsing));
    ParseTree root = parser.compilationUnit(); // 正确：使用compilationUnit()作为入口规则
    System.out.println("--- Parse Tree Output ---");
    System.out.println(root.toStringTree(parser)); // 打印解析树

    // 2. 提取详细Token信息 (Token Extraction)
    // 注意：如果lexerForParsing已经被parser消耗，需要重新初始化或重置
    // 这里我们使用一个新的lexer实例，或者重置旧的lexer
    Java8Lexer lexerForTokens = new Java8Lexer(CharStreams.fromString(source));
    CommonTokenStream commonTokenStream = new CommonTokenStream(lexerForTokens);
    commonTokenStream.fill(); // 填充Token流

    System.out.println("\n--- Detailed Token Information ---");
    for (Token t : commonTokenStream.getTokens()) {
        System.out.printf(
            "type=%-25s text='%s'%n",
            Java8Lexer.VOCABULARY.getSymbolicName(t.getType()), // 获取Token的符号名称
            t.getText() // 获取Token的文本内容
        );
    }
  }
}

登录后复制

解析树输出示例（部分）：

微信 WeLM

WeLM不是一个直接的对话机器人，而是一个补全用户输入信息的生成模型。

查看详情

--- Parse Tree Output ---
(compilationUnit (importDeclaration (singleTypeImportDeclaration import (typeName (packageOrTypeName (packageOrTypeName (packageOrTypeName (packageOrTypeName org) . antlr) . v4) . runtime) . Lexer) ;)) (importDeclaration ... ) ... (typeDeclaration (classDeclaration (normalClassDeclaration class Test (classBody { (classBodyDeclaration (classMemberDeclaration (fieldDeclaration (fieldModifier public) (fieldModifier static) (unannType (unannPrimitiveType boolean)) (variableDeclaratorList (variableDeclarator (variableDeclaratorId profile) = (variableInitializer (expression (assignmentExpression (conditionalExpression (conditionalOrExpression (conditionalAndExpression (inclusiveOrExpression (exclusiveOrExpression (andExpression (equalityExpression (relationalExpression (shiftExpression (additiveExpression (multiplicativeExpression (unaryExpression (unaryExpressionNotPlusMinus (postfixExpression (primary (primaryNoNewArray_lfno_primary (literal false)))))))))))))))))))))) ;))) ... })))) <EOF>)

登录后复制

解决方案二：提取详细Token信息

在完成语法分析并确认输入文件语法正确后，如果需要获取更底层的词法信息，例如每个Token的类型和文本内容，可以通过操作CommonTokenStream来实现。

需要注意的是，Lexer在被Parser使用后，其内部状态可能已经发生改变（例如，已经读取到文件末尾）。因此，为了从头开始获取所有Token，最稳妥的方法是：

重新初始化或重置Lexer：创建一个新的Lexer实例，或者调用现有Lexer的reset()方法（如果适用且方便）。在上述示例中，为了清晰起见，我们创建了一个新的Java8Lexer lexerForTokens。
填充Token流：使用commonTokenStream.fill()方法强制词法分析器处理整个输入流，并将所有Token存储到CommonTokenStream中。
遍历Token：通过commonTokenStream.getTokens()获取所有Token的列表，然后遍历该列表，提取所需的信息。

Token对象提供了多种方法来获取其属性：

getType()：返回Token的类型ID（整数）。
getText()：返回Token的原始文本内容。
getLine()：返回Token所在的行号。
getCharPositionInLine()：返回Token在行中的起始字符位置。
getChannel()：返回Token所在的通道（例如，默认通道或隐藏通道）。
getStartIndex() / getStopIndex()：返回Token在输入流中的起始/结束索引。

结合Lexer的VOCABULARY，可以方便地将Token类型ID映射到其可读的符号名称。

详细Token信息输出示例（部分）：

--- Detailed Token Information ---
type=IMPORT                    text='import'
type=Identifier                text='org'
type=DOT                       text='.'
type=Identifier                text='antlr'
type=DOT                       text='.'
type=Identifier                text='v4'
type=DOT                       text='.'
type=Identifier                text='runtime'
type=DOT                       text='.'
type=Identifier                text='Lexer'
type=SEMI                      text=';'
...
type=CLASS                     text='class'
type=Identifier                text='Test'
type=LBRACE                    text='{'
type=PUBLIC                    text='public'
type=STATIC                    text='static'
type=BOOLEAN                   text='boolean'
type=Identifier                text='profile'
type=ASSIGN                    text='='
type=BooleanLiteral            text='false'
type=SEMI                      text=';'
...
type=RBRACE                    text='}'
type=EOF                       text='<EOF>'

登录后复制

总结与注意事项

选择正确的入口规则：始终根据你希望解析的输入内容的完整性，从.g4语法文件中选择最合适的入口规则。对于完整的Java源文件，compilationUnit()是标准且正确的选择。
理解Lexer与Parser的关系：Lexer负责将字符流转换为Token流，Parser则根据Token流构建解析树。它们是串联工作的。
重置Lexer：如果需要对Token流进行多次操作（例如，先用于解析，后用于单独的Token列表提取），请确保每次操作前Lexer的状态是正确的，通常这意味着需要重置或重新创建Lexer实例。
利用VOCABULARY：Lexer类中生成的VOCABULARY静态字段是获取Token类型符号名称的便捷方式，它极大地提高了输出的可读性。

通过遵循这些指导原则，您可以有效地使用ANTLR解析Java代码，并准确地获取所需的语法和词法信息。

以上就是ANTLR解析Java代码：正确选择入口规则与获取详细Token信息的详细内容，更多请关注php中文网其它相关文章！