ANTLRを使用したJava

1. 概要

このチュートリアルでは、 ANTLR パーサージェネレーターの概要を説明し、実際のアプリケーションをいくつか紹介します。

2. ANTLR

ANTLR（言語認識のための別のツール）は、構造化テキストを処理するためのツールです。

これは、レクサー、文法、パーサーなどの言語処理プリミティブへのアクセスと、それらに対してテキストを処理するためのランタイムを提供することによって行われます。

ツールやフレームワークを構築するためによく使用されます。 たとえば、HibernateはHQLクエリの解析と処理にANTLRを使用し、ElasticsearchはPainlessにそれを使用します。

そして、Javaはただ1つのバインディングです。 ANTLRは、C＃、Python、JavaScript、Go、C ++、およびSwiftのバインディングも提供します。

3. 構成

まず、antlr-runtimeをpom.xmlに追加することから始めましょう。

<dependency>
    <groupId>org.antlr</groupId>
    <artifactId>antlr4-runtime</artifactId>
    <version>4.7.1</version>
</dependency>

また、 antlr-maven-plugin ：

<plugin>
    <groupId>org.antlr</groupId>
    <artifactId>antlr4-maven-plugin</artifactId>
    <version>4.7.1</version>
    <executions>
        <execution>
            <goals>
                <goal>antlr4</goal>
            </goals>
        </execution>
    </executions>
</plugin>

指定した文法からコードを生成するのはプラグインの仕事です。

4. それはどのように機能しますか？

基本的に、 ANTLR Mavenプラグインを使用してパーサーを作成する場合は、次の3つの簡単な手順に従う必要があります。

• 文法ファイルを準備する
• ソースを生成する
• リスナーを作成する

それでは、これらの手順を実際に見てみましょう。

public class SampleClass {
 
    public void DoSomethingElse() {
        //...
    }
}

5.2. ソースを生成する

ANTLRは、提供する文法ファイルに対応するJavaコードを生成することで機能し、mavenプラグインを使用すると次のことが簡単になります。

mvn package

デフォルトでは、これにより target /generated-sources /antlr4ディレクトリの下にいくつかのファイルが生成されます。

• Java8.interp
• Java8Listener.java
• Java8BaseListener.java
• Java8Lexer.java
• Java8Lexer.interp
• Java8Parser.java
• Java8.tokens
• Java8Lexer.tokens

これらのファイルの名前は、文法ファイルの名前に基づいていることに注意してください。

後でテストするときに、Java8LexerファイルとJava8Parserファイルが必要になります。 ただし、今のところ、MethodUppercaseListenerを作成するにはJava8BaseListenerが必要です。

5.3. MethodUppercaseListenerの作成

使用したJava8文法に基づいて、 Java8BaseListener には、オーバーライドできるいくつかのメソッドがあり、それぞれが文法ファイルの見出しに対応しています。

たとえば、文法はメソッド名、パラメータリストを定義し、次のように句をスローします。

methodDeclarator
	:	Identifier '(' formalParameterList? ')' dims?
	;

したがって、 Java8BaseListener には、このパターンが検出されるたびに呼び出されるメソッドenterMethodDeclaratorがあります。

それでは、 enterMethodDeclarator をオーバーライドし、 Identity を引き出して、チェックを実行しましょう。

public class UppercaseMethodListener extends Java8BaseListener {

    private List<String> errors = new ArrayList<>();

    // ... getter for errors
 
    @Override
    public void enterMethodDeclarator(Java8Parser.MethodDeclaratorContext ctx) {
        TerminalNode node = ctx.Identifier();
        String methodName = node.getText();

        if (Character.isUpperCase(methodName.charAt(0))) {
            String error = String.format("Method %s is uppercased!", methodName);
            errors.add(error);
        }
    }
}

5.4. テスト

それでは、いくつかのテストを行いましょう。 まず、レクサーを作成します。

String javaClassContent = "public class SampleClass { void DoSomething(){} }";
Java8Lexer java8Lexer = new Java8Lexer(CharStreams.fromString(javaClassContent));

次に、パーサーをインスタンス化します。

CommonTokenStream tokens = new CommonTokenStream(lexer);
Java8Parser parser = new Java8Parser(tokens);
ParseTree tree = parser.compilationUnit();

そして、ウォーカーとリスナー：

ParseTreeWalker walker = new ParseTreeWalker();
UppercaseMethodListener listener= new UppercaseMethodListener();

最後に、ANTLRにサンプルクラス：をウォークスルーするように指示します

walker.walk(listener, tree);

assertThat(listener.getErrors().size(), is(1));
assertThat(listener.getErrors().get(0),
  is("Method DoSomething is uppercased!"));

6. 文法の構築

2018-May-05 14:20:18 INFO some error occurred
2018-May-05 14:20:19 INFO yet another error
2018-May-05 14:20:20 INFO some method started
2018-May-05 14:20:21 DEBUG another method started
2018-May-05 14:20:21 DEBUG entering awesome method
2018-May-05 14:20:24 ERROR Bad thing happened

fragment DIGIT : [0-9];
fragment TWODIGIT : DIGIT DIGIT;
fragment LETTER : [A-Za-z];

DATE : TWODIGIT TWODIGIT '-' LETTER LETTER LETTER '-' TWODIGIT;
TIME : TWODIGIT ':' TWODIGIT ':' TWODIGIT;
TEXT   : LETTER+ ;
CRLF : '\r'? '\n' | '\r';

log : entry+;
entry : timestamp ' ' level ' ' message CRLF;

次に、タイムスタンプの詳細を追加します。

timestamp : DATE ' ' TIME;

level : 'ERROR' | 'INFO' | 'DEBUG';

message : (TEXT | ' ')+;

public class LogEntry {

    private LogLevel level;
    private String message;
    private LocalDateTime timestamp;
   
    // getters and setters
}

public class LogListener extends LogBaseListener {

    private List<LogEntry> entries = new ArrayList<>();
    private LogEntry current;

    @Override
    public void enterEntry(LogParser.EntryContext ctx) {
        this.current = new LogEntry();
    }

    @Override
    public void enterTimestamp(LogParser.TimestampContext ctx) {
        this.current.setTimestamp(
          LocalDateTime.parse(ctx.getText(), DEFAULT_DATETIME_FORMATTER));
    }
    
    @Override
    public void enterMessage(LogParser.MessageContext ctx) {
        this.current.setMessage(ctx.getText());
    }

    @Override
    public void enterLevel(LogParser.LevelContext ctx) {
        this.current.setLevel(LogLevel.valueOf(ctx.getText()));
    }

    @Override
    public void exitLogEntry(LogParser.EntryContext ctx) {
        this.entries.add(this.current);
    }

@Test
public void whenLogContainsOneErrorLogEntry_thenOneErrorIsReturned()
  throws Exception {
 
    String logLine ="2018-May-05 14:20:24 ERROR Bad thing happened";

    // instantiate the lexer, the parser, and the walker
    LogListener listener = new LogListener();
    walker.walk(listener, logParser.log());
    LogEntry entry = listener.getEntries().get(0);
 
    assertThat(entry.getLevel(), is(LogLevel.ERROR));
    assertThat(entry.getMessage(), is("Bad thing happened"));
    assertThat(entry.getTimestamp(), is(LocalDateTime.of(2018,5,5,14,20,24)));
}

7. 結論

この記事では、ANTLRを使用して自国語のカスタムパーサーを作成する方法に焦点を当てました。

また、既存の文法ファイルを使用して、コードリンティングなどの非常に単純なタスクに適用する方法も確認しました。

いつものように、ここで使用されるすべてのコードは、GitHubのにあります。