C# & ANTLR - EBNF für eine eigene Skriptsprache

[Farin (Gast)]

Hei Leute ich versuche gerade mit ANTLR einen Parser für meine 
Scriptsprache zu schreiben. Leider scheitere ich momentan daran. Kann 
mir wer sagen was mir für diese Scriptbeispiele noch in der 
EBNF-Definition fehlt?

CONTROL.SET("value"=>"testwert");
DEFINE("name"=>"testname_fuer_variable", "value"=>0);   //Zahlen ohne Anführungszeichen
CONTROL.SET("value"=>CONTROL.GET("name"=>"testname"));

Mein EBNF dazu sieht bis jetzt folgendermassen aus:

grammar test;  
options
{
  language = CSharp2;
}
Statement : FunctionName'("'String'"'=>Argument');';
FunctionName : (Object'.SET'|Object'.GET'|'DEFINE');
Object : String;
Argument : (String|digit|Statement);
String   : ('a'..'z' | 'A'..'Z' | '0'..'9')+;
digit : ('0'|'1'|'2'|'3'|'4'|'5'|'6'|'7'|'8'|'9')+;

Sorry für den langen Text aber ich hab momentan wirklich irgendwie 
Gurken auf den Augen und seh den Wald vor lauter Eichhörnchen nicht 
mehr...

Bitte helft mir :)

[Yalu X. (yalu) (Moderator)]

> Statement : FunctionName'("'String'"'=>Argument');';

Der Pfeil sollte innerhalb der Apostrophe stehen:

Statement : FunctionName '("' String '"=>' Argument ');';

> String   : ('a'..'z' | 'A'..'Z' | '0'..'9')+;

Wenn String als Argument genutzt wird, fehlen die Anführungszeichen.
Ich würde String mit den Anführungszeichen definieren

String   : '"' ('a'..'z' | 'A'..'Z' | '0'..'9')+ '"';

und die Anführungszeichen in Statement weglassen:

Statement : FunctionName '(' String '=>' Argument ');';

> Object : String;

Das stimmt jetzt nicht mehr, weil die obige Definition von String die
Anführungszeichen enthält. Darf denn ein Objektname überhaupt mit einer
Ziffer beginnen? Ich würde ein neues Element Identifier einführen:

Object     : Identifier;
Identifier : Alpha AlphaNum*;
Alpha      : 'a'..'z' | 'A'..'Z';
AlphaNum   : Alpha | '0'..'9';

> DEFINE("name"=>"testname_fuer_variable", "value"=>0);

Da stehen mehrere "=>"-Konstrukte durch "," getrennt in einem Statement.
Das wird durch

> Statement : FunctionName'("'String'"'=>Argument');';

nicht abgedeckt. Versuch mal Folgendes:

Statement : FunctionName '(' ArrowConstruct (',' ArrowConstruct)* ');';
ArrowConstruct : String '=>' Argument;

Hier ist die Zusammenfassung des oben Geschriebenen:

Statement      : FunctionName '(' ArrowConstruct (',' ArrowConstruct)* ');';
FunctionName   : (Object '.SET' | Object '.GET' | 'DEFINE');
ArrowConstruct : String '=>' Argument;
Object         : Identifier;
Identifier     : Alpha AlphaNum*;
Argument       : (String | Number | Statement);
String         : '"' AlphaNum+ '"';
Alpha          : 'a'..'z' | 'A'..'Z';
Digit          : '0'..'9';
AlphaNum       : Alpha | Digit;
Number         : Digit+;

Dabei habe ich digit durch Number (eine Zahl mit einer oder mehreren
Ziffern) ersetzt und für eine einzelne Ziffer das neue Element Digit
eingeführt.

Bei deiner Grammatik sind keine Leerzeichen und Zeilenumbrüche im Skript
erlaubt, die du aber vielleicht zur Steigerung der Übersichtlichkeit
vorsehen solltest. Meist realisiert man das dadurch, dass man dem
eigentlichen Parser einen Lexer (Scanner, Tokenizer, ...) vorschaltet,
der die Eingabe in sogenannte Tokens (z.B. String, Zahl, '(', ')', '=>'
usw.) gruppiert und zwischen diesen Tokens beliebigen Whitspace zulässt.
Der Lexer kann auch gleich die Verarbeitung von Kommentaren (wie in
deinem zweiten Beispiel) übernehmen. Ein Kommentar wird üblicherweise
wie Whitspace behandelt.

Wie man das am besten mit ANTLR umsetzt, kann ich dir jetzt aber auch
nicht sagen. Wenn ANTLR zwischen Lexer und Parser keinen Unterschied
macht, kannst du die Tokens auch wie gehabt als Produktionen in der
Grammatik definieren und jeweils ein WhiteSpace* anhängen, wobei

WhiteSpace : ' ' | '\n' | '\r' | '\t';

[Farin (Gast)]

Wow herzlichen Dank!
Das mit den Strings habe ich auch schnell gemerkt. :)
Deine Lösung ist super Yalu.
Ich danke dir vielmals. Ohne dich hätte ich wahrscheinlich schon 
aufgegeben. ^^

Gruss

Farin