enhance: 再帰下降LLパーサーの実装

[marihachi]

What

• Resolve AiScriptのパーサーを再帰下降のLLパーサーとして書き直す？ #359
• Resolve match式の仕様を見直したい #381

今のPEGで書かれたパーサーを手書きの再帰下降パーサーで置き換えます。

• これまでパーサーで不完全なノード(ChainやAttr)を生成してプラグインで結合していた部分は、
  パーサーのpratt parsingの処理で完全なノードを生成するようになります
• これまでInfixノードとしてプラグインで処理していた部分はパーサーのpratt parsingの処理で行うようになります
• CSTノードを削除します
• パースの前にトークン化(字句解析)を行い、パーサーはそのトークン列を処理してASTノードを生成するようになります
• ASTノードにソースコード上の位置情報が追加されます
• 改行の扱いが今までより厳密になります。改行することもできると決められた部分以外では文法エラーになります
• スペースの厳密さが緩和されます
• 演算式の途中で改行することが再び禁止されました。改行する場合は行末に\を付けて改行することが必要になります。
• 文字列リテラルやテンプレートで、\とそれに続く1文字は全てエスケープシーケンスとして扱われるようになりました。

Why

issue参照 #359

Additional info (optional)

[marihachi]

全部見るのは大変だと思うので、十分時間を見て特に問題が上がってこなければマージします

[FineArchs]

issueの方で言われていたような変更点があったと思うので、CHANGELOGに記載をお願いします。

[marihachi]

仮にいくつかの問題があったとしても個別に対応できると思うので、
致命的な問題がなければ明日中(10/9)にはマージしようと思います。
cc: @syuilo @FineArchs

[syuilo]

YOSASOU

[syuilo]

スペースの厳密さが緩和されます

これってそうした理由何かある？

[marihachi]

とりあえず一般的なパーサーやトークナイザのスタイルに今は合わせた形
スペースはトークンにならないのが普通だから、スペースがあるかどうかは明示的に確認しない限り、有無は確認されない

スペースの有無を厳密に確認したいならスペースもトークンとして扱えば可能かもしれない

[syuilo]

できれば厳密に確認したいけどめんどくさそうならこのままでも良さそう

[marihachi]

いや確認したい意図があるなら、確認するように一回考えてみるよ

[syuilo]

あーminifyされることが増えていることを考えるとスペース厳密に確認しない方が良いかも

[marihachi]

一旦このままいくか

[marihachi]

マージは一旦様子を見ます

[FineArchs]

Syntax Error時の行・列の情報をAiScriptSyntaxErrorオブジェクトに入れることは可能ですか？

[FineArchs]

その際、出来ればAiScriptSyntaxError自体を

// import { Loc } from './node.js'
export class AiScriptSyntaxError extends AiScriptError {
	public name = 'Syntax';
	constructor(message: string, public loc: Loc, info?: any) {
		super(`${message} (Line ${loc.line}, Column ${loc.column}`, info);
	}
}

のように書き換えて頂けると助かります。

[marihachi]

別のPRで対応します

[marihachi]

作業ブランチにマージする