enhance: 再帰下降LLパーサーの実装

CHANGELOG.md

@@ -3,6 +3,13 @@
 バージョン0.16.0に記録漏れがありました。
 >- 関数`Str:from_codepoint` `Str#codepoint_at`を追加
 
+# Next
+- 新しいAiScriptパーサーが実装されました。
+- スペースの厳密さが緩和されました。
+- 文字列リテラルやテンプレートで、`\`とそれに続く1文字は全てエスケープシーケンスとして扱われるようになりました。
+## Breaking changes
+- 改行トークンを導入。改行の扱いが今までより厳密になりました。改行することができると決められた部分以外では文法エラーになります。
+
 # 0.17.0
 - `package.json`を修正
 

docs/parser/scanner.md

@@ -0,0 +1,9 @@
+# Scanner 設計資料
+作成者: marihachi
+
+## 現在のトークンと先読みされたトークン
+_tokensの0番には現在のトークンが保持される。また、トークンが先読みされた場合は1番以降にそれらのトークンが保持されていくことになる。  
+例えば、次のトークンを1つ先読みした場合は0番に現在のトークンが入り1番に先読みされたトークンが入る。
+
+nextメソッドで現在位置が移動すると、それまで0番にあったトークン(現在のトークン)は配列から削除され、1番にあった要素は現在のトークンとなる。  
+配列から全てのトークンが無くなった場合はトークンの読み取りが実行される。