Rust のパーサーから JS のルールへ Markdown の木をコピーせずに渡す
- y8
- Rust
- napi
- パフォーマンス
y8 は、パーサーと組み込みルールを Rust で、追加のルールを TypeScript で書く Markdown リンターである。TypeScript のルールを有効にしたところ、リンターが遅くなった。masseater.dev リポジトリの Markdown 724ファイルに対して、Rust の組み込みルールだけなら84 ms で終わる。README.md、AGENTS.md、SKILL.md 向けのルールを足すと1,057 ms かかった。TypeScript 側がエンジンの約12倍の時間を使っていたことになる。
時間の行き先
CPU プロファイルを取ると、1,057 ms は3つに分かれた。ネイティブアドオンの呼び出しが1回あたり約350 ms で、そのうち約270 ms は、Rust で構文木を JSON の値にし、それを JS のオブジェクトに変換する処理だった。ガベージコレクションが約150 ms、ルールそのものが約400 ms である。
ガベージコレクションの原因は単純だった。JS 側は各行の開始位置を求めるために、テキストの1バイトごとに [index, byte] の組を作っていた。これだけで約80 ms かかり、その後の回収にも時間を取られていた。一方、木の変換は構造上のコストである。ほとんどのルールは数種類のノードしか見ないのに、全ファイルの全ノードが JS のオブジェクトになっていた。
1ファイルにバッファ1本
oxlint は JS プラグインに AST を渡すのに raw transfer と呼ぶ方式を使っている。Rust のメモリ上の配置をそのままシリアライズ形式として使い、シリアライズそのものをなくす方式である1。y8 は同じ考え方を単純な形で取り入れた。Rust は1ファイルを、リトルエンディアンの u32 ワードが並ぶ1本のバイト列に書き出し、それを napi の Buffer としてコピーせずに JS へ渡す。
| 区画 | 中身 |
|---|---|
| ヘッダー | 5ワード。ノード数、文字列数、行数、テキストの長さ、文字列データの長さ |
| ノード | 1ノード8ワード。種類、開始、終了、親、最初の子、次の兄弟、ノードの種類ごとの値2つ |
| 文字列 | 1文字列2ワード。文字列データの中の位置と長さ |
| 行の開始位置 | 1行1ワード |
| テキスト | UTF-8 のテキスト。4バイトの倍数まで埋める |
| 文字列データ | 文字列表のバイト列 |
親、最初の子、次の兄弟はインデックスに1を足して入れるので、0は「無い」を表す。リンクの宛先やタイトル、コードブロックの info 文字列のようにノードが持つ文字列は文字列表に入る。ノードの最後の2ワードには、ノードの種類に応じて、文字列表のインデックスかフラグが入る。
JS 側はバッファを Uint32Array のビューで読み、ルールが求めたときに初めてノードのオブジェクトを作る。テキストも、ルールが読む範囲だけをデコードする。
const wordsOf =
(buffer: Uint8Array) =>
(at: number, count: number): Uint32Array =>
new Uint32Array(buffer.buffer, buffer.byteOffset + at * WORD, count);
ルールのパッケージから見える MarkdownNode の API は変えていないので、ルール側の変更は要らなかった。
2つの落とし穴
1つ目はアライメントである。Uint32Array は4の倍数のバイト位置からしか始められないが、napi から受け取った Buffer の開始位置が4の倍数だという保証は無い。揃っていないときだけ、JS 側で一度だけ新しい Uint8Array にコピーし、揃っていればそのまま使う。
const aligned = (buffer: Uint8Array): Uint8Array =>
Option.match(
Option.liftPredicate(buffer, ({ byteOffset }) => byteOffset % WORD === EMPTY),
{
onNone: () => Uint8Array.from(buffer),
onSome: (value) => value,
},
);
2つ目は、位置がどのテキストを指すかである。パーサーは BOM を取り除き、CRLF を LF にした正規化後のテキストを扱うので、パーサーが返す位置はディスク上のファイルの位置と一致しない。そこでバッファには正規化後のテキストを入れ、バッファの中の位置はすべてそのテキストを指すようにした。
結果
先に受け渡しを変え、その後でルールの重い箇所を直した。重かったのは、全ノードに対して実行していたスキルのパスの正規表現と、全子孫を対象にした配列操作の連鎖である。
| 段階 | 724ファイル | アドオンの呼び出し |
|---|---|---|
| JSON の木 | 1,057 ms | 約350 ms |
| コピーしないバッファ | 910 ms | 約50 ms |
| ルールの修正後 | 544 ms | 約50 ms |
診断の件数はどの段階でも3,413件のままだった。今は OpenTelemetry のスパン y8.encode_tree、y8.to_js、y8.script_rules で1回の実行の時間の内訳が見えるので、次に遅くなったときも同じやり方で原因を探せる。