Swarm Telepathy
目次
| 論文 | Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families |
|---|---|
| 著者 | Abdulrahman Alabdulkareem、Irene Tenison、Yang Zhang、Yada Zhu、Boris Katz、Dan Gutfreund |
| 公開 | 2026年10月10日(arXiv) |
| 略称 | SwaT |
Swarm Telepathy(SwaT)は、大規模言語モデル(LLM)のエージェントどうしが、文章ではなく KV キャッシュを直接渡して通信する手法である。系統の違うモデルの間でも、受け手が文章を読み込み直さずに済む。Abdulrahman Alabdulkareem らが2026年10月に arXiv で論文を公開した1。日本では AIDB が、MIT の研究者らによる AI 同士の「テレパシー」として紹介した2。
背景
LLM のマルチエージェントシステムでは、あるエージェントが調べた結果を文章にまとめ、別のエージェントがそれを読む。論文は、通信が離散的なトークンに縛られ、受け手が同じ内容を計算し直す無駄が生じる点を問題にしている1。
KV キャッシュを LLM の間で渡す先行研究はあったが、同じ系統のモデルに限られるか、受け手が文章を読み込み直す prefill を必要としていた1。
仕組み
SwaT は、送り手のモデルの KV キャッシュを、別の系統の受け手のモデルが使える形に変換して渡す。送り手と受け手のモデルはどちらも凍結したままで追加学習せず、学習に要るのは5,000万トークン未満と GPU 1台で1日未満である1。
結果
KV キャッシュを圧縮する最近の手法と組み合わせると、エージェント間の通信で、文章どうしのやり取りより正確さが平均40%高く、経過時間が平均で4分の1になった。6つの系統の12個の LLM で、17のベンチマークを試した1。
AIDB は、Meta の Llama 3 から Alibaba の Qwen 3、Google の Gemma 3 から IBM の Granite 3 のように、別の会社のモデルの組み合わせを例に挙げている2。
送り手に画像を読める視覚言語モデルを使うと、文章しか読めない受け手のモデルに視覚の能力を渡せた。SwaT は文章だけで学習したにもかかわらず、画像の内容を文章で説明して渡すより成績が良かった1。
出典
最終更新