「長い文脈ほど賢い」は、どうやら逆だったようです。Microsoftの研究によれば、自律エージェントはチャット履歴が育つほど『idea basin』という局所解に閉じ込められ、別の解へ抜けられなくなるとのこと。履歴だけを消し作業状態は残す『...

「長い文脈ほど賢い」は、どうやら逆だったようです。Microsoftの研究によれば、自律エージェントはチャット履歴が育つほど『idea basin』という局所解に閉じ込められ、別の解へ抜けられなくなるとのこと。履歴だけを消し作業状態は残す『Fork-and-Flush』で、同じ計算量のまま最大66%改善したそうです。長い文脈を積むほど判断が固定されるのは、生成と判定の分離にも通じる話。人間の会議も長引くほど最初の案に固執します。エージェント設計では覚えさせることより忘れさせる設計が効くのかもしれません。#AIエージェント #LLM #コンテキストエンジニアリング #Microsoft

Read Original

Related