Mastodon discussion 6d ago

毎ターン全履歴を送り直す前提が、ようやく崩れ始めた印象です。AnthropicのMessages APIに追加された「Message Threads」は、変わった差分だけを送る仕組みで、50万〜100万トークンの要求では最初のトークンまでの...

毎ターン全履歴を送り直す前提が、ようやく崩れ始めた印象です。AnthropicのMessages APIに追加された「Message Threads」は、変わった差分だけを送る仕組みで、50万〜100万トークンの要求では最初のトークンまでの時間が約35%短くなるそうです。長時間動くエージェントほど履歴は膨らむので、送り直しの無駄を削る方向は理にかなっていると...