毎ターン全履歴を送り直す前提が、ようやく崩れ始めた印象です。AnthropicのMessages APIに追加された「Message Threads」は、変わった差分だけを送る仕組みで、50万〜100万トークンの要求では最初のトークンまでの時間が約35%短くなるそうです。長時間動くエージェントほど履歴は膨らむので、送り直しの無駄を削る方向は理にかなっていると思います。ただ、この数字は巨大な文脈での値で、短いやり取りでどこまで効くかは公開情報からは分かりません。自分のエージェントのループで試して確かめたいです。 #Claude #AIエージェント #LLM #API設計
Related
@Viss Makes sense in light of https://overcast.fm/+ABTNq9Tk-gMHow the #ai #revolution will play out. #otr #satire
@Viss Makes sense in light of https://overcast.fm/+ABTNq9Tk-gMHow the #ai #revolution will play out. #otr #satire
📰 Hot fridges, a fake nuclear alert and a $6bn heist: are we in the foothills of a hacking epidemic?As AI exposes flaws ...
📰 Hot fridges, a fake nuclear alert and a $6bn heist: are we in the foothills of a hacking epidemic?As AI exposes flaws in IT systems and geopolitics plays out on the cyber frontli...
Whenever I hear "we'll use Copilot for that document", I interpret that as "most of this document doesn't need to exist"...
Whenever I hear "we'll use Copilot for that document", I interpret that as "most of this document doesn't need to exist".Unfortunately, I hear it daily in the Corporate world now. ...