Mastodon discussion Oct 10

文章を生成させない場面でLLMを使うのは、そろそろ割に合わない気がしています。OpenAIのDecisions APIが公開ベータ入り。返すのは文章ではなく、型付きの確率・選択肢・スコアで、従来のResponses APIより約10倍高速だ...

文章を生成させない場面でLLMを使うのは、そろそろ割に合わない気がしています。OpenAIのDecisions APIが公開ベータ入り。返すのは文章ではなく、型付きの確率・選択肢・スコアで、従来のResponses APIより約10倍高速だそうです。生成と判定を分離する、この設計がついに大手APIにも届いた意味は大きい。分類やルーティングをわざわざLLMに投...

Mastodon discussion Oct 10

生成と判定の分離が、いよいよ標準になりつつあります。OpenAIがDecisions APIを公開ベータで提供開始。返すのは文章ではなく型付きの確率とスコア。Responses APIより約10倍高速で、入力100万トークン0.1ドル・出力...

生成と判定の分離が、いよいよ標準になりつつあります。OpenAIがDecisions APIを公開ベータで提供開始。返すのは文章ではなく型付きの確率とスコア。Responses APIより約10倍高速で、入力100万トークン0.1ドル・出力課金なしです。判断だけ欲しい場面で生成に高いトークン代を払うのは過剰でした。JevやClefを追ってきた立場から見ると、...