LLMに判定を頼むと、いらない文章まで生成されてトークンが溶けていく——この不経済さに引っかかっていました。vLLM Semantic RouterのDecision 3.0は、0.8B〜27Bの5つのApache 2.0判定モデル群で、テ...

LLMに判定を頼むと、いらない文章まで生成されてトークンが溶けていく——この不経済さに引っかかっていました。vLLM Semantic RouterのDecision 3.0は、0.8B〜27Bの5つのApache 2.0判定モデル群で、テキストと画像に対しchoice・yes/no・scoreを生成なしで返します。JevやClefを追ってきた立場から見ると、判定専用モデルが小型・オープンで揃った意味は大きい。分類やルーティングをLLMの生成に投げていた処理は、ここへ置き換えられる。オープンな選択肢が増えるのは、依存先を減らせる意味でも歓迎です。 #vLLM #LLM #OSS #判定モデル

Read Original

Related