So many benchmarks. MMLU, SWE-bench, ARC-AGI, etc. Yet none of them measure what I actually notice at work.Introducing: ...

So many benchmarks. MMLU, SWE-bench, ARC-AGI, etc. Yet none of them measure what I actually notice at work.Introducing: SorryBench™.The basis: how often does a model apologize per productive session?Method: I worked, and I counted. n=1, vibes-based, not peer-reviewed. About as rigorous as half the charts in current model cards.independent-wire.org#LLM #AI #FOSS

Read Original

Related

Mastodon discussion 31m ago

iCloud、バルトさんが好きそうですUgreen、Appleの探す機能に対応しカードとiPhoneを守るMagSafe充電式のカードケース「UGREEN FineTrack MagCards」を発売。 https://applech2.c...

iCloud、バルトさんが好きそうですUgreen、Appleの探す機能に対応しカードとiPhoneを守るMagSafe充電式のカードケース「UGREEN FineTrack MagCards」を発売。 https://applech2.com/archives/20261114-ugreen-finetrack-magcards-iphone.html#A...

Mastodon discussion 31m ago

わたしがペンギンの亜人ではないように、iPhoneもiPhoneではないのかもしれません[ITmedia Mobile] ベルトやバッグにも取り付けられる軽量スマホショルダー iPhone Pro Maxもしっかり収納 https://ww...

わたしがペンギンの亜人ではないように、iPhoneもiPhoneではないのかもしれません[ITmedia Mobile] ベルトやバッグにも取り付けられる軽量スマホショルダー iPhone Pro Maxもしっかり収納 https://www.itmedia.co.jp/mobile/articles/2611/15/news005.html#Apple #...