Local LLM Arena #4Repair run już się zakończył i po kilku dodatkowych poprawkach udało się domknąć benchmark.Po drodze w...

Local LLM Arena #4Repair run już się zakończył i po kilku dodatkowych poprawkach udało się domknąć benchmark.Po drodze wyszło jeszcze kilka problemów technicznych, więc część testów trzeba było poprawić i uzupełnić. Ostatecznie mamy jednak kompletny zestaw wyników dla wszystkich 5 modeli.Najlepiej wypadły dwa modele.Qwen3.8-27B wygrał cały benchmark i osiągnął najwyższy wynik jakościowy.GPT-OSS-20B był bardzo blisko, a w testach kodowania uzyskał taki sam wynik jak Qwen. Jednocześnie na moim MacBooku Air M4 16 GB działa około 5 razy szybciej.Dlatego teraz testuję właśnie GPT-OSS jako lokalnego agenta do prawdziwego kodowania.Schemat wygląda tak:Codex CLI↓LM Studio↓GPT-OSS-20B↓repozytorium projektuModel dostał 5 rzeczywistych zadań w kodzie Local LLM Arena.Może sam przeglądać repozytorium, edytować pliki, uruchamiać testy, analizować błędy i poprawiać własne rozwiązania.Każde zadanie zaczyna od czystej kopii repozytorium. Po zakończeniu rozwiązanie jest sprawdzane także dodatkowymi test...

Read Original

Related