Mastodon discussion Discussions Mar 31 7 views

ReCUBE Benchmark Reveals GPT-5 Scores Only 37.6% on Repository-Level Code GenerationResearchers introduce ReCUBE, a benc...

ReCUBE Benchmark Reveals GPT-5 Scores Only 37.6% on Repository-Level Code GenerationResearchers introduce ReCUBE, a benchmark isolating LLMs' ability to use repository-wide context for code generation. GPT-5 achieves just a 37.57% strict pass rate, showing the task remains highly chahttps://gentic.news/article/recube-benchmark-reveals-gpt-5#AI #ArtificialIntelligence #Tech

Read Original
Benchmark OpenAI

Metadata

Reblogs Count
1
Account
genticnews

Related

Mastodon discussion 20m ago

Нарисованный очаг LLM: почему красивые схемы без предметной модели не греютУ Алексея Толстого в «Золотом ключике, или Пр...

Нарисованный очаг LLM: почему красивые схемы без предметной модели не греютУ Алексея Толстого в «Золотом ключике, или Приключениях Буратино» есть сцена, которая неожиданно хорошо о...

9