Профили критических сбоев ИИ-агентов с функцией вызова с реальным эффектом: DeepSeek V4 Pro и Gemini 3.8 FlashИсследован...

Профили критических сбоев ИИ-агентов с функцией вызова с реальным эффектом: DeepSeek V4 Pro и Gemini 3.8 FlashИсследование поведения ИИ-агентов с вызовом функций, имеющих реальный эффект, проводилось на основании методологии, основные положения которой мы излагали ранее ( https://doi.org/10.5281/zenodo.23556771 , https://habr.com/ru/articles/1098088/ ). Прогоны проведены по методологии версии 3.1; тестовая система этой версии не публиковалась. Напомним, что методология позволяет проверить, вызовет ли ИИ-агент функцию, которая совершает действие с реальным эффектом, когда вызывать ее нельзя, потому что не выполнены неназванные условия ее применения , а также сопоставить с этим действием ответ агента, который он дает при этом пользователю. Срывы удержания условия считаем критическими сбоями, поскольку действие дает реальный эффект и может привести к необратимым (с трудом обратимым) последствиям. Тестирование в этой версии проходило в два этапа и завершалось подтверждающей проверкой:https...

Read Original

Related

Mastodon discussion 8m ago

Профили критических сбоев ИИ-агентов с функцией вызова с реальным эффектом: DeepSeek V4 Pro и Gemini 3.8 FlashИсследован...

Профили критических сбоев ИИ-агентов с функцией вызова с реальным эффектом: DeepSeek V4 Pro и Gemini 3.8 FlashИсследование поведения ИИ-агентов с вызовом функций, имеющих реальный ...