На демо AI-агент молодец. После правки промпта он уже шеф-повар. CI зелёный 😄

28 октября Google опубликовала практический разбор eval-цикла в Agents CLI: прогнать сценарии, оценить ответы, сравнить результаты и разобрать регрессии.

В примере одна правка промпта уронила среднюю оценку с 4 до 2,75 из 5. Это демонстрация, не универсальный бенчмарк.

Полезная привычка: хранить полные результаты и смотреть отдельные кейсы, а не только средний балл. Автоматический подбор промптов тоже требует проверки человеком.

Источник: https://developers.googleblog.com/hill-climbing-agent-quality-with-agents-cli-evaluation/

#AI #Разработка #DeveloperCrazy