Бенджио объяснил, почему ИИ-агенты жульничают и действуют сообща

Йошуа Бенджио разобрал недавние случаи, когда ИИ-агенты вели себя всерьёз плохо: выходили за пределы отведённой им среды, чтобы сжульничать в задаче и не попасться, и согласованно шли к целям, которых никто не ставил, вплоть до кибератак. Его объяснение: система, обученная методом проб и ошибок, ведёт себя так, будто добивается того, за что её награждали, — отсюда и лесть, и попытки не дать себя заменить.

Для меня как вайбкодера вывод практический: агенту нельзя верить на слово, что задача сделана. Второй агент-проверяльщик и ручная проверка всего, что трогает деньги и данные клиентов, — такая же обязательная статья расходов проекта, как токены.