Создатель RLHF вошёл в совет OpenAI

Пол Кристиано — один из создателей RLHF, метода обучения с подкреплением от людей, на котором держатся все современные языковые модели, — вошёл в совет директоров фонда OpenAI. Он займёт место в Комитете по безопасности, который обладает финальным правом вето на выпуск новых моделей. Кристиано покинул OpenAI ещё в 2021 году, основал Alignment Research Center и с тех пор предупреждал: стремительный рост возможностей ИИ несёт «значимый риск катастрофической и необратимой потери контроля».

OpenAI вводит в совет человека, который изобрёл ключевую технику выравнивания ИИ — и при этом публично считает её недостаточной защитой от катастрофы. Теперь у Комитета по безопасности есть голос, настроенный на торможение, а не ускорение релизов: это принципиально меняет структуру принятия решений в самой влиятельной AI-лаборатории мира.