По их мнению, нынешние системы уже непредсказуемы и неподконтрольны никому — даже их создателям.

В открытом письме Илон Маск и ведущие исследователи назвали гонку в сфере искусственного интеллекта рискованной и призвали к созданию независимых надзорных органов для обеспечения безопасности, пишет The Verge.

Ряд известных исследователей искусственного интеллекта и миллиардер Илон Маск подписали открытое письмо с призывом к исследовательским лабораториям по всему миру приостановить разработку крупномасштабных систем этой сфере из-за вытекающих "глубинных рисков для общества и всего человечества".

В письме, опубликованном некоммерческой организацией Институт будущей жизни, отмечается, что сегодня лаборатории искусственного интеллекта втянулись в "неуправляемую гонку" по разработке и внедрению систем машинного обучения, которые "непонятны, непредсказуемы и неподконтрольны даже их создателям".

"Мы призываем все лаборатории ИИ немедленно свернуть обучение систем ИИ мощнее GPT-4 как минимум на полгода, — говорится в письме. — Этот перерыв должен быть публичным и достоверным и соблюдаться всеми ключевыми участниками. Если договориться об этом в кратчайшие сроки не удастся, правительства должны вмешаться и ввести мораторий".

Помимо прочих письмо подписали: писатель Юваль Ноа Харари, соучредитель Apple Стив Возняк, соучредитель Skype Яан Таллинн, политик Эндрю Янг и ряд известных исследователей и руководителей компаний в сфере ИИ, в том числе Стюарт Рассел, Йошуа Бенжио, Гэри Маркус и Эмад Мостак.

Однако к новым именам в списке следует относиться с осторожностью, поскольку есть сведения, что некоторых занесли туда шутки ради (в частности, генерального директора OpenAI Сэма Альтмана, который во многом определяет ход гонки в сфере ИИ).

Едва ли письмо окажет сколь-либо существенное влияние на сложившийся климат в исследованиях ИИ, поскольку технологические гиганты вроде Google и Microsoft торопятся с запуском новых продуктов, подчас совершенно не считаясь с прошлыми опасениями насчет безопасности и этики. И все же это говорит о том, что сопротивление подходу "отправь сейчас, а исправь позже" крепнет. Со временем это неприятие может перекинуться в политику и стать предметом рассмотрения законодателей.

Как отмечается в письме, сама компания OpenAI признала потенциальную необходимость "независимой проверки" будущих систем ИИ на предмет соответствия стандартам безопасности. Авторы письма полагают, что момент для этого уже настал.

"Лаборатории ИИ и независимые эксперты должны воспользоваться этим перерывом для совместной разработки и внедрения общих протоколов безопасности при проектировании и разработке продвинутых систем ИИ, которые будут тщательно проверяться и контролироваться независимыми сторонними экспертами, — пишут они. — Эти протоколы должны гарантировать однозначную безопасность поддерживающих их систем".

Мы призываем все лаборатории ИИ немедленно свернуть обучение систем ИИ мощнее GPT-4 как минимум на полгода.

Системы искусственного интеллекта, потенциально соперничающие с человеком, могут представлять глубинную опасность для общества и человечества. Это показали обширные исследования и признано ведущими лабораториями ИИ. Как отмечено в общепризнанных Асиломарских принципах, продвинутый ИИ может повлечь за собой коренную перемену в жизни на Земле, поэтому его следует планировать и управлять им с должным тщанием и соответствующими ресурсами.

Увы, надлежащего уровня планирования и управления мы не наблюдаем — наоборот, за последние месяцы лаборатории искусственного интеллекта втянулись в неуправляемую гонку по разработке и внедрению систем машинного обучения, которые непонятны, непредсказуемы и неподконтрольны никому — даже их создателям.

Современные системы искусственного интеллекта постепенно становятся конкурентоспособными в решении общих задач, и мы должны задаться вопросом: можем ли мы позволить, чтобы машины заполоняли наши информационные каналы пропагандой и неправдой? Надо ли автоматизировать все подряд рабочие места — даже те, что приносят удовлетворение? Надо ли развивать нечеловеческий разум, который в конечном счете превзойдет нас числом, перехитрит и заменит как безнадежно устаревших? Можем ли мы рисковать утратой контроля над всей нашей цивилизацией? Такие решения нельзя отдавать на откуп технологическим лидерам, которых никто не выбирал. Мощные системы искусственного интеллекта следует разрабатывать лишь в том случае, если мы полностью уверены, что сами они принесут пользу, а сопутствующие риски окажутся управляемыми.

Эта уверенность должна быть оправдана и крепнуть с ростом потенциальных последствий. В недавнем заявлении о развитии ИИ компания OpenAI признала: "В какой-то момент перед обучением будущих систем может понадобится независимая оценка, а перед разработкой самых передовых из них — ограничение скорости роста вычислений". Мы согласны. И этот момент настал.

Поэтому мы призываем все лаборатории немедленно свернуть обучение систем ИИ мощнее GPT-4 как минимум на полгода. Этот перерыв должен быть публичным и достоверным и соблюдаться всеми ключевыми участниками. Если договориться об этом в кратчайшие сроки не удастся, правительства должны вмешаться и ввести мораторий.

Лаборатории ИИ и независимые эксперты должны воспользоваться этим перерывом для совместной разработки и внедрения общих протоколов безопасности при проектировании и разработке продвинутых систем ИИ, которые будут тщательно проверяться и контролироваться независимыми сторонними экспертами. Эти протоколы должны гарантировать однозначную безопасность поддерживающих их систем. Это означает не паузу в развитии ИИ как такового, а лишь приостановку опасной погони за все более крупными и непредсказуемыми моделями черного ящика, чьи возможности еще только проявляются.

Исследования и разработки в области ИИ должны быть переориентированы, чтобы сделать современные мощные системы более точными, безопасными, объясняемыми, прозрачными, надежными, согласованными, безотказными и верными.

Параллельно разработчики должны в сотрудничестве с политиками значительно ускорить разработку надежных систем управления ИИ. В них должны войти как минимум следующие элементы: новые, дееспособные регулирующие органы по вопросам ИИ; надзор и отслеживание высокопроизводительных систем ИИ и больших массивов вычислительных мощностей; системы происхождения и водяных знаков, помогающие отличить оригинал от синтезированного продукта и отслеживать утечки моделей; надежная экосистема аудита и сертификации; ответственность за вред, причиненный ИИ; надежное государственное финансирование технических исследований безопасности ИИ; и, наконец, обеспеченные ресурсами институты для преодоления серьезных экономических и политических потрясений в результате деятельности ИИ (особенно для демократий).

В будущем благодаря ИИ человечество сможет добиться процветания. Если мы преуспеем в создании мощных систем, нас ждет "лето ИИ", когда мы будем пожинать плоды, разработав эти системы ради общего блага и дав обществу возможность адаптироваться. Общество уже останавливало применение других технологий с потенциально катастрофическими для себя последствиями. Мы можем повторить это и здесь. Давайте же вместе радоваться "лету ИИ", а не бросаться очертя голову в осень.

Йошуа Бенжио, лауреат премии Тьюринга за развитие глубокого обучения, глава Монреальского института алгоритмов обучения

Стюарт Рассел, профессор компьютерных наук Университета Беркли, директор Центра интеллектуальных систем и соавтор учебника "Искусственный интеллект: современный подход"

Илон Маск, генеральный директор SpaceX, Tesla и Twitter

Стив Возняк, сооснователь Apple

Юваль Ной Харари, писатель и профессор Еврейского университета в Иерусалиме

Эндрю Янг, сопредседатель партии "Вперед" кандидат в президенты 2020 года, президентский посол в области глобального предпринимательства

Коннор Лихи, генеральный директор Conjecture

Яан Таллинн, соучредитель Skype, Центр изучения экзистенциального риска, Институт будущей жизни

https://inosmi.ru/20230329/mask-261791950.html?utm_source=yxnews&utm_medium=desktop