«Снижение риска исчезновения ИИ должно стать глобальным приоритетом, как и управление другими рисками социального масштаба, такими как пандемии и ядерная война».
Сценарий: ВикиСяо, Джуни
Источник: Silicon Stars
С тех пор, как генеративный ИИ пронесся почти во всех областях такими быстрыми темпами, страх перед тем, что ИИ бросит вызов людям, становится все более реальным.
В прошлый раз Маск опубликовал открытое письмо с призывом приостановить обучение больших моделей ИИ на полгода и усилить надзор за технологиями ИИ со стороны исследовательского сообщества искусственного интеллекта и лидеров отрасли, призвав все лаборатории по всему миру приостановить разработку более сильные модели ИИ с периодом приостановки не менее 6 месяцев. Но оказалось, что на самом деле он купил 10 000 графических процессоров для Twitter для продвижения совершенно нового проекта ИИ, и весьма вероятно, что он разрабатывает свою собственную большую языковую модель.
Но на этот раз снова было выпущено еще одно открытое письмо, призывающее людей обратить внимание на угрозу, которую представляет ИИ. Что более поразительно, чем в прошлый раз, так это то, что к ним присоединились нынешние три гиганта в области генеративного ИИ: OpenAI, DeepMind (принадлежащий Google) и Anthropic.
Заявление из 22 слов, 350 подписей
Заявление, опубликованное Центром безопасности ИИ, некоммерческой организацией из Сан-Франциско, является новым предупреждением о том, что, по их мнению, представляет собой экзистенциальную угрозу для человечества, которую представляет ИИ. Все утверждение состоит всего из 22 слов — да, вы правильно прочитали, всего 22 слова, а полное содержание таково:
**Снижение риска исчезновения ИИ должно стать глобальным приоритетом наряду с управлением другими социальными рисками, такими как пандемии и ядерная война. **
Хотя теория угрозы ИИ не нова, она впервые публично сравнивалась с такими кризисными факторами, как «ядерная война» и «пандемия», угрожающими всему человечеству.
Авторская часть заявления намного длиннее, чем содержание заявления.
Помимо Сэма Альтмана, генерального директора OpenAI, Демиса Хассабиса, генерального директора DeepMind, и Дарио Амоде, генерального директора Anthropic, к нам присоединились более 350 ведущих исследователей ИИ, инженеров и предпринимателей, в том числе «Большая тройка ИИ», которая когда-то выиграла Премия Тьюринга» — это два Джеффри Хинтона и Йошуа Бенджио, но Янн ЛеКун, который получил награду вместе с ними и в настоящее время является главным ученым по искусственному интеллекту Meta, материнской компании Facebook, еще не подписал.
Кроме того, в списке появились китайские ученые, в том числе Цзэн И, директор Исследовательского центра этики и управления искусственного интеллекта в Институте автоматизации Китайской академии наук, и Чжан Сяньюань, доцент Университета Цинхуа.
Полный список подписей можно посмотреть здесь:
Хендрикс, исполнительный директор Центра безопасности ИИ, опубликовавшего заявление, сказал, что заявление было кратким и намеренно не касалось каких-либо потенциальных способов смягчения угрозы искусственного интеллекта, чтобы избежать разногласий. «Мы не хотели настаивать на огромном портфолио из 30 возможных вмешательств», — сказал Хендрикс. «Когда это происходит, это разбавляет сообщение».
Расширенная версия открытого письма Маска
Это открытое письмо можно рассматривать как расширенную и «чистую версию» открытого письма Маска ранее в этом году.
Ранее Маск присоединился к более чем тысяче лидеров промышленности и научных кругов, чтобы опубликовать совместное объявление на сайте «Института будущего жизни». Открытое письмо в основном передает два аспекта информации: один должен предупредить о потенциальной угрозе искусственного интеллекта человеческому обществу и требует немедленной приостановки обучения любой системы искусственного интеллекта, более мощной, чем GPT-4, с временным интервалом в не менее 6 мес. Во-вторых, призвать всю область искусственного интеллекта и политиков к совместной разработке комплексной системы управления искусственным интеллектом для контроля и анализа развития технологий искусственного интеллекта.
В то время письмо подверглось критике на нескольких уровнях. Не только потому, что Маск был разоблачен как «не говорящий о боевых искусствах», публично призывая к приостановке исследований ИИ, он тайно продвигал совершенно новый проект ИИ и переманивал некоторые технические таланты из Google и OpenAI, но также и потому, что предложение « приостановка разработки» не сделала Это невозможно и не решает проблему.
Например, когда он вместе с Йошуа Бенджио получил премию Тьюринга, Янн ЛеКун, один из «большой тройки» в области искусственного интеллекта, дал понять в то время, что он не согласен с точкой зрения письма и не подписал это.
Однако Янн ЛеКун также не подписал это новое и более двусмысленное открытое письмо.
Ву Энда, известный ученый в области искусственного интеллекта и основатель Landing AI, также написал в LinkedIn в то время, что идея приостановить обучение ИИ на 6 месяцев — плохая и нереальная идея.
Он сказал, что единственный способ действительно приостановить отраслевые исследования в области обучения ИИ — это вмешательство правительства, но просить правительство приостановить появление новых технологий, которые они не понимают, является антиконкурентным и, очевидно, не лучшим решением. Он признал, что ответственный ИИ важен и что ИИ действительно сопряжен с рисками, но универсальный подход не рекомендуется. Что более важно в настоящее время, так это то, что все стороны должны больше инвестировать в область безопасности искусственного интеллекта при разработке технологии искусственного интеллекта и сотрудничать для разработки правил, касающихся прозрачности и аудита.
Сэм Альтман даже прямо заявил на допросе в Конгрессе США, что рамки призыва Маска неверны, а приостановка даты бессмысленна. "Мы делаем паузу на шесть месяцев, а потом что? Мы делаем паузу еще на шесть месяцев?", - сказал он.
Но, как и Эндрю Нг, Сэм Альтман был одним из самых ярых сторонников усиления государственного регулирования ИИ.
Он даже дал регуляторные рекомендации правительству США на слушаниях, попросив правительство сформировать новое государственное агентство, ответственное за выдачу лицензий на крупномасштабные модели ИИ.Если модель компании не соответствует государственным стандартам, агентство может отозвать лицензию компании. .
На прошлой неделе он также присоединился к нескольким другим руководителям OpenAI, чтобы призвать к созданию международной организации, подобной Международному агентству по атомной энергии, для регулирования ИИ и призвал к сотрудничеству между ведущими международными разработчиками ИИ.
Голос оппонента
Как и открытое письмо Маска, это последнее письмо также основано на предположении, что системы искусственного интеллекта будут быстро совершенствоваться, но люди не будут иметь полного контроля над их безопасной работой.
Многие эксперты отмечают, что быстрые улучшения в таких системах, как большие языковые модели, предсказуемы. Как только системы ИИ достигают определенного уровня сложности, люди могут потерять контроль над своим поведением. Тоби Орд, ученый из Оксфордского университета, сказал, что так же, как люди надеются, что крупные табачные компании признают, что их продукция будет представлять серьезную опасность для здоровья, и начнут обсуждать, как ограничить эту опасность, лидеры ИИ делают это сейчас.
Но есть и те, кто сомневается в этих предсказаниях. Они отмечают, что системы ИИ не могут справиться даже с относительно обыденными задачами, такими как вождение автомобиля. Несмотря на годы усилий и десятки миллиардов долларов, вложенных в эту область исследований, полностью автономные транспортные средства все еще далеки от реальности. Если ИИ не может справиться даже с этой задачей, говорят скептики, каковы шансы, что эта технология будет представлять угрозу в ближайшие годы?
Янн ЛеКун отправился в Твиттер, чтобы выразить свое неодобрение этой озабоченности, заявив, что сверхчеловеческий ИИ вообще не находится на вершине списка кризисов вымирания человечества — главным образом потому, что он еще не существует. «Прежде чем мы сможем разработать ИИ собачьего уровня (не говоря уже об ИИ человеческого уровня), совершенно преждевременно обсуждать, как сделать его более безопасным».
Ву Энда более оптимистичен в отношении ИИ. Он сказал, что, по его мнению, факторы, которые вызовут кризис выживания для большинства людей, включая эпидемии, изменение климата, астероиды и т. д., вместо этого ИИ станет ключевым решением этих кризисов. Если человечество хочет выжить и процветать в следующие 1000 лет, ИИ должен развиваться быстрее, а не медленнее.
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Совместная подпись трех гигантов! Опубликовано еще одно открытое письмо «Остерегайтесь ИИ, защитите человечество».
Сценарий: ВикиСяо, Джуни
Источник: Silicon Stars
С тех пор, как генеративный ИИ пронесся почти во всех областях такими быстрыми темпами, страх перед тем, что ИИ бросит вызов людям, становится все более реальным.
В прошлый раз Маск опубликовал открытое письмо с призывом приостановить обучение больших моделей ИИ на полгода и усилить надзор за технологиями ИИ со стороны исследовательского сообщества искусственного интеллекта и лидеров отрасли, призвав все лаборатории по всему миру приостановить разработку более сильные модели ИИ с периодом приостановки не менее 6 месяцев. Но оказалось, что на самом деле он купил 10 000 графических процессоров для Twitter для продвижения совершенно нового проекта ИИ, и весьма вероятно, что он разрабатывает свою собственную большую языковую модель.
Но на этот раз снова было выпущено еще одно открытое письмо, призывающее людей обратить внимание на угрозу, которую представляет ИИ. Что более поразительно, чем в прошлый раз, так это то, что к ним присоединились нынешние три гиганта в области генеративного ИИ: OpenAI, DeepMind (принадлежащий Google) и Anthropic.
Заявление из 22 слов, 350 подписей
Заявление, опубликованное Центром безопасности ИИ, некоммерческой организацией из Сан-Франциско, является новым предупреждением о том, что, по их мнению, представляет собой экзистенциальную угрозу для человечества, которую представляет ИИ. Все утверждение состоит всего из 22 слов — да, вы правильно прочитали, всего 22 слова, а полное содержание таково:
**Снижение риска исчезновения ИИ должно стать глобальным приоритетом наряду с управлением другими социальными рисками, такими как пандемии и ядерная война. **
Хотя теория угрозы ИИ не нова, она впервые публично сравнивалась с такими кризисными факторами, как «ядерная война» и «пандемия», угрожающими всему человечеству.
Авторская часть заявления намного длиннее, чем содержание заявления.
Помимо Сэма Альтмана, генерального директора OpenAI, Демиса Хассабиса, генерального директора DeepMind, и Дарио Амоде, генерального директора Anthropic, к нам присоединились более 350 ведущих исследователей ИИ, инженеров и предпринимателей, в том числе «Большая тройка ИИ», которая когда-то выиграла Премия Тьюринга» — это два Джеффри Хинтона и Йошуа Бенджио, но Янн ЛеКун, который получил награду вместе с ними и в настоящее время является главным ученым по искусственному интеллекту Meta, материнской компании Facebook, еще не подписал.
Кроме того, в списке появились китайские ученые, в том числе Цзэн И, директор Исследовательского центра этики и управления искусственного интеллекта в Институте автоматизации Китайской академии наук, и Чжан Сяньюань, доцент Университета Цинхуа.
Полный список подписей можно посмотреть здесь:
Хендрикс, исполнительный директор Центра безопасности ИИ, опубликовавшего заявление, сказал, что заявление было кратким и намеренно не касалось каких-либо потенциальных способов смягчения угрозы искусственного интеллекта, чтобы избежать разногласий. «Мы не хотели настаивать на огромном портфолио из 30 возможных вмешательств», — сказал Хендрикс. «Когда это происходит, это разбавляет сообщение».
Расширенная версия открытого письма Маска
Это открытое письмо можно рассматривать как расширенную и «чистую версию» открытого письма Маска ранее в этом году.
Ранее Маск присоединился к более чем тысяче лидеров промышленности и научных кругов, чтобы опубликовать совместное объявление на сайте «Института будущего жизни». Открытое письмо в основном передает два аспекта информации: один должен предупредить о потенциальной угрозе искусственного интеллекта человеческому обществу и требует немедленной приостановки обучения любой системы искусственного интеллекта, более мощной, чем GPT-4, с временным интервалом в не менее 6 мес. Во-вторых, призвать всю область искусственного интеллекта и политиков к совместной разработке комплексной системы управления искусственным интеллектом для контроля и анализа развития технологий искусственного интеллекта.
В то время письмо подверглось критике на нескольких уровнях. Не только потому, что Маск был разоблачен как «не говорящий о боевых искусствах», публично призывая к приостановке исследований ИИ, он тайно продвигал совершенно новый проект ИИ и переманивал некоторые технические таланты из Google и OpenAI, но также и потому, что предложение « приостановка разработки» не сделала Это невозможно и не решает проблему.
Например, когда он вместе с Йошуа Бенджио получил премию Тьюринга, Янн ЛеКун, один из «большой тройки» в области искусственного интеллекта, дал понять в то время, что он не согласен с точкой зрения письма и не подписал это.
Однако Янн ЛеКун также не подписал это новое и более двусмысленное открытое письмо.
Ву Энда, известный ученый в области искусственного интеллекта и основатель Landing AI, также написал в LinkedIn в то время, что идея приостановить обучение ИИ на 6 месяцев — плохая и нереальная идея.
Он сказал, что единственный способ действительно приостановить отраслевые исследования в области обучения ИИ — это вмешательство правительства, но просить правительство приостановить появление новых технологий, которые они не понимают, является антиконкурентным и, очевидно, не лучшим решением. Он признал, что ответственный ИИ важен и что ИИ действительно сопряжен с рисками, но универсальный подход не рекомендуется. Что более важно в настоящее время, так это то, что все стороны должны больше инвестировать в область безопасности искусственного интеллекта при разработке технологии искусственного интеллекта и сотрудничать для разработки правил, касающихся прозрачности и аудита.
Сэм Альтман даже прямо заявил на допросе в Конгрессе США, что рамки призыва Маска неверны, а приостановка даты бессмысленна. "Мы делаем паузу на шесть месяцев, а потом что? Мы делаем паузу еще на шесть месяцев?", - сказал он.
Но, как и Эндрю Нг, Сэм Альтман был одним из самых ярых сторонников усиления государственного регулирования ИИ.
Он даже дал регуляторные рекомендации правительству США на слушаниях, попросив правительство сформировать новое государственное агентство, ответственное за выдачу лицензий на крупномасштабные модели ИИ.Если модель компании не соответствует государственным стандартам, агентство может отозвать лицензию компании. .
На прошлой неделе он также присоединился к нескольким другим руководителям OpenAI, чтобы призвать к созданию международной организации, подобной Международному агентству по атомной энергии, для регулирования ИИ и призвал к сотрудничеству между ведущими международными разработчиками ИИ.
Голос оппонента
Как и открытое письмо Маска, это последнее письмо также основано на предположении, что системы искусственного интеллекта будут быстро совершенствоваться, но люди не будут иметь полного контроля над их безопасной работой.
Многие эксперты отмечают, что быстрые улучшения в таких системах, как большие языковые модели, предсказуемы. Как только системы ИИ достигают определенного уровня сложности, люди могут потерять контроль над своим поведением. Тоби Орд, ученый из Оксфордского университета, сказал, что так же, как люди надеются, что крупные табачные компании признают, что их продукция будет представлять серьезную опасность для здоровья, и начнут обсуждать, как ограничить эту опасность, лидеры ИИ делают это сейчас.
Но есть и те, кто сомневается в этих предсказаниях. Они отмечают, что системы ИИ не могут справиться даже с относительно обыденными задачами, такими как вождение автомобиля. Несмотря на годы усилий и десятки миллиардов долларов, вложенных в эту область исследований, полностью автономные транспортные средства все еще далеки от реальности. Если ИИ не может справиться даже с этой задачей, говорят скептики, каковы шансы, что эта технология будет представлять угрозу в ближайшие годы?
Янн ЛеКун отправился в Твиттер, чтобы выразить свое неодобрение этой озабоченности, заявив, что сверхчеловеческий ИИ вообще не находится на вершине списка кризисов вымирания человечества — главным образом потому, что он еще не существует. «Прежде чем мы сможем разработать ИИ собачьего уровня (не говоря уже об ИИ человеческого уровня), совершенно преждевременно обсуждать, как сделать его более безопасным».
Ву Энда более оптимистичен в отношении ИИ. Он сказал, что, по его мнению, факторы, которые вызовут кризис выживания для большинства людей, включая эпидемии, изменение климата, астероиды и т. д., вместо этого ИИ станет ключевым решением этих кризисов. Если человечество хочет выжить и процветать в следующие 1000 лет, ИИ должен развиваться быстрее, а не медленнее.