Источник изображения: сгенерировано инструментом Unbounded AI
Когда ежемесячная активность ChatGPT достигла отметки в 1 миллиард, «мировое турне» основателя OpenAI Сэма Альтмана также привлекло внимание.
На этой неделе Сэм Альтман приехал в Тель-Авивский университет в Израиле и провел яркое и подробное интервью с Ильей Суцкавелем, главным научным сотрудником OpenAI, выросшим в Израиле (эти двое редко находились на одной сцене).Сэм на мгновение растерялся. для слов, когда его спросили, и это стоило того, чтобы слушать.
Основная точка зрения:
** 1. Преимущества OpenAI: ** Мы больше сосредоточены на том, что мы делаем, и наша культура ориентирована на строгие и воспроизводимые инновации.
2. Место научных кругов в области искусственного интеллекта. Раньше научные круги были в авангарде исследований в области искусственного интеллекта, но сейчас ситуация изменилась из-за более слабой вычислительной мощности и отсутствия инженерной культуры. Но академические круги все еще могут внести важный вклад в ИИ, разгадывая многие загадки нейронных сетей, которые мы обучаем.
**3. Открытый исходный код или закрытый исходный код: **Мы открыли исходный код для некоторых моделей и планируем открыть исходный код для большего количества моделей, но мы не думаем, что это правильная стратегия - открывать исходный код для всех моделей, и мы прилагаем все усилия. найти баланс.
** 4. Риски, которые нельзя игнорировать в ИИ: ** Затрагиваются рабочие места, хакеры обретают сверхразум, а системы теряют контроль — вот три тревожных риска ИИ. ИИ может делать удивительные вещи, но он также может делать и плохие вещи, поэтому у нас есть соответствующие регулирующие структуры для контроля за использованием этой технологии, такие как создание глобальных институтов.
**5. Ускорит ли ИИ научные открытия: **ИИ может помочь людям достичь некоторых научных целей, которые в настоящее время недостижимы, таких как содействие развитию медицины и здравоохранения, смягчение последствий изменения климата и даже исследование тайн Вселенной. которые больше всего волнуют людей.
В целом интервью не лишено глубины, но также интересно.
Например, Илья с радостью рассказал, что его родители сказали ему, что его друзья также ежедневно используют ChatGPT, что его очень удивило. А на вопрос публики «Ты делаешь историю, какой ты хочешь, чтобы история запомнила тебя?», Илья тоже остроумно ответил: ** «В смысле, в лучшем виде».**
Ниже приводится полный текст интервью:
Кандидат наук и выбывший: две разные жизни до OpenAI
Илья：
С 5 до 16 лет я жил в Иерусалиме. С 2000 по 2002 год я учился в Открытом университете. Затем я перешел в Университет Торонто, где провел 10 лет и получил степени бакалавра, магистра и доктора философии. Во время учебы в аспирантуре я имел честь внести свой вклад в важные достижения в области глубокого обучения. Затем я вместе с несколькими людьми основал компанию, которая была приобретена Google, где я некоторое время работал.
Затем, однажды я получил электронное письмо от Сэма, в котором говорилось: «Привет, давай пообщаемся с крутыми людьми». Тогда я впервые встретил Элона Маска и Грега Брокмана, и мы решили начать путешествие по OpenAI. Мы занимаемся этим уже много лет, так что это то, где мы находимся в настоящее время.
Сам:
В детстве я был очень увлечен ИИ и был фанатом научной фантастики. Мне никогда не приходило в голову, что у меня есть возможность изучить его, но затем, в колледже, я некоторое время начал над ним работать. Но тогда еще не было такого успеха, это был 2004 год... Я бросил школу и занялся стартапами.
Через какое-то время после прогресса, о котором говорил Илья, я очень обрадовался тому, что происходит с ИИ, и отправил ему электронное письмо, и мы все еще продолжаем.
Преимущества OpenAI
хозяин:
В чем вы видите основные сильные стороны OpenAI, тем более, что конкуренты часто крупнее и имеют больше ресурсов, что делает его лидером в области генеративного ИИ?
Сам:
Мы считаем, что ключевым преимуществом является наше повышенное внимание к тому, что мы делаем. Важно и неправильно понимается, что у нас выше плотность талантов, чем в крупных компаниях. **Наша культура ценит строгость и повторяемость инноваций, и эти две культуры сосуществуют редко и сложно. **
Илья：
Да, я могу лишь немного добавить к ответу Сэма. ** Это игра веры, чем больше веры, тем больше прогресс. **Вы добьетесь наибольшего прогресса, если у вас будет много веры. Это может звучать как шутка, но на самом деле это правда. Вы должны верить в идею и упорно ее продвигать, вот что движет прогрессом.
Позиция академии в области ИИ
хозяин:
Недавние достижения в области искусственного интеллекта в значительной степени были обусловлены промышленностью. Как вы думаете, какую роль должны играть академические исследования в развитии этой области?
Илья：
Роль научных кругов в области ИИ существенно изменилась. Раньше академические круги были в авангарде исследований ИИ, но сейчас все изменилось. Причин две: вычислительная мощность и инженерная культура. Академия имеет меньшую вычислительную мощность и часто испытывает недостаток в инженерной культуре.
Тем не менее академические круги по-прежнему могут внести значительный и важный вклад в развитие ИИ. ** Академия может разгадать множество тайн нейронных сетей, которые мы обучаем, и создаем сложные и удивительные объекты. **
Что такое глубокое обучение? Это алхимический процесс, в котором мы используем данные в качестве сырья в сочетании с вычислительной энергией для получения этого интеллекта. Но что именно? Как это работает? Какими свойствами он обладает? Как мы это контролируем? Как понять это? Как это применить? Как это измерить? Все эти вопросы неизвестны.
**Даже при выполнении простых задач измерения мы не можем точно оценить производительность нашего ИИ. В прошлом это не было проблемой, потому что ИИ не был так уж важен. Искусственный интеллект сейчас очень важен, но мы понимаем, что до сих пор не можем его полностью измерить. **
Итак, я начал думать о некоторых проблемах, которые никто не может решить. Вам не нужны огромные вычислительные кластеры или огромные группы инженеров, чтобы задавать эти вопросы и добиваться прогресса. Если вы прорветесь, это будет убедительный и значимый вклад, на который все сразу обратят внимание.
хозяин:
Мы хотим видеть прогресс, полностью сбалансированный между промышленностью и научными кругами, и мы хотим видеть больше подобных вкладов. Как вы думаете, можно ли что-то сделать для улучшения ситуации, особенно с вашей позиции, есть ли какая-то поддержка?
Илья：
Прежде всего, я думаю, что изменение мышления — это первое и самое важное. В последнее время я немного не в академических кругах, но я думаю, что в том, что мы делаем, есть некоторый кризис.
Слишком большой импульс вокруг большого количества работ, но важно сосредоточиться на решении наиболее острых проблем. Нам нужно изменить свое мышление и сосредоточиться на самых важных вопросах. **Мы не можем просто сосредоточиться на том, что мы уже знаем, но должны осознавать, что не так. ** Как только мы поймем проблемы, мы сможем двигаться к их решению.
Кроме того, мы можем помочь. Например, у нас есть Программа академического доступа, в рамках которой ученые могут подать заявку на получение вычислительных мощностей и доступа к нашим современным моделям. Многие университеты написали статьи с использованием GPT-3, изучая свойства и погрешности моделей. Если у вас есть еще идеи, я хотел бы услышать их.
с открытым исходным кодом ИЛИ не с открытым исходным кодом
хозяин:
В то время как некоторые игроки действительно продвигают выпуск своих моделей и кода с открытым исходным кодом, другие делают недостаточно. Это также касается открытого ИИ. Так что мне интересно, прежде всего, что вы думаете об этом? Если вы согласны, почему вы считаете OpenAI правильной стратегией?
Сам:
** Мы открыли исходный код некоторых моделей и со временем планируем сделать открытым исходный код еще большего числа моделей. Но я не думаю, что открытый исходный код — это правильная стратегия. **Если сегодняшние модели интересны, они могут быть для чего-то полезны, но они все же относительно примитивны по сравнению с тем, что мы собираемся создать. Я думаю, что большинство людей согласится с этим. Если мы знаем, как создать сверхмощный ОИИ, который имеет много преимуществ, но также и недостатков, открытый исходный код может оказаться не лучшим вариантом.
**Поэтому мы пытаемся найти баланс. ** Мы откроем исходный код некоторых вещей, и по мере того, как наше понимание модели будет улучшаться, мы сможем открывать исходный код со временем. Мы выпустили много материала, и я думаю, что многие из ключевых идей, которые другие строят языковые модели прямо сейчас, взяты из выпусков OpenAI, таких как ранние документы GPT и законы масштабирования из работы rohf. Но это баланс, который мы должны выяснить по мере продвижения вперед. Мы сталкиваемся со многими различными стрессорами и должны успешно с ними справляться.
хозяин:
Итак, вы рассматриваете возможность сделать модель доступной для конкретной аудитории, а не открывать ее для всего мира? О чем вы думаете как ученый, или как мы заканчиваем обучение GPT-4?
Сам:
Нам потребовалось почти восемь месяцев, чтобы понять это, защитить его и понять, как настроить. У нас есть внешние аудиторы, красные команды и научное сообщество. Поэтому мы предпринимаем эти шаги и будем продолжать это делать.
Риски, которые ИИ не может игнорировать
хозяин:
Я действительно думаю, что риск — это очень важный вопрос, и существует, по крайней мере, три категории риска.
Во-первых, это экономическая неустроенность, при которой рабочие места становятся излишними. Ко второй категории могут относиться ситуации, когда мощное оружие находится в руках немногих. Например, если бы хакеры могли использовать эти инструменты, они могли бы делать вещи, на которые раньше уходили тысячи хакеров. Последняя категория, вероятно, вызывает наибольшее беспокойство, когда система вышла из-под контроля, и даже триггер не может предотвратить ее поведение. Я хотел бы знать, что вы думаете о каждом из этих сценариев.
Илья：
Хорошо, давайте начнем с возможных сценариев экономического хаоса. Как вы упомянули, в ** есть три риска: компрометация рабочих мест, обретение хакерами сверхразума и выход систем из-под контроля. ** Экономический хаос — это действительно ситуация, с которой мы уже знакомы, поскольку некоторые рабочие места уже затронуты или находятся под угрозой.
Другими словами, некоторые задачи можно автоматизировать. Например, если вы программист, Copilot может написать для вас функции. Хотя это отличается от случая с художниками, поскольку многие виды экономической деятельности художников были заменены некоторыми генераторами изображений.
Я не думаю, что это действительно простой вопрос. **Несмотря на создание новых рабочих мест, экономическая неопределенность сохранится еще долгое время. Я не уверен, что это так. **
В любом случае, однако, нам нужно что-то, чтобы сгладить переход к натиску новых профессий, даже если этих профессий еще не существует. Это требует внимания правительства и социальной системы.
Теперь поговорим о взломе. Да, это непростой вопрос. ИИ действительно мощный, и плохие парни могут использовать его мощными способами. Нам нужно применить структуру, аналогичную другим очень мощным и опасным инструментам.
Обратите внимание, что сегодня мы говорим не об искусственном интеллекте, а о возрастающих возможностях с течением времени. Сейчас мы находимся на низком уровне, но когда мы туда доберемся, он будет очень сильным. **Эту технологию можно использовать в удивительных целях, ее можно использовать для лечения болезней, но она также может создавать болезни хуже, чем все, что было раньше.
Поэтому нам нужны структуры для контроля за использованием этой технологии. Сэм, например, представил им документ, предлагающий структуру, подобную МАГАТЭ, для контроля над ядерной энергией, чтобы контролировать очень мощный искусственный интеллект. **
хозяин:
Последний вопрос касается сверхразумного искусственного интеллекта, выходящего из-под контроля. Можно сказать, что это станет огромной проблемой. Является ли ошибкой создание сверхразумного искусственного интеллекта, которым мы не знаем, как управлять?
Сам:
Могу добавить несколько моментов. Конечно, я полностью согласен с последней фразой.
На экономическом фронте мне трудно предсказать будущее развитие событий. Я думаю, это потому, что сейчас в мире так много избыточного спроса, и эти системы действительно хорошо помогают добиться цели. Но в большинстве случаев сегодня не все задачи им под силу.
** Я думаю, что в краткосрочной перспективе все выглядит хорошо, и мы увидим значительный рост производительности. **Если бы мы могли повысить производительность программистов в два раза, объем необходимого в мире кода увеличился бы более чем в три раза, так что все выглядит нормально.
В долгосрочной перспективе, я думаю, эти системы будут справляться со все более сложными задачами и категориями работы. Некоторые из этих профессий могут исчезнуть**, но другие станут больше похожи на профессии, которые действительно требуют людей и человеческих отношений. **Люди действительно хотят, чтобы люди играли эти роли.
Эти роли могут быть неочевидными. Например, когда Deep Blue победил Гарри Каспарова, мир впервые увидел искусственный интеллект. В то время все говорили, что с шахматами покончено и никто больше не будет играть в шахматы, потому что в этом нет смысла.
Однако мы пришли к единому мнению, что шахматы никогда не были так популярны. Люди сильнее, просто ожидания завышены. Мы можем использовать эти инструменты для улучшения собственных навыков, но людям по-прежнему нравится играть в шахматы, и кажется, что люди по-прежнему заботятся о других людях.
Вы упомянули, что Долли может создавать великолепные произведения искусства, но люди по-прежнему заботятся о людях, стоящих за произведениями искусства, которые они хотят купить, и мы все считаем этих создателей особенными и ценными.
Возьмем, к примеру, шахматы: так же, как люди уделяют больше внимания человеческим шахматам, больше людей смотрят человеческие шахматы, чем когда-либо прежде. Однако мало кто хочет смотреть матч двух ИИ. Так что я думаю, что это будут все эти непредсказуемые факторы. ** Я думаю, что люди жаждут дифференциации (между людьми и машинами). **
Необходимость создавать что-то новое для получения статуса будет всегда, но проявляться она будет совсем по-другому. Бьюсь об заклад, что рабочие места через 100 лет будут совершенно другими, чем рабочие места сегодня, и многие из этих вещей будут очень похожи. Но я действительно согласен с тем, что сказал Илья: **Что бы ни случилось, нам нужен другой вид социально-экономического договора, потому что автоматизация достигла невообразимых доселе высот. **
хозяин:
Сэм, вы недавно подписали петицию, призывающую серьезно отнестись к экзистенциальной угрозе искусственного интеллекта. Возможно, такие компании, как OpenAI, должны предпринять шаги для решения этой проблемы.
Сам:
Я действительно хочу подчеркнуть, что здесь мы говорим не о современных системах, не о моделях обучения небольших стартапов или сообществах с открытым исходным кодом.
Я думаю, что было бы ошибкой прямо сейчас вводить жесткое регулирование в этой области или пытаться замедлить невероятные инновации. Очень не хочется создавать непоследовательный сверхразум, который кажется бесспорным. ** Я думаю, что мир должен рассматривать это не как научно-фантастический риск, который никогда не наступит, а как нечто, с чем нам, возможно, придется иметь дело в следующем десятилетии, потребуется время, чтобы привыкнуть к некоторым вещам, но это победит. быть длинным. **
Итак, мы придумали идею, и, надеюсь, лучшую. Если мы сможем создать глобальную организацию с высочайшим уровнем вычислительной мощности и передовых технологий, можно будет разработать структуру для лицензирования моделей и аудита их безопасности, чтобы убедиться, что они проходят необходимые тесты. Это поможет нам рассматривать эту проблему как очень серьезный риск. Мы делаем что-то подобное с ядерной энергией.
Будет ли ИИ ускорять научные открытия в будущем? Вылечить болезнь, решить климатические проблемы?
хозяин:
Поговорим о преимуществах. В той научной среде, в которой мы находимся, меня интересует роль искусственного интеллекта. Через несколько лет, может быть, в будущем нам предстоит открыть что-то научное.
Сам:
** Это то, что лично меня больше всего волнует в ИИ. ** Я думаю, что происходит много интересного, огромные экономические выгоды, огромные преимущества для здравоохранения. Но на самом деле искусственный интеллект может помочь нам сделать некоторые научные открытия, которые в настоящее время невозможны. Мы хотели бы узнать о тайнах Вселенной и даже больше. Я искренне верю, что научно-технический прогресс — единственный устойчивый способ сделать жизнь лучше, а мир — лучше.
Если мы сможем разработать много новых научных и технологических достижений, я думаю, мы уже видели зачатки людей. Используйте эти инструменты для повышения эффективности. Но если вы представите себе мир, в котором вы можете сказать: «Эй, я могу помочь вылечить все болезни», и это может помочь вам вылечить все болезни, этот мир может стать лучше. Я не думаю, что мы так далеки от этого.
хозяин:
Помимо болезней, еще одной серьезной проблемой является изменение климата, решить которую очень сложно. Но я не думаю, что будет особенно сложно бороться с изменением климата, когда у нас будут действительно мощные сверхинтеллектуальные системы.
Илья：
Да, вам нужно много улавливания углерода. Вам нужна энергия для улавливания углерода, и вам нужна технология для ее создания. Если можно ускорить науку, нужно много строить. Прогресс — это то, на что способен мощный искусственный интеллект, и мы можем намного быстрее добиться очень продвинутого улавливания углерода. Мы можем быстрее перейти к очень дешевому электричеству, мы можем быстрее перейти к более дешевому производству. Теперь объедините все три из дешевого электричества, дешевого производства и продвинутого улавливания углерода, и теперь вы строите их много, и теперь вы высасываете весь этот избыток CO2 из атмосферы.
**Если у вас сильный искусственный интеллект, это значительно ускорит прогресс в науке и технике. **Сегодня это значительно облегчит планирование. Думаю, это будет способствовать ускорению прогресса. Это показывает, что мы должны мечтать о большем. Вы можете себе представить, что если бы вы могли спроектировать систему, вы могли бы попросить ее рассказать вам, как производить большое количество чистой энергии с низкими затратами, как эффективно улавливать углерод, и помочь вам построить завод, который будет делать все это. . Если вы можете достичь этого, то вы можете достичь и во многих других областях.
Замечательный ChatGPT
хозяин:
Услышав, что вы не думали, что ChatGPT будет настолько широко распространен, мне интересно, есть ли примеры других людей, искренне удивленных его ценностью и возможностями.
Илья：
Я был так удивлен и обрадован, когда мои родители рассказали мне, как их друзья используют ChatGPT в своей повседневной жизни. Трудно выбрать одну из многих милых историй, демонстрирующих великолепие человеческого творчества и то, как люди используют этот мощный инструмент.
Это было здорово для нас в сфере образования, и видеть, как так много людей пишут слова, которые меняют их жизнь, действительно преображает меня, потому что теперь я могу узнать что угодно, я узнаю определенные вещи или говорю вещи, которые я не знал, как делать раньше, я делаю сейчас.
Лично мне очень приятно видеть, как люди учатся новым и лучшим способом, и представлять, как это будет через несколько лет. При таких темпах мы не ожидали, что это произойдет, что действительно удивительно.
Потом есть интересная история, которую я только вчера услышал. Говорят, что один человек тратил два часа каждый вечер на сочинение сказок на ночь со своими детьми. Эти истории - любимые детские вещи, и это становится особенным моментом. Они прекрасно проводили время каждую ночь.
Вопросы из зала:
Вопрос 1:
Может ли LLM с открытым исходным кодом соответствовать возможностям GPT-4 без дополнительных передовых методов? Или в GPT-4 есть темный секрет, который отличает его от других моделей? Я устанавливаю модель викуньи Stability, 13 миллиардов параметров... Я зря теряю время?
Сэм: Не нахожу слов...
Илья：
Что касается моделей с открытым исходным кодом и моделей с закрытым исходным кодом, нам не нужно мыслить бинарными понятиями черного и белого. Как будто существует секретный источник, который вы никогда не сможете открыть заново.
**Возможно, однажды появится модель с открытым исходным кодом, которая повторяет возможности GPT-4, но этот процесс займет время, и к тому времени такая модель может стать более мощной моделью в крупной компании. **Поэтому всегда будет разрыв между моделью с открытым исходным кодом и частной моделью, и этот разрыв может постепенно увеличиваться. Объем работы, инженерных разработок и исследований, необходимых для создания такой нейронной сети, будет продолжать расти.
Таким образом, ** даже если существуют модели с открытым исходным кодом, они будут все меньше и меньше создаваться небольшой группой преданных своему делу исследователей и инженеров, это будет просто одна компания, одна большая компания (вносящая вклад в открытый исходный код). **
Вопрос 2:
Если вы действительно считаете, что ИИ опасен для человека, зачем продолжать его развивать? Если бы OpenAI и другие компании, занимающиеся искусственным интеллектом, были введены в действие, вы бы их подчинили? Цукерберг сказал, что пытался обойти каждое найденное им правило.
Сам:
Я думаю, что это очень справедливый и важный вопрос. Самая сложная часть нашей работы — сбалансировать огромный потенциал искусственного интеллекта с серьезными рисками, с ним связанными. Нам нужно время, чтобы обсудить, почему мы сталкиваемся с этими рисками и почему они вообще существуют.
Я действительно думаю, что все выглядит лучше, когда мы оглядываемся назад на сегодняшний уровень жизни и нашу возросшую терпимость к людям. По сравнению с тем, что было 500 или 1000 лет назад, условия жизни людей значительно улучшились. Мы спрашиваем себя, можете ли вы представить себе людей, живущих в условиях крайней нищеты? Вы можете себе представить людей, страдающих от болезней? Вы можете себе представить ситуацию, когда не все хорошо образованы? Таковы реалии варварских времен.
**Хотя ИИ сопряжен с определенными рисками, мы также видим его потенциал для улучшения нашей жизни, продвижения научных исследований и решения глобальных проблем. **
Нам необходимо продолжать ответственно разрабатывать ИИ, принимая нормативные меры для обеспечения надлежащего решения проблем безопасности и этических норм. Наша цель — сделать искусственный интеллект инструментом человеческого прогресса, а не угрозой. Это требует наших совместных усилий, включая участие технического сообщества, правительства и всех сторон общества, для создания устойчивой и этичной основы для развития искусственного интеллекта.
Как это сделать, я тоже думаю, что это как неудержимый прогресс. Технологии не стоят на месте, они продолжают развиваться. Итак, как крупная компания, мы должны выяснить, как управлять рисками, которые сопутствуют этому.
Частично причина в том, что риск и подход, необходимый для его устранения, являются экстраординарными. Нам нужно было создать структуру, отличную от традиционных структур. У нас есть предел прибыли, и я считаю, что стимулы являются важным фактором. Если вы разработаете правильные стимулы, это часто может привести к желаемому поведению.
Поэтому мы стараемся сделать так, чтобы все работало хорошо и не приносило больше или меньше прибыли. У нас нет системы поощрения, как в такой компании, как Facebook, что, на мой взгляд, блестяще. Люди в Facebook работают по системе поощрения, но у этой структуры есть некоторые проблемы.
Мы пытаемся накапливать опыт через ОИИ. Как часто упоминал Илья, мы изначально пытались испытать AGI, когда создавали компанию, а затем построили структуру прибыли. Поэтому нам нужно найти баланс между требованиями к вычислительным ресурсам и сосредоточиться на миссии. Одна из тем, которые мы обсуждаем, — это то, какая структура позволяет нам с энтузиазмом относиться к регулированию, даже когда оно причиняет нам больше всего вреда.
Сейчас самое время,** мы внедряем регулирование по всему миру, которое окажет на нас наибольшее влияние. **Конечно, мы следуем правилам, я думаю, когда люди в опасности, им легче вести себя хорошо, им легче искать цель. Поэтому я думаю, что владельцы этих ведущих компаний чувствуют это сейчас, и вы увидите, как они реагируют иначе, чем компании, работающие в социальных сетях. Думаю, все сомнения и опасения оправданы. Мы боремся с этой проблемой каждый день, и на нее нет простого решения.
Вопрос 3: Я хочу понять, в чем разница между используемой вами моделью ИИ и той моделью, которую используем мы.
Я знаю, что мы ограничены во многих отношениях, которых у вас, кажется, нет, но в чем разница между силой, которой вы обладаете, и силой, которую мы можем использовать?
Илья：
Разрыв между упомянутыми вами моделями действительно является проблемой.
Я имею в виду, что теперь у нас есть GPT-4, вы знаете, что мы тренируемся, у вас есть доступ к GPT-4**, и мы действительно работаем над следующей моделью будущего. **
Возможно, я могу описать этот пробел следующим образом: по мере того, как мы продолжаем создавать и улучшать модели ИИ с расширенными возможностями, возникает больший пробел, который требует более длительных периодов тестирования и времени. Мы работаем с командой, чтобы понять ограничения модели, и все способы, которые вы знаете, максимально использовать ее, но мы также постепенно расширяем модель.
Например, сейчас в GPT-4 есть возможности визуального распознавания, а у вас (используемой вами версии) эта фича не запущена, потому что финальная работа не завершена. Но скоро мы добьемся этого. Так что я думаю, что это ответ на ваш вопрос, возможно, не так далеко в будущем.
Вопрос 4. Мой вопрос касается сверхразума и дилеммы Rokos Basilisk. Не могли бы вы уточнить, как GPT и OpenAI справляются с этой дилеммой?
*Примечание: «Василиск Роко» — это намек на онлайн-дискуссию и мысленный эксперимент, связанный с гипотезами о будущем сверхразуме. *
*Говорят, что этот сверхразум может получать информацию посредством путешествий во времени или другими способами, которыми люди причиняют ему боль, и наказывать тех, кто не помог достичь его рождения. Этот намек, таким образом, поднимает этическую дилемму: следует ли поддерживать и продвигать развитие сверхразума сейчас, чтобы избежать возможного наказания в будущем. *
Илья：
Хотя Василиск Рокко не является чем-то, что нас особенно беспокоит, мы определенно очень обеспокоены сверхразумом.
Наверное, не все, даже не все в зале понимают, что мы подразумеваем под сверхразумом.
Мы имеем в виду возможность однажды построить компьютер, кластер компьютеров в форме графических процессоров, который будет умнее, чем кто-либо, и сможет заниматься наукой и исследованиями быстрее, чем большие группы опытных ученых и инженеров. .
Это безумие, и это будет иметь огромное влияние.
Он может разработать следующую версию системы ИИ и создать очень мощный ИИ. Итак, наша позиция заключается в том, что **сверхразум имеет далеко идущие последствия, он может иметь очень положительные последствия, но он также очень опасен, и нам нужно быть осторожными с ним. **
Именно здесь подход МАГАТЭ (Международного агентства по атомной энергии), который вы упомянули, подходит для очень передовых передовых систем и сверхразума в будущем. Нам нужно провести много исследований, чтобы использовать силу сверхразума, чтобы она соответствовала нашим ожиданиям, на нашу пользу и на благо человечества.
Это наша позиция в отношении сверхразума, который является главной задачей сверхразума, стоящей перед человечеством.
Оглядываясь назад на эволюционную историю человека, можно сказать, что одноклеточный репликатор появился около 4 миллиардов лет назад. Затем, в течение миллиардов лет, появилось множество различных одноклеточных организмов. Около миллиарда лет назад начала зарождаться многоклеточная жизнь. Сотни миллионов лет назад на земле появились рептилии. Млекопитающие появились около 60 миллионов лет назад. Около 1 млн лет назад появились приматы, а затем и Homo sapiens. 10 000 лет спустя появилась письменность. Затем последовали сельскохозяйственная революция, промышленная революция и технологическая революция. Теперь у нас, наконец, есть ОИИ, финал сверхразума и наша главная задача.
Вопрос 5: Я изучаю информатику и скоро закончу учебу. Интересно, даст ли мне изучение информатики хорошую работу в ближайшие 10-15 лет?
Сам:
Я думаю, что изучение информатики в любом случае полезно.
Хотя сам я почти никогда не пишу код**, я считаю изучение информатики одним из лучших занятий, которыми я когда-либо занимался. Это научило меня думать и решать проблемы, навыкам, которые очень полезны в любой области. **
Даже если работа программиста через 10-15 лет будет выглядеть по-другому, умение учиться является одним из самых важных навыков, включая быстрое изучение новых вещей, предвидение будущих тенденций, способность адаптироваться и жизнестойкость, понимание потребностей других и того, как это сделать. быть полезным.
Так что нет никаких сомнений в том, что характер работы изменится, но я не могу представить себе мир, в котором люди не тратят время на то, чтобы делать что-то, что создает ценность для других, и все связанные с этим преимущества. Возможно, в будущем мы будем заботиться о том, у кого галактика круче, но некоторые хорошие вещи (например, создание ценности) не изменятся.
Вопрос 6: Вы делаете историю, какой вы хотите, чтобы история запомнила вас?
Илья：
Я имею в виду, в лучшем виде.
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Основатель OpenAI и главный научный сотрудник редко бывают на одной сцене: самое интересное в ИИ происходит!
Автор: Чжу Сюин
Когда ежемесячная активность ChatGPT достигла отметки в 1 миллиард, «мировое турне» основателя OpenAI Сэма Альтмана также привлекло внимание.
На этой неделе Сэм Альтман приехал в Тель-Авивский университет в Израиле и провел яркое и подробное интервью с Ильей Суцкавелем, главным научным сотрудником OpenAI, выросшим в Израиле (эти двое редко находились на одной сцене).Сэм на мгновение растерялся. для слов, когда его спросили, и это стоило того, чтобы слушать.
В целом интервью не лишено глубины, но также интересно.
Например, Илья с радостью рассказал, что его родители сказали ему, что его друзья также ежедневно используют ChatGPT, что его очень удивило. А на вопрос публики «Ты делаешь историю, какой ты хочешь, чтобы история запомнила тебя?», Илья тоже остроумно ответил: ** «В смысле, в лучшем виде».**
Ниже приводится полный текст интервью:
Кандидат наук и выбывший: две разные жизни до OpenAI
Илья：
С 5 до 16 лет я жил в Иерусалиме. С 2000 по 2002 год я учился в Открытом университете. Затем я перешел в Университет Торонто, где провел 10 лет и получил степени бакалавра, магистра и доктора философии. Во время учебы в аспирантуре я имел честь внести свой вклад в важные достижения в области глубокого обучения. Затем я вместе с несколькими людьми основал компанию, которая была приобретена Google, где я некоторое время работал.
Затем, однажды я получил электронное письмо от Сэма, в котором говорилось: «Привет, давай пообщаемся с крутыми людьми». Тогда я впервые встретил Элона Маска и Грега Брокмана, и мы решили начать путешествие по OpenAI. Мы занимаемся этим уже много лет, так что это то, где мы находимся в настоящее время.
Сам:
В детстве я был очень увлечен ИИ и был фанатом научной фантастики. Мне никогда не приходило в голову, что у меня есть возможность изучить его, но затем, в колледже, я некоторое время начал над ним работать. Но тогда еще не было такого успеха, это был 2004 год... Я бросил школу и занялся стартапами.
Через какое-то время после прогресса, о котором говорил Илья, я очень обрадовался тому, что происходит с ИИ, и отправил ему электронное письмо, и мы все еще продолжаем.
Преимущества OpenAI
хозяин:
В чем вы видите основные сильные стороны OpenAI, тем более, что конкуренты часто крупнее и имеют больше ресурсов, что делает его лидером в области генеративного ИИ?
Сам:
Мы считаем, что ключевым преимуществом является наше повышенное внимание к тому, что мы делаем. Важно и неправильно понимается, что у нас выше плотность талантов, чем в крупных компаниях. **Наша культура ценит строгость и повторяемость инноваций, и эти две культуры сосуществуют редко и сложно. **
Илья：
Да, я могу лишь немного добавить к ответу Сэма. ** Это игра веры, чем больше веры, тем больше прогресс. **Вы добьетесь наибольшего прогресса, если у вас будет много веры. Это может звучать как шутка, но на самом деле это правда. Вы должны верить в идею и упорно ее продвигать, вот что движет прогрессом.
Позиция академии в области ИИ
хозяин:
Недавние достижения в области искусственного интеллекта в значительной степени были обусловлены промышленностью. Как вы думаете, какую роль должны играть академические исследования в развитии этой области?
Илья：
Роль научных кругов в области ИИ существенно изменилась. Раньше академические круги были в авангарде исследований ИИ, но сейчас все изменилось. Причин две: вычислительная мощность и инженерная культура. Академия имеет меньшую вычислительную мощность и часто испытывает недостаток в инженерной культуре.
Тем не менее академические круги по-прежнему могут внести значительный и важный вклад в развитие ИИ. ** Академия может разгадать множество тайн нейронных сетей, которые мы обучаем, и создаем сложные и удивительные объекты. **
Что такое глубокое обучение? Это алхимический процесс, в котором мы используем данные в качестве сырья в сочетании с вычислительной энергией для получения этого интеллекта. Но что именно? Как это работает? Какими свойствами он обладает? Как мы это контролируем? Как понять это? Как это применить? Как это измерить? Все эти вопросы неизвестны.
**Даже при выполнении простых задач измерения мы не можем точно оценить производительность нашего ИИ. В прошлом это не было проблемой, потому что ИИ не был так уж важен. Искусственный интеллект сейчас очень важен, но мы понимаем, что до сих пор не можем его полностью измерить. **
Итак, я начал думать о некоторых проблемах, которые никто не может решить. Вам не нужны огромные вычислительные кластеры или огромные группы инженеров, чтобы задавать эти вопросы и добиваться прогресса. Если вы прорветесь, это будет убедительный и значимый вклад, на который все сразу обратят внимание.
хозяин:
Мы хотим видеть прогресс, полностью сбалансированный между промышленностью и научными кругами, и мы хотим видеть больше подобных вкладов. Как вы думаете, можно ли что-то сделать для улучшения ситуации, особенно с вашей позиции, есть ли какая-то поддержка?
Илья：
Прежде всего, я думаю, что изменение мышления — это первое и самое важное. В последнее время я немного не в академических кругах, но я думаю, что в том, что мы делаем, есть некоторый кризис.
Слишком большой импульс вокруг большого количества работ, но важно сосредоточиться на решении наиболее острых проблем. Нам нужно изменить свое мышление и сосредоточиться на самых важных вопросах. **Мы не можем просто сосредоточиться на том, что мы уже знаем, но должны осознавать, что не так. ** Как только мы поймем проблемы, мы сможем двигаться к их решению.
Кроме того, мы можем помочь. Например, у нас есть Программа академического доступа, в рамках которой ученые могут подать заявку на получение вычислительных мощностей и доступа к нашим современным моделям. Многие университеты написали статьи с использованием GPT-3, изучая свойства и погрешности моделей. Если у вас есть еще идеи, я хотел бы услышать их.
с открытым исходным кодом ИЛИ не с открытым исходным кодом
хозяин:
В то время как некоторые игроки действительно продвигают выпуск своих моделей и кода с открытым исходным кодом, другие делают недостаточно. Это также касается открытого ИИ. Так что мне интересно, прежде всего, что вы думаете об этом? Если вы согласны, почему вы считаете OpenAI правильной стратегией?
Сам:
** Мы открыли исходный код некоторых моделей и со временем планируем сделать открытым исходный код еще большего числа моделей. Но я не думаю, что открытый исходный код — это правильная стратегия. **Если сегодняшние модели интересны, они могут быть для чего-то полезны, но они все же относительно примитивны по сравнению с тем, что мы собираемся создать. Я думаю, что большинство людей согласится с этим. Если мы знаем, как создать сверхмощный ОИИ, который имеет много преимуществ, но также и недостатков, открытый исходный код может оказаться не лучшим вариантом.
**Поэтому мы пытаемся найти баланс. ** Мы откроем исходный код некоторых вещей, и по мере того, как наше понимание модели будет улучшаться, мы сможем открывать исходный код со временем. Мы выпустили много материала, и я думаю, что многие из ключевых идей, которые другие строят языковые модели прямо сейчас, взяты из выпусков OpenAI, таких как ранние документы GPT и законы масштабирования из работы rohf. Но это баланс, который мы должны выяснить по мере продвижения вперед. Мы сталкиваемся со многими различными стрессорами и должны успешно с ними справляться.
хозяин:
Итак, вы рассматриваете возможность сделать модель доступной для конкретной аудитории, а не открывать ее для всего мира? О чем вы думаете как ученый, или как мы заканчиваем обучение GPT-4?
Сам:
Нам потребовалось почти восемь месяцев, чтобы понять это, защитить его и понять, как настроить. У нас есть внешние аудиторы, красные команды и научное сообщество. Поэтому мы предпринимаем эти шаги и будем продолжать это делать.
Риски, которые ИИ не может игнорировать
хозяин:
Я действительно думаю, что риск — это очень важный вопрос, и существует, по крайней мере, три категории риска.
Во-первых, это экономическая неустроенность, при которой рабочие места становятся излишними. Ко второй категории могут относиться ситуации, когда мощное оружие находится в руках немногих. Например, если бы хакеры могли использовать эти инструменты, они могли бы делать вещи, на которые раньше уходили тысячи хакеров. Последняя категория, вероятно, вызывает наибольшее беспокойство, когда система вышла из-под контроля, и даже триггер не может предотвратить ее поведение. Я хотел бы знать, что вы думаете о каждом из этих сценариев.
Илья：
Хорошо, давайте начнем с возможных сценариев экономического хаоса. Как вы упомянули, в ** есть три риска: компрометация рабочих мест, обретение хакерами сверхразума и выход систем из-под контроля. ** Экономический хаос — это действительно ситуация, с которой мы уже знакомы, поскольку некоторые рабочие места уже затронуты или находятся под угрозой.
Другими словами, некоторые задачи можно автоматизировать. Например, если вы программист, Copilot может написать для вас функции. Хотя это отличается от случая с художниками, поскольку многие виды экономической деятельности художников были заменены некоторыми генераторами изображений.
Я не думаю, что это действительно простой вопрос. **Несмотря на создание новых рабочих мест, экономическая неопределенность сохранится еще долгое время. Я не уверен, что это так. **
В любом случае, однако, нам нужно что-то, чтобы сгладить переход к натиску новых профессий, даже если этих профессий еще не существует. Это требует внимания правительства и социальной системы.
Теперь поговорим о взломе. Да, это непростой вопрос. ИИ действительно мощный, и плохие парни могут использовать его мощными способами. Нам нужно применить структуру, аналогичную другим очень мощным и опасным инструментам.
Обратите внимание, что сегодня мы говорим не об искусственном интеллекте, а о возрастающих возможностях с течением времени. Сейчас мы находимся на низком уровне, но когда мы туда доберемся, он будет очень сильным. **Эту технологию можно использовать в удивительных целях, ее можно использовать для лечения болезней, но она также может создавать болезни хуже, чем все, что было раньше.
Поэтому нам нужны структуры для контроля за использованием этой технологии. Сэм, например, представил им документ, предлагающий структуру, подобную МАГАТЭ, для контроля над ядерной энергией, чтобы контролировать очень мощный искусственный интеллект. **
хозяин:
Последний вопрос касается сверхразумного искусственного интеллекта, выходящего из-под контроля. Можно сказать, что это станет огромной проблемой. Является ли ошибкой создание сверхразумного искусственного интеллекта, которым мы не знаем, как управлять?
Сам:
Могу добавить несколько моментов. Конечно, я полностью согласен с последней фразой.
На экономическом фронте мне трудно предсказать будущее развитие событий. Я думаю, это потому, что сейчас в мире так много избыточного спроса, и эти системы действительно хорошо помогают добиться цели. Но в большинстве случаев сегодня не все задачи им под силу.
** Я думаю, что в краткосрочной перспективе все выглядит хорошо, и мы увидим значительный рост производительности. **Если бы мы могли повысить производительность программистов в два раза, объем необходимого в мире кода увеличился бы более чем в три раза, так что все выглядит нормально.
В долгосрочной перспективе, я думаю, эти системы будут справляться со все более сложными задачами и категориями работы. Некоторые из этих профессий могут исчезнуть**, но другие станут больше похожи на профессии, которые действительно требуют людей и человеческих отношений. **Люди действительно хотят, чтобы люди играли эти роли.
Эти роли могут быть неочевидными. Например, когда Deep Blue победил Гарри Каспарова, мир впервые увидел искусственный интеллект. В то время все говорили, что с шахматами покончено и никто больше не будет играть в шахматы, потому что в этом нет смысла.
Однако мы пришли к единому мнению, что шахматы никогда не были так популярны. Люди сильнее, просто ожидания завышены. Мы можем использовать эти инструменты для улучшения собственных навыков, но людям по-прежнему нравится играть в шахматы, и кажется, что люди по-прежнему заботятся о других людях.
Вы упомянули, что Долли может создавать великолепные произведения искусства, но люди по-прежнему заботятся о людях, стоящих за произведениями искусства, которые они хотят купить, и мы все считаем этих создателей особенными и ценными.
Возьмем, к примеру, шахматы: так же, как люди уделяют больше внимания человеческим шахматам, больше людей смотрят человеческие шахматы, чем когда-либо прежде. Однако мало кто хочет смотреть матч двух ИИ. Так что я думаю, что это будут все эти непредсказуемые факторы. ** Я думаю, что люди жаждут дифференциации (между людьми и машинами). **
Необходимость создавать что-то новое для получения статуса будет всегда, но проявляться она будет совсем по-другому. Бьюсь об заклад, что рабочие места через 100 лет будут совершенно другими, чем рабочие места сегодня, и многие из этих вещей будут очень похожи. Но я действительно согласен с тем, что сказал Илья: **Что бы ни случилось, нам нужен другой вид социально-экономического договора, потому что автоматизация достигла невообразимых доселе высот. **
хозяин:
Сэм, вы недавно подписали петицию, призывающую серьезно отнестись к экзистенциальной угрозе искусственного интеллекта. Возможно, такие компании, как OpenAI, должны предпринять шаги для решения этой проблемы.
Сам:
Я действительно хочу подчеркнуть, что здесь мы говорим не о современных системах, не о моделях обучения небольших стартапов или сообществах с открытым исходным кодом.
Я думаю, что было бы ошибкой прямо сейчас вводить жесткое регулирование в этой области или пытаться замедлить невероятные инновации. Очень не хочется создавать непоследовательный сверхразум, который кажется бесспорным. ** Я думаю, что мир должен рассматривать это не как научно-фантастический риск, который никогда не наступит, а как нечто, с чем нам, возможно, придется иметь дело в следующем десятилетии, потребуется время, чтобы привыкнуть к некоторым вещам, но это победит. быть длинным. **
Итак, мы придумали идею, и, надеюсь, лучшую. Если мы сможем создать глобальную организацию с высочайшим уровнем вычислительной мощности и передовых технологий, можно будет разработать структуру для лицензирования моделей и аудита их безопасности, чтобы убедиться, что они проходят необходимые тесты. Это поможет нам рассматривать эту проблему как очень серьезный риск. Мы делаем что-то подобное с ядерной энергией.
Будет ли ИИ ускорять научные открытия в будущем? Вылечить болезнь, решить климатические проблемы?
хозяин:
Поговорим о преимуществах. В той научной среде, в которой мы находимся, меня интересует роль искусственного интеллекта. Через несколько лет, может быть, в будущем нам предстоит открыть что-то научное.
Сам:
** Это то, что лично меня больше всего волнует в ИИ. ** Я думаю, что происходит много интересного, огромные экономические выгоды, огромные преимущества для здравоохранения. Но на самом деле искусственный интеллект может помочь нам сделать некоторые научные открытия, которые в настоящее время невозможны. Мы хотели бы узнать о тайнах Вселенной и даже больше. Я искренне верю, что научно-технический прогресс — единственный устойчивый способ сделать жизнь лучше, а мир — лучше.
Если мы сможем разработать много новых научных и технологических достижений, я думаю, мы уже видели зачатки людей. Используйте эти инструменты для повышения эффективности. Но если вы представите себе мир, в котором вы можете сказать: «Эй, я могу помочь вылечить все болезни», и это может помочь вам вылечить все болезни, этот мир может стать лучше. Я не думаю, что мы так далеки от этого.
хозяин:
Помимо болезней, еще одной серьезной проблемой является изменение климата, решить которую очень сложно. Но я не думаю, что будет особенно сложно бороться с изменением климата, когда у нас будут действительно мощные сверхинтеллектуальные системы.
Илья：
Да, вам нужно много улавливания углерода. Вам нужна энергия для улавливания углерода, и вам нужна технология для ее создания. Если можно ускорить науку, нужно много строить. Прогресс — это то, на что способен мощный искусственный интеллект, и мы можем намного быстрее добиться очень продвинутого улавливания углерода. Мы можем быстрее перейти к очень дешевому электричеству, мы можем быстрее перейти к более дешевому производству. Теперь объедините все три из дешевого электричества, дешевого производства и продвинутого улавливания углерода, и теперь вы строите их много, и теперь вы высасываете весь этот избыток CO2 из атмосферы.
**Если у вас сильный искусственный интеллект, это значительно ускорит прогресс в науке и технике. **Сегодня это значительно облегчит планирование. Думаю, это будет способствовать ускорению прогресса. Это показывает, что мы должны мечтать о большем. Вы можете себе представить, что если бы вы могли спроектировать систему, вы могли бы попросить ее рассказать вам, как производить большое количество чистой энергии с низкими затратами, как эффективно улавливать углерод, и помочь вам построить завод, который будет делать все это. . Если вы можете достичь этого, то вы можете достичь и во многих других областях.
Замечательный ChatGPT
хозяин:
Услышав, что вы не думали, что ChatGPT будет настолько широко распространен, мне интересно, есть ли примеры других людей, искренне удивленных его ценностью и возможностями.
Илья：
Я был так удивлен и обрадован, когда мои родители рассказали мне, как их друзья используют ChatGPT в своей повседневной жизни. Трудно выбрать одну из многих милых историй, демонстрирующих великолепие человеческого творчества и то, как люди используют этот мощный инструмент.
Это было здорово для нас в сфере образования, и видеть, как так много людей пишут слова, которые меняют их жизнь, действительно преображает меня, потому что теперь я могу узнать что угодно, я узнаю определенные вещи или говорю вещи, которые я не знал, как делать раньше, я делаю сейчас.
Лично мне очень приятно видеть, как люди учатся новым и лучшим способом, и представлять, как это будет через несколько лет. При таких темпах мы не ожидали, что это произойдет, что действительно удивительно.
Потом есть интересная история, которую я только вчера услышал. Говорят, что один человек тратил два часа каждый вечер на сочинение сказок на ночь со своими детьми. Эти истории - любимые детские вещи, и это становится особенным моментом. Они прекрасно проводили время каждую ночь.
Вопросы из зала:
Сэм: Не нахожу слов...
Илья：
Что касается моделей с открытым исходным кодом и моделей с закрытым исходным кодом, нам не нужно мыслить бинарными понятиями черного и белого. Как будто существует секретный источник, который вы никогда не сможете открыть заново.
**Возможно, однажды появится модель с открытым исходным кодом, которая повторяет возможности GPT-4, но этот процесс займет время, и к тому времени такая модель может стать более мощной моделью в крупной компании. **Поэтому всегда будет разрыв между моделью с открытым исходным кодом и частной моделью, и этот разрыв может постепенно увеличиваться. Объем работы, инженерных разработок и исследований, необходимых для создания такой нейронной сети, будет продолжать расти.
Таким образом, ** даже если существуют модели с открытым исходным кодом, они будут все меньше и меньше создаваться небольшой группой преданных своему делу исследователей и инженеров, это будет просто одна компания, одна большая компания (вносящая вклад в открытый исходный код). **
Сам:
Я думаю, что это очень справедливый и важный вопрос. Самая сложная часть нашей работы — сбалансировать огромный потенциал искусственного интеллекта с серьезными рисками, с ним связанными. Нам нужно время, чтобы обсудить, почему мы сталкиваемся с этими рисками и почему они вообще существуют.
Я действительно думаю, что все выглядит лучше, когда мы оглядываемся назад на сегодняшний уровень жизни и нашу возросшую терпимость к людям. По сравнению с тем, что было 500 или 1000 лет назад, условия жизни людей значительно улучшились. Мы спрашиваем себя, можете ли вы представить себе людей, живущих в условиях крайней нищеты? Вы можете себе представить людей, страдающих от болезней? Вы можете себе представить ситуацию, когда не все хорошо образованы? Таковы реалии варварских времен.
**Хотя ИИ сопряжен с определенными рисками, мы также видим его потенциал для улучшения нашей жизни, продвижения научных исследований и решения глобальных проблем. **
Нам необходимо продолжать ответственно разрабатывать ИИ, принимая нормативные меры для обеспечения надлежащего решения проблем безопасности и этических норм. Наша цель — сделать искусственный интеллект инструментом человеческого прогресса, а не угрозой. Это требует наших совместных усилий, включая участие технического сообщества, правительства и всех сторон общества, для создания устойчивой и этичной основы для развития искусственного интеллекта.
Как это сделать, я тоже думаю, что это как неудержимый прогресс. Технологии не стоят на месте, они продолжают развиваться. Итак, как крупная компания, мы должны выяснить, как управлять рисками, которые сопутствуют этому.
Частично причина в том, что риск и подход, необходимый для его устранения, являются экстраординарными. Нам нужно было создать структуру, отличную от традиционных структур. У нас есть предел прибыли, и я считаю, что стимулы являются важным фактором. Если вы разработаете правильные стимулы, это часто может привести к желаемому поведению.
Поэтому мы стараемся сделать так, чтобы все работало хорошо и не приносило больше или меньше прибыли. У нас нет системы поощрения, как в такой компании, как Facebook, что, на мой взгляд, блестяще. Люди в Facebook работают по системе поощрения, но у этой структуры есть некоторые проблемы.
Мы пытаемся накапливать опыт через ОИИ. Как часто упоминал Илья, мы изначально пытались испытать AGI, когда создавали компанию, а затем построили структуру прибыли. Поэтому нам нужно найти баланс между требованиями к вычислительным ресурсам и сосредоточиться на миссии. Одна из тем, которые мы обсуждаем, — это то, какая структура позволяет нам с энтузиазмом относиться к регулированию, даже когда оно причиняет нам больше всего вреда.
Сейчас самое время,** мы внедряем регулирование по всему миру, которое окажет на нас наибольшее влияние. **Конечно, мы следуем правилам, я думаю, когда люди в опасности, им легче вести себя хорошо, им легче искать цель. Поэтому я думаю, что владельцы этих ведущих компаний чувствуют это сейчас, и вы увидите, как они реагируют иначе, чем компании, работающие в социальных сетях. Думаю, все сомнения и опасения оправданы. Мы боремся с этой проблемой каждый день, и на нее нет простого решения.
Илья：
Разрыв между упомянутыми вами моделями действительно является проблемой.
Я имею в виду, что теперь у нас есть GPT-4, вы знаете, что мы тренируемся, у вас есть доступ к GPT-4**, и мы действительно работаем над следующей моделью будущего. **
Возможно, я могу описать этот пробел следующим образом: по мере того, как мы продолжаем создавать и улучшать модели ИИ с расширенными возможностями, возникает больший пробел, который требует более длительных периодов тестирования и времени. Мы работаем с командой, чтобы понять ограничения модели, и все способы, которые вы знаете, максимально использовать ее, но мы также постепенно расширяем модель.
Например, сейчас в GPT-4 есть возможности визуального распознавания, а у вас (используемой вами версии) эта фича не запущена, потому что финальная работа не завершена. Но скоро мы добьемся этого. Так что я думаю, что это ответ на ваш вопрос, возможно, не так далеко в будущем.
*Примечание: «Василиск Роко» — это намек на онлайн-дискуссию и мысленный эксперимент, связанный с гипотезами о будущем сверхразуме. *
*Говорят, что этот сверхразум может получать информацию посредством путешествий во времени или другими способами, которыми люди причиняют ему боль, и наказывать тех, кто не помог достичь его рождения. Этот намек, таким образом, поднимает этическую дилемму: следует ли поддерживать и продвигать развитие сверхразума сейчас, чтобы избежать возможного наказания в будущем. *
Илья：
Хотя Василиск Рокко не является чем-то, что нас особенно беспокоит, мы определенно очень обеспокоены сверхразумом.
Наверное, не все, даже не все в зале понимают, что мы подразумеваем под сверхразумом.
Мы имеем в виду возможность однажды построить компьютер, кластер компьютеров в форме графических процессоров, который будет умнее, чем кто-либо, и сможет заниматься наукой и исследованиями быстрее, чем большие группы опытных ученых и инженеров. .
Это безумие, и это будет иметь огромное влияние.
Он может разработать следующую версию системы ИИ и создать очень мощный ИИ. Итак, наша позиция заключается в том, что **сверхразум имеет далеко идущие последствия, он может иметь очень положительные последствия, но он также очень опасен, и нам нужно быть осторожными с ним. **
Именно здесь подход МАГАТЭ (Международного агентства по атомной энергии), который вы упомянули, подходит для очень передовых передовых систем и сверхразума в будущем. Нам нужно провести много исследований, чтобы использовать силу сверхразума, чтобы она соответствовала нашим ожиданиям, на нашу пользу и на благо человечества.
Это наша позиция в отношении сверхразума, который является главной задачей сверхразума, стоящей перед человечеством.
Оглядываясь назад на эволюционную историю человека, можно сказать, что одноклеточный репликатор появился около 4 миллиардов лет назад. Затем, в течение миллиардов лет, появилось множество различных одноклеточных организмов. Около миллиарда лет назад начала зарождаться многоклеточная жизнь. Сотни миллионов лет назад на земле появились рептилии. Млекопитающие появились около 60 миллионов лет назад. Около 1 млн лет назад появились приматы, а затем и Homo sapiens. 10 000 лет спустя появилась письменность. Затем последовали сельскохозяйственная революция, промышленная революция и технологическая революция. Теперь у нас, наконец, есть ОИИ, финал сверхразума и наша главная задача.
Сам:
Я думаю, что изучение информатики в любом случае полезно.
Хотя сам я почти никогда не пишу код**, я считаю изучение информатики одним из лучших занятий, которыми я когда-либо занимался. Это научило меня думать и решать проблемы, навыкам, которые очень полезны в любой области. **
Даже если работа программиста через 10-15 лет будет выглядеть по-другому, умение учиться является одним из самых важных навыков, включая быстрое изучение новых вещей, предвидение будущих тенденций, способность адаптироваться и жизнестойкость, понимание потребностей других и того, как это сделать. быть полезным.
Так что нет никаких сомнений в том, что характер работы изменится, но я не могу представить себе мир, в котором люди не тратят время на то, чтобы делать что-то, что создает ценность для других, и все связанные с этим преимущества. Возможно, в будущем мы будем заботиться о том, у кого галактика круче, но некоторые хорошие вещи (например, создание ценности) не изменятся.
Илья：
Я имею в виду, в лучшем виде.