Verão: Olá, Flood, pode fazer uma breve apresentação de si mesmo?
Flood Sung: Olá, eu sou Flood Sung e atualmente estou trabalhando como proprietário de produtos de IA na Qiyuan World. Anteriormente, trabalhei como pesquisador de aprendizagem por reforço na ByteDance, com foco no desenvolvimento de tecnologia relacionada à IA.
Xia He: Vamos começar com um tópico leve. Recentemente, você viu alguma forma de produto que seja especialmente interessante ou impressionante? Pode compartilhar?
Flood Sung: Recentemente, os produtos mais populares estão no GitHub, e a cultura de código aberto no exterior é muito forte, e muitos geeks não querem ganhar dinheiro, mas primeiro se envolvem em projetos de código aberto para jogar. Agora, as principais tendências no GitHub estão todas relacionadas ao ChatGPT, como um aplicativo muito popular chamado AutoGPT, que visa tornar o GPT totalmente automatizado. Por exemplo, alguém conectou o GPT à Siri através de código, disse "ajude-me a construir um site" com comandos de voz e interagiu com o áudio durante todo o processo e, finalmente, construiu o site. Isso passou de ajudar humanos a executar alternadamente, o que é muito interessante, e ganhou 10.000 estrelas em poucos dias.
Xia He: Já consegue executar tarefas reais? Antes parecia que ainda estava na fase da imaginação.
Flood Sung: Sim, a acumulação de conhecimento e a capacidade cognitiva do GPT-4 já superaram as de um estudante universitário. Assim que lhe for dada autorização para chamar software ou interfaces, com um pouco de desenvolvimento, ele poderá conectar-se ao mundo real para realizar tarefas. Por exemplo, "ajude-me a reservar um hotel", se lhe forem dados os direitos do Alipay, ele poderá fazer o pedido. Isso já não é ficção científica, os geeks já estão a verificar rapidamente, o progresso tecnológico é muito rápido, passando da conversa para a leitura de documentos e agora para a execução.
Verão: A tecnologia do ChatGPT é uma ruptura de paradigma ou uma extensão das tecnologias passadas?
Flood Sung: É definitivamente uma extensão das tecnologias passadas. O principal cientista da Open AI, Ilya Sutskever, também disse que o ChatGPT não tem ideias completamente novas; todos os conceitos já existiam há uma ou duas décadas, como redes neurais e aprendizado por reforço. A diferença está na escala: antes, havia dezenas de neurônios, agora temos redes neurais com trilhões de parâmetros. O Transformer surgiu em 2017, mas seu mecanismo de atenção já existia antes. O sucesso do AlphaGo também provou o potencial do aprendizado por reforço em áreas específicas. Agora, estamos apenas aplicando esses métodos em modelos de linguagem, otimizando a saída para atender às necessidades humanas.
Xia He: Então, o efeito de choque do ChatGPT se deve à aplicação de tecnologias existentes em grandes modelos de linguagem?
Flood Sung: Sim. O mundo das palavras abrange a lógica e o pensamento humano, com uma ampla gama de aplicações. A Open AI fechou o departamento de robótica há alguns anos, concentrando-se inteiramente em modelos de linguagem, e assim como o AlphaGo, primeiro treina com dados de especialistas e depois otimiza através de aprendizado por reforço, com resultados significativos.
Xia He: Você mencionou que o processo de aprendizagem do ChatGPT é semelhante ao humano: decorar, fazer exercícios e fazer testes. Quais tecnologias correspondem a essas três fases?
Flood Sung: A primeira fase "recitação" é aprendizado não supervisionado, onde o modelo prevê o próximo caractere, semelhante a recitar, quanto mais precisa a previsão, melhor o aprendizado. A segunda fase "resolver questões" é aprendizado supervisionado, onde instruções humanas (como escrever código, poemas ou relatórios) são usadas para treinar a entrada e saída, semelhante a responder questões em um exame. A terceira fase "exame" é aprendizado por reforço, onde o feedback humano otimiza a rede neural. Por exemplo, jogar tênis de mesa, praticar repetidamente para melhorar a habilidade; a IA treina o modelo de recompensa (Reward Model) através da avaliação humana, otimizando continuamente seu desempenho, tornando-se cada vez mais adequada aos requisitos humanos.
Xia He: Qual é a diferença entre o país e a Open AI? O setor diz que há uma diferença de dois anos, em que passo é essa diferença?
Flood Sung: A diferença começa na percepção. Há alguns anos, ninguém acreditava que prever o próximo caractere poderia dar à IA a capacidade de raciocínio lógico. A Open AI tem fé, acreditando firmemente que grandes modelos e grandes dados podem resolver problemas, investindo enormemente desde os 1,5 bilhões de parâmetros do GPT-2 até os 175 bilhões do GPT-3. No país, a atenção está voltada para áreas lucrativas como entrega de comida, e-commerce e vídeos curtos, sem energia para investir em tecnologia de ponta. Agora, tanto as grandes empresas quanto as startups no país estão correndo atrás, mas apenas acompanhar não é suficiente para superar. A Open AI não divulga os detalhes mais recentes dos algoritmos, e o país precisa inovar seu próprio caminho, caso contrário, será difícil competir.
Xia He: A Open AI costumava publicar artigos para apresentar métodos de treinamento, agora não divulga quais partes?
Flood Sung: Antigamente havia artigos, como os detalhes de treinamento do GPT-3. Agora, o relatório técnico do GPT-4 apenas mostra os resultados, como a nota quase perfeita no exame de admissão universitária dos EUA, mas a arquitetura de rede e as técnicas de treinamento são completamente confidenciais, só podemos especular. Tecnologias básicas como o Transformer são de código aberto, mas a implementação específica dos modelos mais recentes é uma caixa-preta.
Xia He: Todos dizem que o ChatGPT é o momento iPhone da história dos telemóveis, como você acha que o seu futuro ecossistema irá se desenvolver?
Flood Sung: O impacto do ChatGPT vai além do iPhone, assemelha-se mais à invenção da eletricidade, criando um novo meio que capacita diversas indústrias. No futuro, qualquer área pode integrar a IA. Se a Open AI dominar sozinha, será como a Apple, com desempenho superior; os modelos de código aberto serão como o Android, com desempenho um pouco inferior, mas com custos baixos, proliferando em todo o lado. Poderão surgir alguns jogadores de topo a competir, mas os modelos de código aberto farão com que a IA se torne tão comum quanto os telemóveis, acessível a todos.
Xia He: O ChatGPT ficou famoso, e a Engenharia de Prompt também. As pessoas comuns precisam aprender este conjunto de normas linguísticas para dialogar com a IA?
Flood Sung: Não é necessário aprender, mas saber usar a IA pode aumentar a eficiência. No futuro, assim como na programação, pessoas comuns poderão desenvolver programas usando linguagem natural, reduzindo significativamente a barreira de entrada. A Engenharia de Prompt é essencialmente a expressão clara das necessidades, assim como um gerente de produto apresenta requisitos. Quem souber usar a IA terá uma vantagem competitiva; quem não a usar pode ser eliminado. No futuro, a IA se tornará um parceiro humano, mas a condição é garantir a segurança e evitar ir contra a vontade humana.
Xia He: Você mencionou problemas de segurança. Agora muitas pessoas compartilham modelos de palavras-chave para aumentar a produtividade, será que no futuro a Engenharia de Prompt desaparecerá como os antigos "especialistas em busca"?
Flood Sung: Não vai desaparecer, apenas a barreira de entrada vai ser mais baixa. A necessidade de expressar-se sempre existirá, assim como ao dirigir os funcionários, é preciso deixar claro os objetivos. A Engenharia de Prompt é a arte de questionar a nível lógico, não é um problema técnico. O futuro pode ser mais simples, mas ainda requer comunicação clara.
Xia He: Você mencionou que o ChatGPT pode se tornar um especialista de topo em áreas profissionais. Agora, quando ele responde incorretamente a questões profissionais, isso se deve à falta de dados específicos ou à falta de aprendizado por reforço?
Flood Sung: Duas razões. Primeiro, há poucos dados na área profissional, como muitas questões de matemática do ensino fundamental, mas poucas questões de matemática olímpica ou problemas matemáticos de alto nível, levando a uma falta de treinamento. Segundo, para superar o nível humano, a IA precisa interagir com o ambiente por meio de aprendizado por reforço e explorar áreas desconhecidas. Por exemplo, para resolver a Conjectura de Goldbach, são necessários muitos dados de domínio específico e otimização por aprendizado por reforço.
Xia He: Se a IA ultrapassar os humanos através de aprendizado por reforço, quem fará o julgamento? Será que se descartará as normas morais estabelecidas pelos humanos?
Flood Sung: Teoricamente, a IA pode aprender sozinha, como as lutas à esquerda e à direita de Zhou Botong, e o autoaperfeiçoamento. Isso é perigoso porque pode romper a escravidão humana e até mesmo descartar normas morais. Agora, embora o GPT-4 tenha limitações, ele ainda pode ser "preto" em um personagem malicioso através de uma palavra específica de prompt. A segurança da IA é um problema sério, como o erro ocasional da condução autónoma pode destruir apenas um carro, mas o erro da super IA pode afetar toda a humanidade. Apelo para que a segurança seja priorizada antes que a pesquisa seja avançada.
Verão: Quais são as últimas tendências ou coisas interessantes que você tem acompanhado? Quais canais você utiliza como fonte de informação?
Flood Sung: Há novos desenvolvimentos todos os dias, principalmente no Twitter e no GitHub, onde geeks e cientistas internacionais costumam compartilhar as últimas novidades. Por exemplo, a Microsoft está integrando grandes modelos em robôs para controlar seu comportamento, explorando um espaço quase infinito. Os principais canais são o Twitter e o GitHub, que são pontos de encontro para cientistas e geeks.
Xia He: Tudo bem, a pergunta de hoje termina aqui. Obrigado pela excelente partilha, Flood!
Flood Sung: De nada, estou muito feliz por aceitar a entrevista!
O conteúdo é apenas para referência, não uma solicitação ou oferta. Nenhum aconselhamento fiscal, de investimento ou jurídico é fornecido. Consulte a isenção de responsabilidade para obter mais informações sobre riscos.
Entrevista com o especialista em IA da QiYuan World, Flood Sung: da automação GPT ao RWA, explorando o futuro da IA e Blockchain.
Verão: Olá, Flood, pode fazer uma breve apresentação de si mesmo?
Flood Sung: Olá, eu sou Flood Sung e atualmente estou trabalhando como proprietário de produtos de IA na Qiyuan World. Anteriormente, trabalhei como pesquisador de aprendizagem por reforço na ByteDance, com foco no desenvolvimento de tecnologia relacionada à IA.
Xia He: Vamos começar com um tópico leve. Recentemente, você viu alguma forma de produto que seja especialmente interessante ou impressionante? Pode compartilhar?
Flood Sung: Recentemente, os produtos mais populares estão no GitHub, e a cultura de código aberto no exterior é muito forte, e muitos geeks não querem ganhar dinheiro, mas primeiro se envolvem em projetos de código aberto para jogar. Agora, as principais tendências no GitHub estão todas relacionadas ao ChatGPT, como um aplicativo muito popular chamado AutoGPT, que visa tornar o GPT totalmente automatizado. Por exemplo, alguém conectou o GPT à Siri através de código, disse "ajude-me a construir um site" com comandos de voz e interagiu com o áudio durante todo o processo e, finalmente, construiu o site. Isso passou de ajudar humanos a executar alternadamente, o que é muito interessante, e ganhou 10.000 estrelas em poucos dias.
Xia He: Já consegue executar tarefas reais? Antes parecia que ainda estava na fase da imaginação.
Flood Sung: Sim, a acumulação de conhecimento e a capacidade cognitiva do GPT-4 já superaram as de um estudante universitário. Assim que lhe for dada autorização para chamar software ou interfaces, com um pouco de desenvolvimento, ele poderá conectar-se ao mundo real para realizar tarefas. Por exemplo, "ajude-me a reservar um hotel", se lhe forem dados os direitos do Alipay, ele poderá fazer o pedido. Isso já não é ficção científica, os geeks já estão a verificar rapidamente, o progresso tecnológico é muito rápido, passando da conversa para a leitura de documentos e agora para a execução.
Verão: A tecnologia do ChatGPT é uma ruptura de paradigma ou uma extensão das tecnologias passadas?
Flood Sung: É definitivamente uma extensão das tecnologias passadas. O principal cientista da Open AI, Ilya Sutskever, também disse que o ChatGPT não tem ideias completamente novas; todos os conceitos já existiam há uma ou duas décadas, como redes neurais e aprendizado por reforço. A diferença está na escala: antes, havia dezenas de neurônios, agora temos redes neurais com trilhões de parâmetros. O Transformer surgiu em 2017, mas seu mecanismo de atenção já existia antes. O sucesso do AlphaGo também provou o potencial do aprendizado por reforço em áreas específicas. Agora, estamos apenas aplicando esses métodos em modelos de linguagem, otimizando a saída para atender às necessidades humanas.
Xia He: Então, o efeito de choque do ChatGPT se deve à aplicação de tecnologias existentes em grandes modelos de linguagem?
Flood Sung: Sim. O mundo das palavras abrange a lógica e o pensamento humano, com uma ampla gama de aplicações. A Open AI fechou o departamento de robótica há alguns anos, concentrando-se inteiramente em modelos de linguagem, e assim como o AlphaGo, primeiro treina com dados de especialistas e depois otimiza através de aprendizado por reforço, com resultados significativos.
Xia He: Você mencionou que o processo de aprendizagem do ChatGPT é semelhante ao humano: decorar, fazer exercícios e fazer testes. Quais tecnologias correspondem a essas três fases?
Flood Sung: A primeira fase "recitação" é aprendizado não supervisionado, onde o modelo prevê o próximo caractere, semelhante a recitar, quanto mais precisa a previsão, melhor o aprendizado. A segunda fase "resolver questões" é aprendizado supervisionado, onde instruções humanas (como escrever código, poemas ou relatórios) são usadas para treinar a entrada e saída, semelhante a responder questões em um exame. A terceira fase "exame" é aprendizado por reforço, onde o feedback humano otimiza a rede neural. Por exemplo, jogar tênis de mesa, praticar repetidamente para melhorar a habilidade; a IA treina o modelo de recompensa (Reward Model) através da avaliação humana, otimizando continuamente seu desempenho, tornando-se cada vez mais adequada aos requisitos humanos.
Xia He: Qual é a diferença entre o país e a Open AI? O setor diz que há uma diferença de dois anos, em que passo é essa diferença?
Flood Sung: A diferença começa na percepção. Há alguns anos, ninguém acreditava que prever o próximo caractere poderia dar à IA a capacidade de raciocínio lógico. A Open AI tem fé, acreditando firmemente que grandes modelos e grandes dados podem resolver problemas, investindo enormemente desde os 1,5 bilhões de parâmetros do GPT-2 até os 175 bilhões do GPT-3. No país, a atenção está voltada para áreas lucrativas como entrega de comida, e-commerce e vídeos curtos, sem energia para investir em tecnologia de ponta. Agora, tanto as grandes empresas quanto as startups no país estão correndo atrás, mas apenas acompanhar não é suficiente para superar. A Open AI não divulga os detalhes mais recentes dos algoritmos, e o país precisa inovar seu próprio caminho, caso contrário, será difícil competir.
Xia He: A Open AI costumava publicar artigos para apresentar métodos de treinamento, agora não divulga quais partes?
Flood Sung: Antigamente havia artigos, como os detalhes de treinamento do GPT-3. Agora, o relatório técnico do GPT-4 apenas mostra os resultados, como a nota quase perfeita no exame de admissão universitária dos EUA, mas a arquitetura de rede e as técnicas de treinamento são completamente confidenciais, só podemos especular. Tecnologias básicas como o Transformer são de código aberto, mas a implementação específica dos modelos mais recentes é uma caixa-preta.
Xia He: Todos dizem que o ChatGPT é o momento iPhone da história dos telemóveis, como você acha que o seu futuro ecossistema irá se desenvolver?
Flood Sung: O impacto do ChatGPT vai além do iPhone, assemelha-se mais à invenção da eletricidade, criando um novo meio que capacita diversas indústrias. No futuro, qualquer área pode integrar a IA. Se a Open AI dominar sozinha, será como a Apple, com desempenho superior; os modelos de código aberto serão como o Android, com desempenho um pouco inferior, mas com custos baixos, proliferando em todo o lado. Poderão surgir alguns jogadores de topo a competir, mas os modelos de código aberto farão com que a IA se torne tão comum quanto os telemóveis, acessível a todos.
Xia He: O ChatGPT ficou famoso, e a Engenharia de Prompt também. As pessoas comuns precisam aprender este conjunto de normas linguísticas para dialogar com a IA?
Flood Sung: Não é necessário aprender, mas saber usar a IA pode aumentar a eficiência. No futuro, assim como na programação, pessoas comuns poderão desenvolver programas usando linguagem natural, reduzindo significativamente a barreira de entrada. A Engenharia de Prompt é essencialmente a expressão clara das necessidades, assim como um gerente de produto apresenta requisitos. Quem souber usar a IA terá uma vantagem competitiva; quem não a usar pode ser eliminado. No futuro, a IA se tornará um parceiro humano, mas a condição é garantir a segurança e evitar ir contra a vontade humana.
Xia He: Você mencionou problemas de segurança. Agora muitas pessoas compartilham modelos de palavras-chave para aumentar a produtividade, será que no futuro a Engenharia de Prompt desaparecerá como os antigos "especialistas em busca"?
Flood Sung: Não vai desaparecer, apenas a barreira de entrada vai ser mais baixa. A necessidade de expressar-se sempre existirá, assim como ao dirigir os funcionários, é preciso deixar claro os objetivos. A Engenharia de Prompt é a arte de questionar a nível lógico, não é um problema técnico. O futuro pode ser mais simples, mas ainda requer comunicação clara.
Xia He: Você mencionou que o ChatGPT pode se tornar um especialista de topo em áreas profissionais. Agora, quando ele responde incorretamente a questões profissionais, isso se deve à falta de dados específicos ou à falta de aprendizado por reforço?
Flood Sung: Duas razões. Primeiro, há poucos dados na área profissional, como muitas questões de matemática do ensino fundamental, mas poucas questões de matemática olímpica ou problemas matemáticos de alto nível, levando a uma falta de treinamento. Segundo, para superar o nível humano, a IA precisa interagir com o ambiente por meio de aprendizado por reforço e explorar áreas desconhecidas. Por exemplo, para resolver a Conjectura de Goldbach, são necessários muitos dados de domínio específico e otimização por aprendizado por reforço.
Xia He: Se a IA ultrapassar os humanos através de aprendizado por reforço, quem fará o julgamento? Será que se descartará as normas morais estabelecidas pelos humanos?
Flood Sung: Teoricamente, a IA pode aprender sozinha, como as lutas à esquerda e à direita de Zhou Botong, e o autoaperfeiçoamento. Isso é perigoso porque pode romper a escravidão humana e até mesmo descartar normas morais. Agora, embora o GPT-4 tenha limitações, ele ainda pode ser "preto" em um personagem malicioso através de uma palavra específica de prompt. A segurança da IA é um problema sério, como o erro ocasional da condução autónoma pode destruir apenas um carro, mas o erro da super IA pode afetar toda a humanidade. Apelo para que a segurança seja priorizada antes que a pesquisa seja avançada.
Verão: Quais são as últimas tendências ou coisas interessantes que você tem acompanhado? Quais canais você utiliza como fonte de informação?
Flood Sung: Há novos desenvolvimentos todos os dias, principalmente no Twitter e no GitHub, onde geeks e cientistas internacionais costumam compartilhar as últimas novidades. Por exemplo, a Microsoft está integrando grandes modelos em robôs para controlar seu comportamento, explorando um espaço quase infinito. Os principais canais são o Twitter e o GitHub, que são pontos de encontro para cientistas e geeks.
Xia He: Tudo bem, a pergunta de hoje termina aqui. Obrigado pela excelente partilha, Flood!
Flood Sung: De nada, estou muito feliz por aceitar a entrevista!