Fonte da imagem: Gerada pela ferramenta Unbounded AI
A turnê européia de SamAltman ainda está em andamento. Não muito tempo atrás, em Londres, ele teve uma discussão a portas fechadas com o CEO da empresa de IA HumanLooop. A HumanLoop é uma empresa que ajuda os desenvolvedores a criar aplicativos em grandes modelos de linguagem.
O CEO da HumanLoop, Raza Habib, registrou os destaques da conversa e divulgou no site da empresa. Mas então, a pedido da OpenAI, as atas foram retiradas. Isso, por sua vez, aumentou a curiosidade do mundo exterior sobre a conversa. Alguns especularam que parte do pensamento da OpenAI estava envolvida nessa mudança.
Geek Park, depois de navegar pelos minutos excluídos da conversa, descobriu que não apenas envolvia o planejamento de curto prazo da OpenAI aos olhos de Sam, mas também ocultava a pressão sobre a OpenAI após receber forte suporte dos recursos de computação em nuvem da Microsoft. Afinal, o ajuste fino e o raciocínio do modelo ainda consomem muitos recursos de computação. De acordo com o The Information, o modelo da Open AI custou ao Microsoft Azure US$ 1,2 bilhão, concentrando recursos de computação no suporte da OpenAI e limitando os servidores disponíveis para outros departamentos da Microsoft.
A este respeito, Sam disse que a redução de custos é o objetivo principal no momento.
Além disso, Sam também revelou que, no momento, serviços como abrir janelas de contexto mais longas e fornecer APIs de ajuste fino são limitados pelos recursos da GPU;
Nesta conversa, Sam Altman respondeu a muitas preocupações externas, como concorrência e comercialização:
Apesar de apenas contratar um gerente de produto de classe mundial, Peter Deng, a OpenAI não considerará o lançamento de mais produtos;
A tendência futura das aplicações é embutir as funções do modelo grande em mais APPs ao invés de crescer mais plug-ins no ChatGPT, pois na realidade a maioria dos plug-ins não apresenta PMF (Product/Market Fit, ou seja, product-market fit );
Nos últimos anos, a OpenAI expandiu o tamanho do modelo milhões de vezes, mas essa velocidade não é sustentável. Em seguida, o OpenAI continuará a aumentar o tamanho do modelo a uma taxa de 1 a 3 vezes para melhorar o desempenho do modelo.
A ata da conversa foi tornada pública no dia 29 de maio, e foi apagada por volta do dia 3 de junho segundo registros de internautas. Aqui está o que você obtém com o backup:
01, OpenAI atualmente é severamente limitado pela GPU
À medida que as conversas aumentam, os recursos de computação necessários crescem exponencialmente
Atualmente, a OpenAI possui GPUs muito limitadas, o que atrasou muitos de seus planos de curto prazo. As maiores reclamações dos clientes são a confiabilidade e a velocidade da API. Sam reconheceu suas preocupações, explicando que a maioria dos problemas se devia à falta de GPUs.
O contexto mais longo de 32k ainda não pode ser implementado para mais pessoas. A OpenAI não superou a escala de atenção O(n ^ 2) e, portanto, embora parecesse plausível, eles teriam janelas de contexto de token de 100k - 1M em breve (este ano), qualquer coisa maior exigiria um avanço na pesquisa.
Os contextos mais longos de 32K não estão disponíveis para mais pessoas. O OpenAI não superou o problema de dimensionamento O(n^2) do mecanismo de atenção, embora pareça que em breve (este ano) eles terão uma janela de contexto de 100k-1M Token. Qualquer janela maior exigiria avanços na pesquisa.
*Observação: O (n^2) significa que, à medida que o comprimento da sequência aumenta, os recursos de computação necessários para executar os cálculos de Atenção aumentam exponencialmente. O é usado para descrever o limite superior ou o pior caso da taxa de crescimento da complexidade de tempo ou espaço do algoritmo; (n^2) significa que a complexidade é proporcional ao quadrado do tamanho da entrada. *
A API de ajuste fino também é atualmente limitada pela disponibilidade da GPU. Eles não usaram métodos eficientes de ajuste fino, como adaptadores ou LoRa, portanto, executar e gerenciar (o modelo) por meio do ajuste fino é muito computacionalmente intensivo. Melhor suporte para ajuste fino será fornecido no futuro. Eles podem até hospedar um mercado baseado na comunidade para contribuições de modelos.
O provisionamento de capacidade dedicada é limitado pela disponibilidade da GPU. OpenAI oferece capacidade dedicada, fornecendo aos clientes uma cópia privada do modelo. Para obter o serviço, os clientes devem estar dispostos a pagar $ 100.000 antecipadamente.
02, roteiro recente da OpenAI
2023, redução inteligente de custos; 2024, demonstração limitada de multimodalidade
Sam também compartilhou o que ele vê como um roteiro provisório de curto prazo para a API OpenAI.
2023:
GPT-4 mais barato e mais rápido - essa é a principal prioridade deles. No geral, o objetivo da OpenAI é reduzir o "custo da inteligência" o máximo possível, para que eles trabalhem duro para continuar reduzindo o custo da API ao longo do tempo.
Janela de contexto mais longa — em um futuro próximo, a janela de contexto pode chegar a 1 milhão de tokens.
API de ajuste fino — A API de ajuste fino será estendida aos modelos mais recentes, mas a forma exata dependerá do que os desenvolvedores dizem que realmente desejam.
Uma API com estado - Ao chamar a API de bate-papo hoje, você deve passar pelo mesmo histórico de sessão repetidamente, pagando os mesmos tokens repetidamente. Haverá uma versão futura da API que lembra o histórico da sessão.
2024:
Multimodal - Isso está sendo demonstrado como parte da versão GPT-4, mas não será dimensionado para todos até que mais GPUs fiquem online.
03. Previsão e pensamento comercial: plug-ins "sem PMF" podem não aparecer na API em breve
Muitos desenvolvedores estão interessados em tornar os plug-ins do ChatGPT acessíveis por meio da API, mas Sam disse que não acha que eles serão lançados tão cedo. Além do plug-in Brosing, o uso de outros plug-ins mostra que não há PMF (Product/Market Fit). Ele apontou que muitas pessoas pensam que querem que seu aplicativo esteja dentro do ChatGPT, mas o que eles realmente querem é o ChatGPT dentro do aplicativo.
04. Com exceção do ChatGPT, a OpenAI evitará competir com seus clientes
Grandes empresas têm um aplicativo matador
Muitos desenvolvedores disseram que estavam nervosos em desenvolver com a API da OpenAI, porque a OpenAI pode eventualmente lançar produtos que sejam competitivos com eles. Sam disse que a OpenAI não lançará mais produtos fora do ChatGPT. Historicamente, grandes empresas de plataforma tiveram um aplicativo matador, disse ele. O ChatGPT permitirá que os desenvolvedores se tornem clientes de seus próprios produtos para melhorar a API. A visão do ChatGPT é se tornar um assistente de trabalho superinteligente, mas há muitos outros casos de uso do GPT nos quais o OpenAI não estará envolvido.
05. Regulamentação é necessária, mas não agora
"Sou cético sobre quantas pessoas e empresas são capazes de manter grandes modelos"
Embora Sam tenha pedido que os modelos futuros sejam regulamentados, ele não acha que os modelos existentes sejam perigosos e que regulá-los ou bani-los seria um grande erro. Ele reiterou a importância do código aberto e disse que a OpenAI está considerando tornar o código aberto GPT-3. Eles ainda não têm código aberto, em parte porque ele é cético sobre quantos indivíduos e empresas são capazes de manter e servir grandes modelos de linguagem (LLMs).
06. As leis de escala ainda se aplicam
A velocidade de expansão de milhões de vezes em poucos anos não pode continuar para sempre.
Ultimamente, tem havido muitos artigos afirmando que "a era dos modelos gigantes de IA acabou". Isso não é preciso. (Observação: em um evento no MIT em abril, Sam Altman disse: Estamos chegando ao fim da era dos modelos gigantescos.)
Os dados internos da OpenAI mostram que as leis de escala do desempenho do modelo ainda se aplicam, e o aumento do tamanho do modelo continuará a melhorar o desempenho.
Como o OpenAI ampliou os modelos milhões de vezes em apenas alguns anos, essa taxa de dimensionamento não pode ser sustentada. Isso não significa que a OpenAI não continuará tentando aumentar os modelos, mas significa que eles provavelmente dobrarão ou triplicarão de tamanho a cada ano, em vez de muitas ordens de magnitude.
O fato de as leis de escala estarem em vigor tem implicações importantes para o cronograma de desenvolvimento da AGI. A suposição da lei da escala é que provavelmente já temos a maioria dos ingredientes necessários para construir a AGI e que o restante do trabalho é principalmente dimensionar os métodos existentes para modelos e conjuntos de dados maiores. Se a era da escala acabar, podemos estar ainda mais longe da AGI. O fato de que as leis de tamanho continuam a se aplicar fortemente implica em um cronograma mais curto.
Ver original
O conteúdo serve apenas de referência e não constitui uma solicitação ou oferta. Não é prestado qualquer aconselhamento em matéria de investimento, fiscal ou jurídica. Consulte a Declaração de exoneração de responsabilidade para obter mais informações sobre os riscos.
Minutos de conversa de Sam Altman excluídos: Open AI também carece de GPU, redução de custos é o objetivo principal
Autor | Condado de Lingzi
Editor | Wei Shijie
Fonte丨Geek Park
A turnê européia de SamAltman ainda está em andamento. Não muito tempo atrás, em Londres, ele teve uma discussão a portas fechadas com o CEO da empresa de IA HumanLooop. A HumanLoop é uma empresa que ajuda os desenvolvedores a criar aplicativos em grandes modelos de linguagem.
O CEO da HumanLoop, Raza Habib, registrou os destaques da conversa e divulgou no site da empresa. Mas então, a pedido da OpenAI, as atas foram retiradas. Isso, por sua vez, aumentou a curiosidade do mundo exterior sobre a conversa. Alguns especularam que parte do pensamento da OpenAI estava envolvida nessa mudança.
Geek Park, depois de navegar pelos minutos excluídos da conversa, descobriu que não apenas envolvia o planejamento de curto prazo da OpenAI aos olhos de Sam, mas também ocultava a pressão sobre a OpenAI após receber forte suporte dos recursos de computação em nuvem da Microsoft. Afinal, o ajuste fino e o raciocínio do modelo ainda consomem muitos recursos de computação. De acordo com o The Information, o modelo da Open AI custou ao Microsoft Azure US$ 1,2 bilhão, concentrando recursos de computação no suporte da OpenAI e limitando os servidores disponíveis para outros departamentos da Microsoft.
A este respeito, Sam disse que a redução de custos é o objetivo principal no momento.
Além disso, Sam também revelou que, no momento, serviços como abrir janelas de contexto mais longas e fornecer APIs de ajuste fino são limitados pelos recursos da GPU;
Nesta conversa, Sam Altman respondeu a muitas preocupações externas, como concorrência e comercialização:
Apesar de apenas contratar um gerente de produto de classe mundial, Peter Deng, a OpenAI não considerará o lançamento de mais produtos;
A tendência futura das aplicações é embutir as funções do modelo grande em mais APPs ao invés de crescer mais plug-ins no ChatGPT, pois na realidade a maioria dos plug-ins não apresenta PMF (Product/Market Fit, ou seja, product-market fit );
Nos últimos anos, a OpenAI expandiu o tamanho do modelo milhões de vezes, mas essa velocidade não é sustentável. Em seguida, o OpenAI continuará a aumentar o tamanho do modelo a uma taxa de 1 a 3 vezes para melhorar o desempenho do modelo.
A ata da conversa foi tornada pública no dia 29 de maio, e foi apagada por volta do dia 3 de junho segundo registros de internautas. Aqui está o que você obtém com o backup:
01, OpenAI atualmente é severamente limitado pela GPU
À medida que as conversas aumentam, os recursos de computação necessários crescem exponencialmente
Atualmente, a OpenAI possui GPUs muito limitadas, o que atrasou muitos de seus planos de curto prazo. As maiores reclamações dos clientes são a confiabilidade e a velocidade da API. Sam reconheceu suas preocupações, explicando que a maioria dos problemas se devia à falta de GPUs.
O contexto mais longo de 32k ainda não pode ser implementado para mais pessoas. A OpenAI não superou a escala de atenção O(n ^ 2) e, portanto, embora parecesse plausível, eles teriam janelas de contexto de token de 100k - 1M em breve (este ano), qualquer coisa maior exigiria um avanço na pesquisa.
Os contextos mais longos de 32K não estão disponíveis para mais pessoas. O OpenAI não superou o problema de dimensionamento O(n^2) do mecanismo de atenção, embora pareça que em breve (este ano) eles terão uma janela de contexto de 100k-1M Token. Qualquer janela maior exigiria avanços na pesquisa.
*Observação: O (n^2) significa que, à medida que o comprimento da sequência aumenta, os recursos de computação necessários para executar os cálculos de Atenção aumentam exponencialmente. O é usado para descrever o limite superior ou o pior caso da taxa de crescimento da complexidade de tempo ou espaço do algoritmo; (n^2) significa que a complexidade é proporcional ao quadrado do tamanho da entrada. *
A API de ajuste fino também é atualmente limitada pela disponibilidade da GPU. Eles não usaram métodos eficientes de ajuste fino, como adaptadores ou LoRa, portanto, executar e gerenciar (o modelo) por meio do ajuste fino é muito computacionalmente intensivo. Melhor suporte para ajuste fino será fornecido no futuro. Eles podem até hospedar um mercado baseado na comunidade para contribuições de modelos.
O provisionamento de capacidade dedicada é limitado pela disponibilidade da GPU. OpenAI oferece capacidade dedicada, fornecendo aos clientes uma cópia privada do modelo. Para obter o serviço, os clientes devem estar dispostos a pagar $ 100.000 antecipadamente.
02, roteiro recente da OpenAI
2023, redução inteligente de custos; 2024, demonstração limitada de multimodalidade
Sam também compartilhou o que ele vê como um roteiro provisório de curto prazo para a API OpenAI.
2023:
GPT-4 mais barato e mais rápido - essa é a principal prioridade deles. No geral, o objetivo da OpenAI é reduzir o "custo da inteligência" o máximo possível, para que eles trabalhem duro para continuar reduzindo o custo da API ao longo do tempo.
Janela de contexto mais longa — em um futuro próximo, a janela de contexto pode chegar a 1 milhão de tokens.
API de ajuste fino — A API de ajuste fino será estendida aos modelos mais recentes, mas a forma exata dependerá do que os desenvolvedores dizem que realmente desejam.
Uma API com estado - Ao chamar a API de bate-papo hoje, você deve passar pelo mesmo histórico de sessão repetidamente, pagando os mesmos tokens repetidamente. Haverá uma versão futura da API que lembra o histórico da sessão.
2024:
Multimodal - Isso está sendo demonstrado como parte da versão GPT-4, mas não será dimensionado para todos até que mais GPUs fiquem online.
03. Previsão e pensamento comercial: plug-ins "sem PMF" podem não aparecer na API em breve
Muitos desenvolvedores estão interessados em tornar os plug-ins do ChatGPT acessíveis por meio da API, mas Sam disse que não acha que eles serão lançados tão cedo. Além do plug-in Brosing, o uso de outros plug-ins mostra que não há PMF (Product/Market Fit). Ele apontou que muitas pessoas pensam que querem que seu aplicativo esteja dentro do ChatGPT, mas o que eles realmente querem é o ChatGPT dentro do aplicativo.
04. Com exceção do ChatGPT, a OpenAI evitará competir com seus clientes
Grandes empresas têm um aplicativo matador
Muitos desenvolvedores disseram que estavam nervosos em desenvolver com a API da OpenAI, porque a OpenAI pode eventualmente lançar produtos que sejam competitivos com eles. Sam disse que a OpenAI não lançará mais produtos fora do ChatGPT. Historicamente, grandes empresas de plataforma tiveram um aplicativo matador, disse ele. O ChatGPT permitirá que os desenvolvedores se tornem clientes de seus próprios produtos para melhorar a API. A visão do ChatGPT é se tornar um assistente de trabalho superinteligente, mas há muitos outros casos de uso do GPT nos quais o OpenAI não estará envolvido.
05. Regulamentação é necessária, mas não agora
"Sou cético sobre quantas pessoas e empresas são capazes de manter grandes modelos"
Embora Sam tenha pedido que os modelos futuros sejam regulamentados, ele não acha que os modelos existentes sejam perigosos e que regulá-los ou bani-los seria um grande erro. Ele reiterou a importância do código aberto e disse que a OpenAI está considerando tornar o código aberto GPT-3. Eles ainda não têm código aberto, em parte porque ele é cético sobre quantos indivíduos e empresas são capazes de manter e servir grandes modelos de linguagem (LLMs).
06. As leis de escala ainda se aplicam
A velocidade de expansão de milhões de vezes em poucos anos não pode continuar para sempre.
Ultimamente, tem havido muitos artigos afirmando que "a era dos modelos gigantes de IA acabou". Isso não é preciso. (Observação: em um evento no MIT em abril, Sam Altman disse: Estamos chegando ao fim da era dos modelos gigantescos.)
Os dados internos da OpenAI mostram que as leis de escala do desempenho do modelo ainda se aplicam, e o aumento do tamanho do modelo continuará a melhorar o desempenho.
Como o OpenAI ampliou os modelos milhões de vezes em apenas alguns anos, essa taxa de dimensionamento não pode ser sustentada. Isso não significa que a OpenAI não continuará tentando aumentar os modelos, mas significa que eles provavelmente dobrarão ou triplicarão de tamanho a cada ano, em vez de muitas ordens de magnitude.
O fato de as leis de escala estarem em vigor tem implicações importantes para o cronograma de desenvolvimento da AGI. A suposição da lei da escala é que provavelmente já temos a maioria dos ingredientes necessários para construir a AGI e que o restante do trabalho é principalmente dimensionar os métodos existentes para modelos e conjuntos de dados maiores. Se a era da escala acabar, podemos estar ainda mais longe da AGI. O fato de que as leis de tamanho continuam a se aplicar fortemente implica em um cronograma mais curto.