Fuente de la imagen: Generada por la herramienta de IA Unbounded
La gira europea de SamAltman todavía está en marcha. No hace mucho, en Londres, tuvo una conversación a puerta cerrada con el director general de la empresa de inteligencia artificial HumanLooop. HumanLoop es una empresa que ayuda a los desarrolladores a crear aplicaciones en grandes modelos de lenguaje.
El director ejecutivo de HumanLoop, Raza Habib, grabó los aspectos más destacados de la conversación y los hizo públicos en el sitio web de la empresa. Pero luego, a pedido de OpenAI, se retiraron las actas. Esto, a su vez, aumentó la curiosidad del mundo exterior sobre la conversación. Algunos han especulado que parte del pensamiento de OpenAI estuvo involucrado en este cambio.
Geek Park, después de revisar los minutos eliminados de la conversación, descubrió que, a los ojos de Sam, no solo involucraba la planificación a corto plazo de OpenAI, sino que también ocultaba la presión sobre OpenAI después de recibir un fuerte apoyo de los recursos de computación en la nube de Microsoft. Después de todo, el ajuste fino y el razonamiento del modelo aún consumen una gran cantidad de recursos informáticos. Según The Information, el modelo de Open AI le ha costado a Microsoft Azure $ 1.2 mil millones, concentrando los recursos informáticos en el soporte de OpenAI y limitando los servidores disponibles para otros departamentos de Microsoft.
En este sentido, Sam dijo que la reducción de costos es el objetivo principal en la actualidad.
Además, Sam también reveló que en la actualidad, los servicios como abrir ventanas de contexto más largas y proporcionar API de ajuste fino están limitados por los recursos de la GPU;
En esta conversación, Sam Altman respondió a muchas inquietudes externas, como la competencia y la comercialización:
A pesar de contratar a un gerente de producto de clase mundial, Peter Deng, OpenAI no considerará lanzar más productos;
La tendencia futura de la aplicación es integrar las funciones del modelo grande en más aplicaciones en lugar de desarrollar más complementos en ChatGPT, porque en realidad la mayoría de los complementos no muestran PMF (Producto / Market Fit, es decir, ajuste de producto-mercado). );
En los últimos años, OpenAI ha ampliado el tamaño del modelo millones de veces, pero esta velocidad no es sostenible. A continuación, OpenAI seguirá aumentando el tamaño del modelo a un ritmo de 1 a 3 veces para mejorar el rendimiento del modelo.
El acta de la conversación se hizo pública el 29 de mayo y se eliminó alrededor del 3 de junio según los registros de los internautas. Esto es lo que obtienes con la copia de seguridad:
01, OpenAI actualmente está severamente limitado por la GPU
A medida que escalan las conversaciones, los recursos informáticos necesarios crecen exponencialmente
OpenAI actualmente tiene GPU muy limitadas, lo que ha retrasado muchos de sus planes a corto plazo. Las mayores quejas de los clientes son la confiabilidad y la velocidad de la API. Sam reconoció sus preocupaciones y explicó que la mayoría de los problemas se debían a la escasez de GPU.
El contexto más largo de 32k aún no se puede implementar para más personas. OpenAI no ha superado la escala de atención O (n ^ 2) y, por lo tanto, aunque parecía plausible, pronto (este año) tendrían ventanas de contexto de token de 100k - 1M, cualquier cosa más grande requeriría un avance de investigación.
Los contextos más largos de 32K no están disponibles para más personas. OpenAI no ha superado el problema de escala O(n^2) del mecanismo de atención, aunque parece que pronto (este año) tendrá una ventana de contexto de 100k-1M Token. Cualquier ventana más grande requeriría avances en la investigación.
*Nota: O (n^2) significa que a medida que aumenta la longitud de la secuencia, los recursos informáticos necesarios para realizar los cálculos de Atención aumentan exponencialmente. O se utiliza para describir el límite superior o el peor de los casos de la tasa de crecimiento de la complejidad temporal o espacial del algoritmo; (n^2) significa que la complejidad es proporcional al cuadrado del tamaño de entrada. *
La API de ajuste fino también está actualmente limitada por la disponibilidad de GPU. No han utilizado métodos eficientes de ajuste fino como Adapters o LoRa, por lo que ejecutar y administrar (el modelo) a través del ajuste fino es muy intensivo desde el punto de vista computacional. En el futuro se proporcionará un mejor soporte para el ajuste fino. Incluso podrían albergar un mercado comunitario para contribuciones de modelos.
El aprovisionamiento de capacidad dedicada está limitado por la disponibilidad de GPU. OpenAI ofrece capacidad dedicada, proporcionando a los clientes una copia privada del modelo. Para obtener el servicio, los clientes deben estar dispuestos a comprometerse a pagar $100,000 por adelantado.
02, hoja de ruta reciente de OpenAI
2023, reducción inteligente de costos; 2024, demostración limitada de multimodalidad
Sam también compartió lo que él ve como una hoja de ruta provisional a corto plazo para la API de OpenAI.
2023:
GPT-4 más barato y rápido: esa es su principal prioridad. En general, el objetivo de OpenAI es reducir el "costo de la inteligencia" tanto como sea posible, por lo que trabajarán duro para continuar reduciendo el costo de la API con el tiempo.
Ventana de contexto más larga: en un futuro cercano, la ventana de contexto puede llegar a 1 millón de tokens.
API de ajuste fino: la API de ajuste fino se extenderá a los modelos más recientes, pero la forma exacta dependerá de lo que los desarrolladores digan que realmente quieren.
Una API con estado: al llamar a la API de chat hoy, debe revisar el mismo historial de sesión una y otra vez, pagando los mismos tokens una y otra vez. Habrá una versión futura de la API que recordará el historial de sesiones.
2024:
Multimodal: esto se demuestra como parte del lanzamiento de GPT-4, pero no se ampliará a todos hasta que haya más GPU en línea.
03. Predicción y pensamiento comercial: es posible que los complementos "sin PMF" no aparezcan pronto en la API
Muchos desarrolladores están interesados en hacer que los complementos de ChatGPT sean accesibles a través de la API, pero Sam dijo que no cree que se publiquen pronto. Además del complemento Brosing, el uso de otros complementos muestra que no hay PMF (Product/Market Fit). Señaló que muchas personas piensan que quieren que su aplicación esté dentro de ChatGPT, pero lo que realmente quieren es ChatGPT dentro de la aplicación.
04. A excepción de ChatGPT, OpenAI evitará competir con sus clientes
Las grandes empresas tienen una aplicación increíble
Muchos desarrolladores dijeron que estaban nerviosos por desarrollar con la API de OpenAI, porque OpenAI eventualmente podría lanzar productos que compitan con ellos. Sam dijo que OpenAI no lanzará más productos fuera de ChatGPT. Históricamente, las grandes empresas de plataformas han tenido una aplicación excelente, dijo. ChatGPT permitirá a los desarrolladores convertirse en clientes de sus propios productos para mejorar la API. La visión de ChatGPT es convertirse en un asistente de trabajo súper inteligente, pero hay muchos otros casos de uso de GPT en los que OpenAI no estará involucrado.
05. Se necesita regulación, pero no ahora
"Soy escéptico sobre cuántas personas y empresas son capaces de sostener grandes modelos"
Si bien Sam pidió que se regulen los modelos futuros, no cree que los modelos existentes sean peligrosos y que regularlos o prohibirlos sería un gran error. Reiteró la importancia del código abierto y dijo que OpenAI está considerando hacer que GPT-3 sea de código abierto. Todavía no han sido de código abierto, en parte porque es escéptico acerca de cuántas personas y empresas son capaces de mantener y servir modelos de lenguaje extenso (LLM).
06. Las leyes de la escala aún se aplican
La velocidad de expansión de millones de veces en unos pocos años no puede continuar para siempre.
Ha habido muchos artículos últimamente que afirman que "la era de los modelos gigantes de IA ha terminado". Esto no es exacto. (Nota: en un evento en el MIT en abril, Sam Altman dijo: Ahora nos acercamos al final de la era de los modelos gigantes).
Los datos internos de OpenAI muestran que las leyes de escala del rendimiento del modelo aún se aplican y que aumentar el tamaño del modelo seguirá mejorando el rendimiento.
Dado que OpenAI ha escalado los modelos millones de veces en solo unos pocos años, esta tasa de escalado no se puede sostener. Eso no significa que OpenAI no seguirá intentando hacer modelos más grandes, pero sí significa que es probable que dupliquen o tripliquen su tamaño cada año, en lugar de muchos órdenes de magnitud.
El hecho de que las leyes de escala estén vigentes tiene implicaciones importantes para la línea de tiempo de desarrollo de AGI. La suposición de la ley de escala es que probablemente ya tengamos la mayoría de los ingredientes necesarios para construir AGI, y que el resto del trabajo consiste principalmente en escalar los métodos existentes a modelos más grandes y conjuntos de datos más grandes. Si la era de la escala ha terminado, es posible que estemos aún más lejos de AGI. El hecho de que las leyes del tamaño continúen aplicándose fuertemente implica una línea de tiempo más corta.
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
Minutos de conversación de Sam Altman eliminados: Open AI también carece de GPU, la reducción de costos es el objetivo principal
Autor | Condado de Lingzi
Editor | Wei Shijie
Fuente丨Geek Park
La gira europea de SamAltman todavía está en marcha. No hace mucho, en Londres, tuvo una conversación a puerta cerrada con el director general de la empresa de inteligencia artificial HumanLooop. HumanLoop es una empresa que ayuda a los desarrolladores a crear aplicaciones en grandes modelos de lenguaje.
El director ejecutivo de HumanLoop, Raza Habib, grabó los aspectos más destacados de la conversación y los hizo públicos en el sitio web de la empresa. Pero luego, a pedido de OpenAI, se retiraron las actas. Esto, a su vez, aumentó la curiosidad del mundo exterior sobre la conversación. Algunos han especulado que parte del pensamiento de OpenAI estuvo involucrado en este cambio.
Geek Park, después de revisar los minutos eliminados de la conversación, descubrió que, a los ojos de Sam, no solo involucraba la planificación a corto plazo de OpenAI, sino que también ocultaba la presión sobre OpenAI después de recibir un fuerte apoyo de los recursos de computación en la nube de Microsoft. Después de todo, el ajuste fino y el razonamiento del modelo aún consumen una gran cantidad de recursos informáticos. Según The Information, el modelo de Open AI le ha costado a Microsoft Azure $ 1.2 mil millones, concentrando los recursos informáticos en el soporte de OpenAI y limitando los servidores disponibles para otros departamentos de Microsoft.
En este sentido, Sam dijo que la reducción de costos es el objetivo principal en la actualidad.
Además, Sam también reveló que en la actualidad, los servicios como abrir ventanas de contexto más largas y proporcionar API de ajuste fino están limitados por los recursos de la GPU;
En esta conversación, Sam Altman respondió a muchas inquietudes externas, como la competencia y la comercialización:
A pesar de contratar a un gerente de producto de clase mundial, Peter Deng, OpenAI no considerará lanzar más productos;
La tendencia futura de la aplicación es integrar las funciones del modelo grande en más aplicaciones en lugar de desarrollar más complementos en ChatGPT, porque en realidad la mayoría de los complementos no muestran PMF (Producto / Market Fit, es decir, ajuste de producto-mercado). );
En los últimos años, OpenAI ha ampliado el tamaño del modelo millones de veces, pero esta velocidad no es sostenible. A continuación, OpenAI seguirá aumentando el tamaño del modelo a un ritmo de 1 a 3 veces para mejorar el rendimiento del modelo.
El acta de la conversación se hizo pública el 29 de mayo y se eliminó alrededor del 3 de junio según los registros de los internautas. Esto es lo que obtienes con la copia de seguridad:
01, OpenAI actualmente está severamente limitado por la GPU
A medida que escalan las conversaciones, los recursos informáticos necesarios crecen exponencialmente
OpenAI actualmente tiene GPU muy limitadas, lo que ha retrasado muchos de sus planes a corto plazo. Las mayores quejas de los clientes son la confiabilidad y la velocidad de la API. Sam reconoció sus preocupaciones y explicó que la mayoría de los problemas se debían a la escasez de GPU.
El contexto más largo de 32k aún no se puede implementar para más personas. OpenAI no ha superado la escala de atención O (n ^ 2) y, por lo tanto, aunque parecía plausible, pronto (este año) tendrían ventanas de contexto de token de 100k - 1M, cualquier cosa más grande requeriría un avance de investigación.
Los contextos más largos de 32K no están disponibles para más personas. OpenAI no ha superado el problema de escala O(n^2) del mecanismo de atención, aunque parece que pronto (este año) tendrá una ventana de contexto de 100k-1M Token. Cualquier ventana más grande requeriría avances en la investigación.
*Nota: O (n^2) significa que a medida que aumenta la longitud de la secuencia, los recursos informáticos necesarios para realizar los cálculos de Atención aumentan exponencialmente. O se utiliza para describir el límite superior o el peor de los casos de la tasa de crecimiento de la complejidad temporal o espacial del algoritmo; (n^2) significa que la complejidad es proporcional al cuadrado del tamaño de entrada. *
La API de ajuste fino también está actualmente limitada por la disponibilidad de GPU. No han utilizado métodos eficientes de ajuste fino como Adapters o LoRa, por lo que ejecutar y administrar (el modelo) a través del ajuste fino es muy intensivo desde el punto de vista computacional. En el futuro se proporcionará un mejor soporte para el ajuste fino. Incluso podrían albergar un mercado comunitario para contribuciones de modelos.
El aprovisionamiento de capacidad dedicada está limitado por la disponibilidad de GPU. OpenAI ofrece capacidad dedicada, proporcionando a los clientes una copia privada del modelo. Para obtener el servicio, los clientes deben estar dispuestos a comprometerse a pagar $100,000 por adelantado.
02, hoja de ruta reciente de OpenAI
2023, reducción inteligente de costos; 2024, demostración limitada de multimodalidad
Sam también compartió lo que él ve como una hoja de ruta provisional a corto plazo para la API de OpenAI.
2023:
GPT-4 más barato y rápido: esa es su principal prioridad. En general, el objetivo de OpenAI es reducir el "costo de la inteligencia" tanto como sea posible, por lo que trabajarán duro para continuar reduciendo el costo de la API con el tiempo.
Ventana de contexto más larga: en un futuro cercano, la ventana de contexto puede llegar a 1 millón de tokens.
API de ajuste fino: la API de ajuste fino se extenderá a los modelos más recientes, pero la forma exacta dependerá de lo que los desarrolladores digan que realmente quieren.
Una API con estado: al llamar a la API de chat hoy, debe revisar el mismo historial de sesión una y otra vez, pagando los mismos tokens una y otra vez. Habrá una versión futura de la API que recordará el historial de sesiones.
2024:
Multimodal: esto se demuestra como parte del lanzamiento de GPT-4, pero no se ampliará a todos hasta que haya más GPU en línea.
03. Predicción y pensamiento comercial: es posible que los complementos "sin PMF" no aparezcan pronto en la API
Muchos desarrolladores están interesados en hacer que los complementos de ChatGPT sean accesibles a través de la API, pero Sam dijo que no cree que se publiquen pronto. Además del complemento Brosing, el uso de otros complementos muestra que no hay PMF (Product/Market Fit). Señaló que muchas personas piensan que quieren que su aplicación esté dentro de ChatGPT, pero lo que realmente quieren es ChatGPT dentro de la aplicación.
04. A excepción de ChatGPT, OpenAI evitará competir con sus clientes
Las grandes empresas tienen una aplicación increíble
Muchos desarrolladores dijeron que estaban nerviosos por desarrollar con la API de OpenAI, porque OpenAI eventualmente podría lanzar productos que compitan con ellos. Sam dijo que OpenAI no lanzará más productos fuera de ChatGPT. Históricamente, las grandes empresas de plataformas han tenido una aplicación excelente, dijo. ChatGPT permitirá a los desarrolladores convertirse en clientes de sus propios productos para mejorar la API. La visión de ChatGPT es convertirse en un asistente de trabajo súper inteligente, pero hay muchos otros casos de uso de GPT en los que OpenAI no estará involucrado.
05. Se necesita regulación, pero no ahora
"Soy escéptico sobre cuántas personas y empresas son capaces de sostener grandes modelos"
Si bien Sam pidió que se regulen los modelos futuros, no cree que los modelos existentes sean peligrosos y que regularlos o prohibirlos sería un gran error. Reiteró la importancia del código abierto y dijo que OpenAI está considerando hacer que GPT-3 sea de código abierto. Todavía no han sido de código abierto, en parte porque es escéptico acerca de cuántas personas y empresas son capaces de mantener y servir modelos de lenguaje extenso (LLM).
06. Las leyes de la escala aún se aplican
La velocidad de expansión de millones de veces en unos pocos años no puede continuar para siempre.
Ha habido muchos artículos últimamente que afirman que "la era de los modelos gigantes de IA ha terminado". Esto no es exacto. (Nota: en un evento en el MIT en abril, Sam Altman dijo: Ahora nos acercamos al final de la era de los modelos gigantes).
Los datos internos de OpenAI muestran que las leyes de escala del rendimiento del modelo aún se aplican y que aumentar el tamaño del modelo seguirá mejorando el rendimiento.
Dado que OpenAI ha escalado los modelos millones de veces en solo unos pocos años, esta tasa de escalado no se puede sostener. Eso no significa que OpenAI no seguirá intentando hacer modelos más grandes, pero sí significa que es probable que dupliquen o tripliquen su tamaño cada año, en lugar de muchos órdenes de magnitud.
El hecho de que las leyes de escala estén vigentes tiene implicaciones importantes para la línea de tiempo de desarrollo de AGI. La suposición de la ley de escala es que probablemente ya tengamos la mayoría de los ingredientes necesarios para construir AGI, y que el resto del trabajo consiste principalmente en escalar los métodos existentes a modelos más grandes y conjuntos de datos más grandes. Si la era de la escala ha terminado, es posible que estemos aún más lejos de AGI. El hecho de que las leyes del tamaño continúen aplicándose fuertemente implica una línea de tiempo más corta.