Llevando LLMs a la Computadora de Internet

El hito de Ignition está completo. Esto lleva grandes modelos de lenguaje (LLMs) a la Computadora de Internet, haciendo posible usar LLMs desde dentro de los contratos inteligentes de canister con solo unas pocas líneas de código.

¿Cuál es el hito de Ignition?

El hito Ignition, parte de la ruta de IA descentralizada del Roadmap de ICP, se centra en conectar canisters a LLMs fuera de la cadena. Con esta actualización, los desarrolladores pueden usar IA en sus dapps sin una configuración compleja, gracias a los trabajadores de IA.

¿Qué hay de nuevo en Ignition

Bibliotecas LLM para una integración fácil

Para simplificar la conexión de sus canisters a LLMs, hemos agregado bibliotecas en tres lenguajes utilizados en Internet Computer: Motoko, Rust y TypeScript.

Estas bibliotecas facilitan el uso de LLM en tus dapps. Por ejemplo, aquí se muestra cómo un canister puede interactuar con Llama 3.1 utilizando solo unas pocas líneas de código Motoko:

import LLM "mo:llm";

await LLM.chat(#Llama3_1_8B).withMessages([
#system_ {
content = "Eres un asistente útil.";
},
#user_ {
content = "¿Qué tan grande es el sol?";
},
]).send();

El ejemplo anterior se puede encontrar y experimentar en ICP Ninja. Muestra cómo un canister puede enviar una consulta a un LLM y obtener una respuesta, con una configuración mínima.

Aquí hay otro ejemplo que muestra cómo llamar a LLMs con herramientas:

import LLM "mo:llm";

actor {
public func example() {
let response = await LLM.chat(#Llama3_1_8B)
.withMessages([
#system_ {
content = "Eres un asistente útil."
},
#usuario {
content = "¿Cuál es el clima en Zurich?"
},
])
.withTools([LLM.tool("get_weather")
.withDescription("Obtener el clima actual para una ubicación")
.withParameter(
LLM.parameter("location", #String)
.withDescription("La ubicación para obtener el clima")
.isRequired()
)
.build()
])
.send();
};
}

Puedes encontrar una demostración en vivo del uso de herramientas aquí, así como el código fuente de la demostración aquí.

Trabajadores de IA

Para conectar los canisters con LLMs fuera de la cadena, hemos construido un producto mínimo viable de trabajadores de IA, un sistema simple que permite a los canisters recuperar datos de LLMs fuera de la cadena. Los trabajadores de IA manejan la comunicación, por lo que los canisters pueden enviar solicitudes y recibir respuestas de LLMs en tiempo real.

Actualmente, los trabajadores de IA soportan Llama 3.1 8B, Llama 4 Scout y Qwen 3 32B. Estas opciones brindan a los desarrolladores flexibilidad para elegir el LLM adecuado para su proyecto.

Aquí hay un diagrama que ilustra cómo se utilizan los trabajadores de IA en segundo plano para transmitir indicaciones a los proveedores de LLM fuera de la cadena.

Cómo funciona:

1. Los canisters envían solicitudes a un "canister LLM" a través de las bibliotecas LLM que mencionamos. Este es un canister especial configurado para recibir solicitudes LLM.
2. El canister de LL almacena estos mensajes en una cola.
3. Los trabajadores de IA sondean continuamente el canister LLM en busca de indicaciones.
4. Los trabajadores de IA ejecutan los comandos y devuelven la respuesta al canister LLM, que la devuelve al canister que realizó la llamada.

Casos de uso en el mundo real

Los desarrolladores ya están utilizando las bibliotecas de LLM para construir dapps creativas, tales como:

• Carteras con funciones de chat: Agregar IA conversacional a las carteras de criptomonedas para una mejor interacción del usuario (próximamente lanzado en OISY)
• DAOs con análisis de sentimiento: Usando LLMs para analizar el sentimiento de la comunidad y guiar decisiones de cartera como en el Alice DAO.

Estos ejemplos muestran cómo los trabajadores de IA pueden apoyar una variedad de aplicaciones en el Computador de Internet.

Por qué esto es importante y cómo empezar

El hito Ignition facilita a los desarrolladores integrar LLMs en sus proyectos de Internet Computer, permitiendo nuevos tipos de dapps, como chatbots, herramientas de análisis y aplicaciones DeFi impulsadas por IA. Al combinar LLMs con características de Internet Computer como Chain Fusion, llamadas HTTPS externas y aleatoriedad en cadena, los desarrolladores pueden construir soluciones creativas y poderosas.

¿Listo para intentarlo? Explora el proyecto del chatbot LLM en ICP Ninja, mira la demostración en vivo o sumérgete en el código y ejemplos en nuestro repositorio.

Llevar LLMs a la Computadora de Internet fue publicado originalmente en The Internet Computer Review en Medium, donde las personas continúan la conversación destacando y respondiendo a esta historia.