Apporter des LLM sur l'Internet Computer

Le jalon Ignition est terminé. Cela amène les modèles de langage de grande taille (LLMs) sur l'Internet Computer, rendant possible l'utilisation des LLMs depuis des smart contracts canister avec seulement quelques lignes de code.

Qu'est-ce que le jalon d'allumage ?

Le jalon Ignition, faisant partie de la piste AI décentralisée de la feuille de route ICP, se concentre sur la connexion des canisters aux LLMs hors chaîne. Avec cette mise à jour, les développeurs peuvent utiliser l'IA dans leurs dapps sans configuration complexe, grâce aux travailleurs IA.

Quoi de neuf dans Ignition

Bibliothèques LLM pour une intégration facile

Pour simplifier la connexion de vos canisters aux LLM, nous avons ajouté des bibliothèques dans trois langages utilisés sur l'Internet Computer : Motoko, Rust et TypeScript.

Ces bibliothèques rendent rapide l'utilisation des LLM dans vos dapps. Par exemple, voici comment un canister peut interagir avec Llama 3.1 en utilisant seulement quelques lignes de code Motoko :

import LLM "mo:llm";

await LLM.chat(#Llama3_1_8B).withMessages([
#system_ {
content = "Vous êtes un assistant utile.";
},
#user_ {
content = "Quelle est la taille du soleil ?";
},
]).send();

L'exemple ci-dessus peut être trouvé et modifié sur ICP Ninja. Il montre comment un canister peut envoyer une requête à un LLM et obtenir une réponse, avec un minimum de configuration.

Voici un autre exemple montrant comment appeler les LLM avec des outils :

import LLM "mo:llm";

acteur {
fonction publique exemple() {
let response = await LLM.chat(#Llama3_1_8B)
.withMessages([
#system_ {
content = "Vous êtes un assistant utile."
},
#user {
content = "Quel temps fait-il à Zurich ?"
},
])
.withTools([LLM.tool("get_weather")
.withDescription("Obtenir la météo actuelle pour un emplacement")
.withParameter(
LLM.parameter("location", #String)
.withDescription("L'emplacement pour obtenir la météo")
.isRequired()
)
.build()
])
.send();
};
}

Vous pouvez trouver une démo en direct de l'utilisation des outils ici, ainsi que le code source de la démo ici.

Travailleurs AI

Pour connecter des canisters avec des LLM hors chaîne, nous avons construit un produit minimal viable de travailleurs AI, un système simple qui permet aux canisters de récupérer des données des LLM hors chaîne. Les travailleurs AI gèrent la communication, de sorte que les canisters peuvent envoyer des demandes et obtenir des réponses des LLM en temps réel.

Actuellement, les travailleurs AI prennent en charge Llama 3.1 8B, Llama 4 Scout et Qwen 3 32B. Ces options offrent aux développeurs la flexibilité de choisir le bon LLM pour leur projet.

Voici un diagramme illustrant comment les travailleurs AI sont utilisés en coulisses pour transmettre des invites aux fournisseurs LLM hors chaîne.

Comment ça fonctionne :

1. Les canisters envoient des invites à un "canister LLM" via les bibliothèques LLM que nous avons mentionnées. Il s'agit d'un canister spécial configuré pour recevoir des invites LLM.
2. Le conteneur LLM stocke ces invites dans une file d'attente.
3. Les travailleurs IA interrogent en continu le canister LLM pour des invites.
4. Les travailleurs IA exécutent les invites et renvoient la réponse au conteneur LLM, qui la renvoie au conteneur appelant.

Cas d'utilisation dans le monde réel

Les développeurs utilisent déjà les bibliothèques LLM pour construire des dapps créatifs, tels que :

• Portefeuilles avec fonctionnalités de chat : Ajout de l'IA conversationnelle aux portefeuilles crypto pour une meilleure interaction utilisateur ( bientôt lancé dans OISY)
• DAOs avec analyse de sentiment : Utiliser les LLM pour analyser le sentiment de la communauté et orienter les décisions de portefeuille comme dans le DAO Alice.

Ces exemples montrent comment les travailleurs AI peuvent soutenir une gamme d'applications sur l'Internet Computer.

Pourquoi c'est important et comment commencer

Le jalon Ignition facilite l'intégration des LLM dans les projets de l'Internet Computer pour les développeurs, permettant de nouveaux types de dapps, comme des chatbots, des outils d'analyse et des applications DeFi pilotées par l'IA. En combinant les LLM avec des fonctionnalités de l'Internet Computer telles que la Fusion de Chaînes, les appels HTTPS et l'aléa onchain, les développeurs peuvent créer des solutions créatives et puissantes.

Prêt à essayer ? Explorez le projet LLM Chatbot sur ICP Ninja, consultez la démo en direct, ou plongez dans le code et les exemples dans notre dépôt.

L'introduction des LLM sur l'Internet Computer a été initialement publiée dans The Internet Computer Review sur Medium, où les gens continuent la conversation en mettant en avant et en répondant à cette histoire.