Приведення LLM до Інтернет-комп'ютера

Інфраструктурний етап завершено. Це приносить великі мовні моделі (LLMs) до Інтернет Комп'ютера, що робить можливим використання LLMs зсередини смартконтрактів каністри всього за кілька рядків коду.

Що таке етап запуску?

Мі milestone Ignition, що є частиною треку Децентралізованого ШІ в дорожній карті ICP, зосереджується на підключенні каністр до офлайн LLM. Завдяки цьому оновленню, розробники можуть використовувати ШІ у своїх dapps без складних налаштувань, завдяки AI workers.

Що нового в Ignition

Бібліотеки LL для простого інтегрування

Щоб спростити підключення ваших каністр до LLM, ми додали бібліотеки трьох мов, що використовуються в Інтернет-Комп'ютері: Motoko, Rust та TypeScript.

Ці бібліотеки дозволяють швидко використовувати LLM у ваших dapps. Наприклад, ось як каністера може взаємодіяти з Llama 3.1, використовуючи лише кілька рядків коду Motoko:

імпортувати LL "mo:llm";

чекати LLM.chat(#Llama3_1_8B).withMessages([
#system_ {
content = "Ви корисний помічник.";
},
#user_ {
content = "Який розмір має сонце?";
},
]019283746574839201.send019283746574839201);

Вищенаведений приклад можна знайти та експериментувати з ним на ICP Ninja. Він демонструє, як каністера може надіслати запит до LLM і отримати відповідь, з мінімальними налаштуваннями.

Ось ще один приклад, що показує, як викликати LM за допомогою інструментів:

імпортувати LLM "mo:llm";

актор {
public func example() {
let response = await LLM.chat(#Llama3_1_8B)
.withMessages([
#system_ {
content = "Ви корисний асистент."
},
#користувач {
content = "Яка погода в Цюріху?"
},
])
.withTools(LLM.tool)"get_weather"(
.withDescription("Отримати поточну погоду для місця")
.withParameter(
LLM.parameter)"location", #String(
.withDescription("Місце для отримання погоди")
.isRequired()
(
.build))
);
};
}

Ви можете знайти живу демонстрацію використання інструментів тут, а також вихідний код демонстрації тут.

( працівників штучного інтелекту

Щоб підключити каністри до офлайн LLM, ми створили мінімально життєздатний продукт AI workers, просту систему, яка дозволяє каністрам отримувати дані з офлайн LLM. AI workers обробляють комунікацію, тому каністри можуть надсилати запити та отримувати відповіді від LLM у реальному часі.

На даний момент, AI-робітники підтримують Llama 3.1 8B, Llama 4 Scout та Qwen 3 32B. Ці варіанти надають розробникам гнучкість у виборі відповідного LL для їхнього проєкту.

Ось діаграма, що ілюструє, як AI працівники використовуються "під капотом" для передачі запитів постачальникам LLM поза ланцюгом.

! [])https://img-cdn.gateio.im/webp-social/moments-8fd742a8ded17e736d28ed226d79a927.webp###Як це працює:

1. Каністра відправляє запити до "LLM canister" через бібліотеки LLM, про які ми згадували. Це спеціальна каністра, налаштована для отримання запитів LLM.
2. Контейнер LLM зберігає ці запити в черзі.
3. AI працівники постійно запитують LLM контейнер на наявність підказок.
4. AI працівники виконують запити та повертають відповідь до контейнера LLM, який повертає її до викликаючого контейнера.

( Реальні випадки використання

Розробники вже використовують бібліотеки LLM для створення креативних dapps, таких як:

• Гаманець з функціями чату: Додавання розмовного ШІ до криптогаманців для покращення взаємодії з користувачем )скоро буде запущено в OISY###
• DAO з аналізом настроїв: Використання LLM для аналізу настроїв спільноти та керування портфельними рішеннями, як у DAO Alice.

Ці приклади показують, як AI працівники можуть підтримувати різноманітні застосування в Інтернет-комп'ютері.

( Чому це важливо і як почати

Етап Ignition спрощує інтеграцію LLM у проекти Internet Computer для розробників, що дозволяє створювати нові види dapps, такі як чат-боти, аналітичні інструменти та додатки DeFi на основі ШІ. Об'єднуючи LLM з можливостями Internet Computer, такими як Chain Fusion, HTTPS виходи та випадковість на ланцюзі, розробники можуть створювати креативні та потужні рішення.

Готові спробувати? Досліджуйте проект LLM Chatbot на ICP Ninja, перегляньте живу демонстрацію або зануртесь у код та приклади у нашому репозиторії.

! [])https://img-cdn.gateio.im/webp-social/moments-7a0ffe2184d955cbbfc30272ecb97206.webp###

Приносіння LLM на Інтернет-комп'ютер спочатку було опубліковано в The Internet Computer Review на Medium, де люди продовжують обговорення, підкреслюючи та відповідаючи на цю історію.