Клас ChatGPT Ву Енди вибухнув: ШІ відмовився від написання слів задом наперед, але розумів увесь світ

Джерело: Qubit

Несподівано навіть сьогодні ChatGPT все ще робитиме помилки низького рівня?

Бог Ву Енда вказав на це на останньому занятті:

ChatGPT не перевертає слова!

Наприклад, нехай він переверне слово lollipop, і результатом буде pilollol, що повністю заплутає.

О, це справді трохи вражає.

Настільки, що після того, як користувачі мережі, які відвідали заняття, опублікували на Reddit, вони одразу привернули увагу великої кількості глядачів, а популярність дописів підскочила до 6 тисяч.

І це не випадкова помилка. Користувачі мережі виявили, що ChatGPT справді не може виконати це завдання, і результат нашого особистого тесту такий же.

△ Measured ChatGPT (GPT-3.5)

Навіть не багато продуктів, включаючи Bard, Bing і Wenxin Yiyan.

△ Розмірений Бард

△ Перевірка серця та розуму слова

Деякі люди поскаржилися, що ChatGPT погано справляється з цими простими словесними завданнями.

Наприклад, гра в Wordle, раніше популярну гру в слова, була катастрофою і ніколи не робилася правильно.

а? чому

Ключ - це маркер

Причина цього явища криється в лексемі. Токени — це найпоширеніші послідовності символів у тексті, і великі моделі використовують маркери для обробки тексту.

Це може бути як ціле слово, так і фрагмент слова. Велика модель розуміє статистичні зв’язки між цими токенами та добре генерує наступний токен.

Отже, коли ви маєте справу з невеликим завданням перевертання слів, це може просто перевернути кожен маркер, а не букву.

Це ще більш очевидно в китайському контексті: слово є лексемою, або слово є лексемою.

Для прикладу на початку хтось намагався зрозуміти процес міркування ChatGPT.

Для більш інтуїтивного розуміння OpenAI навіть випустив GPT-3 Tokenizer.

Наприклад, для слова lollipop GPT-3 розділить його на три частини: I, oll, ipop.

Як свідчить досвід, народилися такі неписані правила.

• 1 токен ≈ 4 англійські символи ≈ 3/4 слова;
• 100 токенів ≈ 75 слів;
• 1-2 речення ≈ 30 токенів;
• Абзац ≈ 100 токенів, 1500 слів ≈ 2048 токенів;

Спосіб поділу слів також залежить від мови. Згідно з попередньою статистикою, кількість токенів, що використовуються в китайській мові, в 1,2-2,7 рази перевищує кількість англійської.

Чим вищий коефіцієнт token-to-char (токен-слово), тим вища вартість обробки. Тому обробка китайської мови дорожча, ніж англійської.

Можна зрозуміти, що токен — це спосіб для великої моделі зрозуміти реальний світ людей. Це дуже просто, а також значно зменшує пам’ять і час.

Однак існує проблема з лексемою слів, що ускладнить для моделі вивчення значущих вхідних представлень.Найбільш інтуїтивне представлення полягає в тому, що воно не може зрозуміти значення слів.

У той час Transformers були відповідно оптимізовані: наприклад, складне та незвичайне слово розділили на значущу лексему та самостійну лексему.

Подібно до того, як слово дратує поділяється на "дратує" і "лай", перше зберігає свою семантику, тоді як друге з’являється часто.

Це також сприяло приголомшливим ефектам ChatGPT та інших широкомасштабних модельних продуктів сьогодні, які можуть дуже добре розуміти людську мову.

Що стосується такого невеликого завдання, як не в змозі впоратися зі зміною слів, звичайно, є рішення.

Найпростіший і прямий спосіб - це розділити слова самостійно~

Або ви можете дозволити ChatGPT крок за кроком, спочатку токенізуючи кожну літеру.

Або нехай напише програму, яка перевертає літери, і тоді результат програми буде правильним. (голова собаки)

Однак GPT-4 також можна використовувати, і при фактичному вимірюванні такої проблеми немає.

△ Виміряно GPT-4

Коротше кажучи, токен є наріжним каменем для ШІ для розуміння природної мови.

Значення маркера стає все більш очевидним як міст для розуміння штучним інтелектом природної мови людини.

Це стало ключовим фактором, що визначає продуктивність моделей штучного інтелекту, а також є стандартом виставлення рахунків для великих моделей.

навіть є символічна література

Як згадувалося вище, маркер може полегшити модель для захоплення ** більш детальної ** семантичної інформації, такої як значення слова, порядок слів, граматична структура тощо. Його порядок, положення є вирішальними в задачах моделювання послідовності, таких як моделювання мови, машинний переклад, генерація тексту тощо.

Лише тоді, коли модель точно розуміє позицію та контекст кожного токена в послідовності, вона може краще передбачити вміст і дати обґрунтований результат.

Таким чином, якість і кількість токена мають прямий вплив на ефект моделі.

З початку цього року, коли випускається все більше і більше великих моделей, наголошуватиметься на кількості токенів.Наприклад, у деталях експозиції Google PaLM 2 згадується, що для навчання було використано 3,6 трильйона токенів.

І багато лідерів галузі також сказали, що токен – це справді ключ!

Андрій Карпаті, вчений зі штучного інтелекту, який цього року перейшов від Tesla до OpenAI, сказав у своєму виступі:

Більше токенів може змусити модель думати краще.

І підкреслив, що продуктивність моделі не визначається лише розміром параметрів.

Наприклад, масштаб параметрів LLaMA набагато менший, ніж у GPT-3 (65B проти 175B), але оскільки він використовує більше токенів для навчання (1,4T проти 300B), LLaMA є потужнішим.

І через його прямий вплив на продуктивність моделі, токен також є платіжним стандартом для моделей AI.

Візьмемо як приклад стандарт ціноутворення OpenAI. Рахунки виставляються в одиницях токенів по 1 К. Різні моделі та різні типи токенів мають різні ціни.

Коротше кажучи, увійшовши до поля великої моделі штучного інтелекту, ви побачите, що токен є неминучим джерелом знань.

Ну, це навіть породило символічну літературу...

Однак варто зазначити, що ще не повністю визначено, як має бути перекладений токен у китайському світі.

Дослівний переклад «токена» завжди трохи дивний.

GPT-4 вважає, що краще називати це «словесним елементом» або «токеном», як ви думаєте?

Посилання на посилання: [1] [2] [3]