NTT і Токійський університет розробляють перший у світі оптичний обчислювальний штучний інтелект за допомогою алгоритму, натхненного людським мозком

Співпраця сприяє практичному застосуванню малопотужного високошвидкісного ШІ на основі оптичних обчислень

ТОКІО–(ДІЛОВИЙ ПРОВЕДЕННЯ)–#TechforGood-Корпорація НТТ (Президент і генеральний директор: Акіра Сімада, «NTT») і Токійський університет (Bunkyo-ku, Токіо, президент: Teruo Fujii) розробили новий алгоритм навчання, натхненний обробкою інформації в мозку, який підходить для багаторівневих штучних нейронних мереж (DNN) з використанням аналогових операцій. Цей прорив призведе до зменшення енергоспоживання та часу обчислень для ШІ. Результати цієї розробки були опубліковані в британському науковому журналі Природа зв'язку 26 грудня^th.

Дослідники вперше в світі продемонстрували ефективне виконання оптичного навчання DNN, застосувавши алгоритм до DNN, який використовує оптичні аналогові обчислення, що, як очікується, забезпечить високошвидкісні пристрої машинного навчання з низьким енергоспоживанням. Крім того, вони досягли найвищої в світі продуктивності багатошарової штучної нейронної мережі, яка використовує аналогові операції.

У минулому навчальні обчислення з високим навантаженням виконувалися цифровими обчисленнями, але цей результат доводить, що можна підвищити ефективність навчальної частини за допомогою аналогових обчислень. У технології глибокої нейронної мережі (DNN) рекурентна нейронна мережа, яка називається обчисленням глибокого резервуару, розраховується шляхом припущення оптичного імпульсу як нейрона та нелінійного оптичного кільця як нейронної мережі з рекурсивними з’єднаннями. Шляхом повторного введення вихідного сигналу в ту саму оптичну схему мережа штучно поглиблюється.

Технологія DNN забезпечує передовий штучний інтелект (AI), такий як машинний переклад, автономне водіння та робототехніка. В даний час необхідна потужність і час обчислень зростають зі швидкістю, що перевищує зростання продуктивності цифрових комп'ютерів. Очікується, що технологія DNN, яка використовує обчислення аналогового сигналу (аналогові операції), буде методом реалізації високоефективних і швидкісних обчислень, подібних до нейронної мережі мозку. У результаті співпраці між NTT і Токійським університетом було розроблено новий алгоритм, придатний для аналогової роботи DNN, який не передбачає розуміння параметрів навчання, включених до DNN.

Пропонований спосіб навчається шляхом зміни параметрів навчання на основі кінцевого рівня мережі та нелінійного випадкового перетворення похибки бажаного вихідного сигналу (сигналу помилки). Це обчислення полегшує реалізацію аналогових обчислень у таких речах, як оптичні схеми. Його також можна використовувати не лише як модель для фізичної реалізації, але й як передову модель, що використовується в таких додатках, як машинний переклад і різні моделі ШІ, включаючи модель DNN. Очікується, що це дослідження сприятиме вирішенню нових проблем, пов’язаних із обчисленнями штучного інтелекту, включаючи енергоспоживання та збільшення часу обчислень.

На додаток до вивчення застосовності методу, запропонованого в цьому документі, до конкретних проблем, NTT також сприятиме великомасштабній і дрібномасштабній інтеграції оптичного обладнання з метою створення високошвидкісної малопотужної оптичної обчислювальної платформи для майбутніх оптичних мережі.

Підтримка цього дослідження:

JST/CREST підтримав частину цих результатів дослідження.

Публікація в журналі:

Magazine: Природа зв'язку (Онлайн версія: 26 грудня)

Назва статті: Глибоке фізичне навчання з біологічно натхненним методом навчання: безградієнтний підхід для фізичного обладнання

Автори: Міцумаса Накадзіма, Кацума Іноуе, Кендзі Танака, Ясуо Кунійоші, Тошікадзу Хасімото та Кохей Накадзіма

Пояснення термінології:

1. Оптична схема: схема, в якій кремнієві або кварцові оптичні хвилеводи вбудовані в кремнієву пластину за допомогою технології виготовлення електронних схем. У зв'язку розгалуження та злиття оптичних шляхів зв'язку виконуються шляхом оптичної інтерференції, мультиплексування/демультиплексування за довжиною хвилі тощо.
2. Метод зворотного поширення (BP): найбільш часто використовуваний алгоритм навчання в глибокому навчанні. Градієнти ваг (параметрів) у мережі отримують при поширенні сигналу помилки назад, і ваги оновлюються так, що помилка стає меншою. Оскільки процес зворотного поширення вимагає транспонування вагової матриці моделі мережі та нелінійного диференціювання, його важко реалізувати на аналогових схемах, включаючи мозок живого організму.
3. Аналогове обчислення: комп’ютер, який виражає реальні значення використовуючи такі фізичні величини, як інтенсивність і фаза світла, напрямок і інтенсивність магнітних обертів, і виконує обчислення, змінюючи ці фізичні величини відповідно до законів фізики.
4. Метод вирівнювання прямого зворотного зв’язку (DFA): метод псевдообчислення сигналу помилки кожного шару шляхом виконання нелінійного випадкового перетворення сигналу помилки останнього рівня. Оскільки він не вимагає диференціальної інформації моделі мережі та може бути обчислений лише шляхом паралельного випадкового перетворення, він сумісний з аналоговим обчисленням.
5. Резервуарні обчислення: тип рекурентної нейронної мережі з рекурентними з’єднаннями в прихованому шарі. Він характеризується випадковою фіксацією зв’язків у проміжному шарі, який називається резервуарним шаром. У глибоких обчисленнях пластів обробка інформації виконується шляхом з’єднання шарів пластів у декілька шарів.

NTT і логотип NTT є зареєстрованими товарними знаками або товарними знаками NIPPON TELEGRAPH AND TELEPHONE CORPORATION та/або її філій. Усі інші згадувані назви продуктів є товарними знаками відповідних власників. © 2023 NIPPON TELEGRAPH AND TELEPHONE CORPORATION

Контакти

Стівен Рассел

Дротовий зв'язок®

Для НТТ

+ 1-804-362-7484

[захищено електронною поштою]