Завдяки універсальному бізнес-рішенню, такому як AI21, і водночас перевершуючи всі відомі світові моделі за продуктивністю, Jambo стає першою моделлю, доступною на основі методу виробництва Mamba. Завдяки інтеграції технології Mamba SSM і елементів старої архітектури Transformer Jamba представляє нове бачення в розробці більшої мовної моделі (LLM).
Революція LLM
Поява Jamba вказує на зміну епохи у випадку LLM, які ефективно справляються з обмеженнями стандартних SSM і типів архітектур Transformers. З огляду на розмір контекстного вікна до 256 КБ, Jamba має велику перевагу перед іншими моделями в подібних регіонах за різними тестами, таким чином встановлюючи нову планку як мірило найкращої ефективності та продуктивності.
Архітектура Jamba має багато аспектів, які створюють її як гібридну систему Transformers, Mambas і суміші експертів (MoE), які діють разом у синергії. Ця інтеграція реалізує оптимізацію використання пам’яті разом із пропускною спроможністю, яка є основним фокусом великомасштабного мовного завдання, і розширює межу продуктивності, яку можна досягти.
Масштабованість — це ДНК Jamba, тобто вона може обробляти понад 140 тисяч контекстів, використовуючи лише один графічний процесор. Ця масштабованість може підтримувати операції та участь на відстані витягнутої руки, допомагаючи навчанню та дослідженню, генеруючи нові знання та сприяючи інноваціям у спільноті ШІ.
Етапні досягнення
Розгортання Jamba знаменує не лише явище, яке змінило правила гри, але й піонерський крок у галузі досліджень LLM. По-перше, він успішно поєднує архітектуру Мамби та Трансформера таким чином, що вони об’єднуються, як симбіоти, поєднання яких виявляється справді потужнішим, ніж окремі половини. Крім того, текст представляє гібридну версію SSM-Transformer, яка поєднує в собі потужність і швидкість інших існуючих SSM-Transformer із можливістю кращої роботи в нових контекстах.
Проте Даган, віце-президент із продукту в AI21, висловився неймовірно та зберіг структуру змішаної архітектури Jamba в авангарді. Він пояснив, як гнучкість Jamba дозволяє швидко доставляти випадки використання з величезними обсягами та підтримує швидкість у реальному часі, навіть прискорюючи запуск критичних випадків використання.
Співпраця з відкритим кодом
Випуск відкритих ваг Jamba з ліцензією Apache 2.0 передбачає, що AI21 може реалізувати такий вид комісії в спільноті з відкритим кодом. AI21 прагне створити середовище, у якому можна сприяти новим досягненням шляхом заохочення подальших внесків та ідей.
Інкапсуляція конвеєра графічного процесора NVIDIA як мікросервісу виводу NIM спрощує доступність Jamba для корпоративних програм. Гуманізація: безпроблемна інтеграція забезпечує швидке та безпроблемне розгортання під час оновлення додатків Jampa практично в усіх щоденних сценаріях.
Випуск Jamba AI21 став важливою віхою в галузі корпоративного штучного інтелекту. Jamba готова трансформувати індустрію мовних моделей, пропонуючи інноваційну гібридну архітектуру, неперевершену масштабованість і виняткові функції інтеграції моделі. Таким чином, клієнти можуть легко та швидше виконувати свої складні мовні завдання, ніж це було можливо раніше.
AI21 також продемонстрував свою підтримку співпраці з відкритим вихідним кодом і ділового партнерства з провідними компаніями штучного інтелекту, такими як NVIDIA, що додатково демонструє свою відданість стрімкому розвитку технологічного прогресу та збільшенню впровадження високоефективних рішень штучного інтелекту в різних сферах.
Однак Jamba впевнюється у своєму місці в ширшому ландшафті штучного інтелекту, оскільки він стосується обробки мови; таким чином, вплив буде відчутним далеко за межами традиційних платформ обробки мови, щоб започаткувати новий порядок бізнес-рішень на основі ШІ.
Джерело: https://www.cryptopolitan.com/next-generation-ai-system-promises/