Конкуренція в AI досягає апогею, хто зможе перемогти в "битві моделей"?

Минулого місяця в галузі ШІ спалахнула "війна тварин". Одна сторона - модель Llama (алпака), випущена Meta, інша - велика модель під назвою Falcon (сокол).

Llama завдяки своїй відкритій природі користується великою популярністю серед розробників. Японська компанія NEC, вивчивши статтю та вихідний код Llama, швидко розробила японську версію чат-бота. А Falcon був розроблений Науково-дослідницьким інститутом технологічних інновацій ОАЕ і колись обійшов Llama у рейтингу відкритих моделей.

На даний момент сфера штучного інтелекту вступила в етап "змагання лідерів". Потужні країни та компанії активно працюють над створенням своїх великих мовних моделей. Лише в районі Перської затоки Саудівська Аравія придбала понад 3000 чіпів H100 для навчання в університетах країни.

Це явище "одна країна — одна модель" викликає подив: як так звані високі бар'єри в технології ШІ перетворилися на "війни сотень моделей"?

Алгоритм Transformer змінює правила гри

Сучасний сплеск різних великих моделей зумовлений публікацією Google у 2017 році статті «Увага - це все, що вам потрібно». Алгоритм Transformer, запропонований у цій статті, став ключовим у цьому сплеску ШІ.

Transformer вирішив проблему, з якою стикалися ранні нейронні мережі, щодо розуміння контексту довгих текстів. Він використовує позиційне кодування замість циклічної архітектури, що дозволяє виконувати паралельні обчислення та значно підвищує ефективність навчання. Це сприяло переходу ШІ від теоретичних досліджень до інженерної практики, що стимулювало прихід епохи великих моделей.

У 2019 році OpenAI розробила модель GPT-2 на основі Transformer. Потім Google випустила більш потужний Meena, здебільшого за рахунок збільшення кількості параметрів і обчислювальної потужності. Такий "агресивний підхід" шокував академічну спільноту.

Сьогодні швидкість інновацій у базових алгоритмах сповільнилася, інженерні фактори, такі як обробка даних і масштаби обчислювальної потужності, стали ключовими у змаганні в сфері ШІ. Технологічні компанії з певними технічними можливостями можуть розробляти великі моделі.

Вхід легкий, успіх важкий

Хоча бар'єри для входу не високі, стати провідною компанією в епоху AI не так просто. Наприклад, у суперечці між Falcon і Llama, хоча Falcon займає вищу позицію, йому важко завдати суттєвого удару Meta.

Для відкритих великих моделей активна спільнота розробників є основною конкурентною перевагою. Meta ще в 2015 році визначила відкритий шлях і добре знає, як управляти спільнотою. На даний момент серія Llama стала вектором орієнтації для відкритих LLM, багато моделей розроблені на її основі.

У плані продуктивності більшість LLM все ще мають помітний розрив з GPT-4. У тестуванні AgentBench GPT-4 з кількістю 4,41 очка значно випереджає, друге місце займає Claude з 2,77 очками, тоді як відкриті моделі зазвичай мають близько 1 очка.

Причиною цієї різниці є команда провідних науковців OpenAI та накопичений за довгий час досвід. Таким чином, основна перевага великих моделей полягає у розвитку екосистеми або чистій здатності до міркування, а не в простому накопиченні параметрів.

Дисбаланс витрат і доходів стає проблемою

Наразі постачальники великих моделей загалом стикаються з серйозною дисбалансом між витратами та доходами. За оцінками, світові технологічні компанії щорічно витрачають на інфраструктуру великих моделей до 200 мільярдів доларів, але доходи становлять максимум 75 мільярдів доларів, існує щонайменше 125 мільярдів доларів дефіциту.

Навіть такі гіганти, як Microsoft і Adobe, мають труднощі з отриманням прибутку від продуктів штучного інтелекту. Наприклад, GitHub Copilot вимагає від кожного користувача щомісячних витрат у 20 доларів, а активні користувачі навіть призводять до збитків Microsoft у 80 доларів. Adobe змушена була запровадити систему балів для обмеження використання.

Для більшості великих моделей, що мають накопичені параметри, основні сфери застосування все ще обмежуються чатами. З посиленням конкуренції за аналогами та зростанням кількості відкритих моделей, чисті постачальники великих моделей зіткнуться з більшими викликами.

В майбутньому справжніми переможцями серед AI-компаній можуть стати не стільки самі моделі, скільки спосіб, яким AI буде глибоко інтегровано в реальні сценарії використання, щоб створити справжню цінність для користувачів. Як успіх iPhone 4 полягав не в процесорі, а в багатій екосистемі додатків.