AI rekabeti alevleniyor, "Yüzlerce model savaşında" kim galip gelecek?

Geçen ay, AI alanında bir "hayvan savaşı" patlak verdi. Bir taraf, Meta tarafından piyasaya sürülen Llama (lama) modeli, diğer taraf ise Falcon (şahin) adlı büyük modeldi.

Llama, açık kaynak özellikleri sayesinde geliştiriciler arasında popülerdir. Japonya'daki NEC şirketi, Llama'nın makalesini ve kaynak kodunu inceledikten sonra hızla Japonca bir sohbet robotu geliştirdi. Falcon ise Birleşik Arap Emirlikleri'ndeki Teknoloji İnovasyon Araştırma Enstitüsü tarafından geliştirildi ve açık kaynak model sıralamasında Llama'yı geride bıraktı.

Şu anda, AI alanı "kargaşa dönemine" girmiştir. Güçlü ülkeler ve şirketler, kendi büyük dil modellerini oluşturma çabalarına başlamaktadır. Sadece Körfez bölgesinde, Suudi Arabistan, yerel üniversiteler için eğitim amacıyla 3000'den fazla H100 çipi satın almıştır.

Bu "bir ülke, bir model" fenomeni insanı düşündürüyor: Yüksek giriş engellerine sahip olduğu iddia edilen AI teknolojisi, nasıl "yüzlerce model savaşına" dönüştü?

Transformer algoritması oyunun kurallarını değiştiriyor

Mevcut büyük modellerin yükselişi, 2017'de Google'ın yayımladığı "Attention Is All You Need" makalesine borçludur. Bu makalede sunulan Transformer algoritması, bu AI patlamasının anahtarı haline gelmiştir.

Transformer, erken dönem sinir ağlarının uzun metin bağlamını anlamakta zorlandığı sorunları çözdü. Döngüsel tasarım yerine konum kodlaması kullanarak, paralel hesaplama gerçekleştirdi ve eğitim verimliliğini büyük ölçüde artırdı. Bu, AI'nın teorik araştırmadan mühendislik pratiğine geçişini sağladı ve büyük model döneminin gelişimini hızlandırdı.

2019'da OpenAI, Transformer tabanlı GPT-2 modelini geliştirdi. Ardından Google, parametre ve hesaplama gücünü artırarak daha güçlü olan Meena'yı tanıttı. Bu tür bir "şiddetli yığma" yöntemi akademik dünyayı şaşırttı.

Günümüzde, temel algoritma yenilik hızının yavaşlamasıyla birlikte, veri mühendisliği, hesaplama gücü gibi mühendislik unsurları AI yarışının anahtarı haline geldi. Belirli bir teknik yeteneğe sahip teknoloji şirketleri büyük modeller geliştirebiliyor.

Giriş Kolay, Başarı Zor

Giriş engeli düşük olsa da, AI çağında önde gelen bir şirket olmak kolay değil. Falcon ve Llama arasındaki rekabeti ele alacak olursak, Falcon daha yüksek bir sıralamaya sahip olmasına rağmen, Meta üzerinde somut bir etki yaratmakta zorlanıyor.

Açık kaynak büyük modeller için, aktif bir geliştirici topluluğu temel rekabet avantajıdır. Meta, 2015 yılında açık kaynak yolunu benimsemiş ve topluluk yönetimi konusunda derin bir bilgiye sahip olmuştur. Şu anda Llama serisi, açık kaynaklı LLM'lerin yön göstericisi haline gelmiş, birçok model bunun üzerine geliştirilmiştir.

Performans açısından, çoğu LLM'nin GPT-4 ile hala belirgin bir farkı var. AgentBench testinde, GPT-4 4.41 puanla açık ara önde, ikinci sıradaki Claude ise sadece 2.77 puan aldı, açık kaynak modelleri genellikle 1 puan civarında.

Bu farkı yaratan, OpenAI'nin en iyi bilim insanı ekibi ve uzun yıllar biriktirilmiş deneyimdir. Bu nedenle, büyük modellerin temel avantajı, yalnızca parametre yığınları değil, ekosistem inşası veya saf çıkarım yeteneğidir.

Maliyet ve Gelir Dengesizliği Zorluk Oluşturuyor

Şu anda büyük model sağlayıcıları genel olarak maliyet ve gelir arasında ciddi bir dengesizlik sorunu ile karşı karşıya. Tahminlere göre, dünya genelindeki teknoloji şirketleri her yıl büyük model altyapısına 200 milyar dolar yatırım yapacak, ancak gelir en fazla 75 milyar dolar olacak ve en az 125 milyar dolarlık bir açık olacak.

Microsoft, Adobe gibi devlerin AI ürünlerinde bile kâr etmesi zor. Örneğin, GitHub Copilot her kullanıcıdan ayda 20 dolar zarar ediyor, yoğun kullanıcılar Microsoft'u hatta 80 dolar zarara sokuyor. Adobe ise kullanımını sınırlamak için bir puan sistemi kurmak zorunda kaldı.

Çoğu parametre yığını büyük model için, ana uygulama senaryoları hala sohbetle sınırlıdır. Homojen rekabetin artması ve açık kaynaklı modellerin çoğalmasıyla, yalnızca büyük model tedarikçilerinin karşılaştığı zorluklar daha da büyüyecektir.

Gelecekte, gerçekten öne çıkacak AI işletmeleri belki de modelin kendisinden çok, yapay zekayı gerçek uygulama senaryolarıyla derinlemesine birleştirerek kullanıcılara gerçek değer yaratma yetenekleriyle ilgili olacak. Tıpkı iPhone 4'ün başarısının işlemcide değil, zengin uygulama ekosisteminde yatması gibi.