GPU'ların Gizli Gücünü Ortaya Çıkaran Girişim: Kog ve Yazılım Odaklı Devrim

Yapay Zeka Çıkarsama Yarışında Yeni Bir Oyuncu

Yapay zeka dünyasında hız her şeydir. Cerebras gibi şirketlerin özel çiplerle donanım odaklı çözümler sunduğu bir dönemde, Fransız startup Kog, bambaşka bir yaklaşımla sahnede yerini aldı. Kog'un iddiası oldukça çarpıcı: Mevcut veri merkezlerinde bulunan AMD MI300X ve Nvidia H200 gibi standart GPU'ların gerçek potansiyelini, sadece yazılım optimizasyonuyla çok daha yukarı taşımak.

Yazılım Optimizasyonu ile 30 Kat Hız

Şirketin temel vaadi olan 30x daha hızlı LLM (Büyük Dil Modeli) çıkarsaması, teknoloji dünyasında büyük yankı uyandırdı. Kog, geliştirdiği Kog Inference Engine (KIE) ile özellikle profesyonel iş akışlarında yaşanan yavaşlama sorununu ortadan kaldırmayı hedefliyor. Şirket, test aşamasında 2 milyar parametreli Laneformer 2B modeliyle saniyede 3.000 token (TPS) gibi etkileyici bir hıza ulaştı.

Buna da Göz Atın

Spotify Android Kullanıcıları Çileden Çıktı: Performans Sorunları Neden Çözülmüyor?

Haberi Oku

Hacker Zihniyetiyle GPU Mühendisliği

Kog'un kurucusu Gaël Delalleau'nun kariyeri, girişimin vizyonunu açıklıyor. Solid-state fizik geçmişine sahip olan Delalleau, aynı zamanda dört kez DEFCON CTF finalisti olmuş bir siber güvenlik uzmanı. Bu "hacker" bakış açısıyla GPU'ları en düşük seviyede, yani assembly ve ikili kod düzeyinde analiz eden ekip, donanımların tasarlanma amaçlarının ötesine geçerek performans sınırlarını zorluyor.

Sırada Büyük Modeller Var

Kog ekibi, önümüzdeki süreçte küçük modellerin ötesine geçerek daha büyük ölçekli LLM'lerde de aynı yüksek performansı sergilemeye hazırlanıyor. Eylül ayında 10 kat hız artışı sağlanmış büyük bir modeli sahaya sürmeye hazırlanan girişim, özellikle Avrupa'nın teknolojik egemenliği adına önemli bir stratejik ortak olan Bpifrance ve French Tech 2030 programından destek alıyor. Mevcut donanımları yazılımla yeniden tanımlamak, yapay zeka maliyetlerini düşürmek için yeterli bir anahtar olabilir mi?