Yapay Zekâ Modelleri, Super Mario Bros.'ta Test Edilmeye Başladı: En İyi Performansı Hangi Yapay Zekâ Verdi?

ABD’den araştırmacılar; Google, OpenAI, Anthropic gibi şirketlerin yapay zeka modellerini Super Mario Bros. ile test etmeye başladı. İşte sonuçlar.

Yapay zeka modelleri gün geçtikçe çok daha iyi hâle geliyor. doğal ki her teknolojide olduğu gibi yapay zekanın da piyasaya sürülmeden önce ve sonra test edilmesi gerekiyor. Bu testlerde oyunların kullanıldığını görmüştük. mesele Anthropic’in Claude modeli, geçtiğimiz hafta Pokemon’da denenmişti.

Şimdi ise ABD’de bulunan Kaliforniya Üniversitesi San Diego’dan Hao AI Lab adlı organizasyondan araştırmacılar, yepyeni bir oyunla yapay zekayı test etmeye başladı. Bu oyun, ikonik yapım Super Mario Bros. olarak karşımıza çıktı.

Claude 3.7 en iyi performansı verdi, GPT-4o sınıfta kaldı

Testlerde Super Mario Bros. kullanılarak birçok farklı yapay zeka modelinin benchmark testleri gerçekleştirildi. Bunlar arasında OpenAI’ın ChatGPT’ye güç veren GPT-4o’su, Anthropic’in Claude 3.7 ve 3.5 modelleri ve Google’ın Gemini 1.5 Pro’su vardı.

Sonuçlarda, en iyi performansı Claude 3.7’nin verdiği görüldü. Onu Claude 3.5 ve Gemini 1.5 Pro takip etti. GPT-4o ise zorlanarak aralarında en kötü performansı gösteren dil modeli oldu.

Kullanılan Super Mario Bros. 1985’teki orijinalinden biraz daha farklıydı. Testler için emülatörden yararlanıldı. Ayrıca GamingAgent ismi verilen bir framework ile entegre çalıştı. Bu, oyunun yapay zeka modelleri tarafından kontrol edilmesini sağladı.

Oyunda her bir modelin nasıl tepkiler vereceği, karışık manevraları öğrenmeleri, oyun stratejileri geliştirmeleri gibi şeyler test edildi. Daha da ilginç olanı ise OpenAI’ın mantık yürüten o1 modelinin GPT-4o gibi mantık yürüten kategorisine sokulmayan modellerden daha kötü performans göstermesiydi.

Bu tarz modeller, problemleri adım adım düşünüp çözmeleriyle genelde diğer modellere kıyasla daha iyi performans gösteriyordu fakat Super Mario Bros.’ta bu olmadı. Bunun nedeni muhtemelen mantık modellerinin eylemleri için biraz süreye ihtiyacı olması ve düşünmesi. Bu yüzden normal dil modelleri gibi gerçek zamanlı olarak hızlı aksiyon alamıyorlar.