IT之家 3 月 22 日消息，由于传统 AI 基准测试方法难以全面评估模型能力，AI 开发者正尝试更具创意的测试方式，其中一种测试手段，则是微软沙盒建造游戏《我的世界》。
Yabancı medya TechCrunch'a göre, Adi Singh (Adi Singh) adlı bir lise öğrencisi, yapay zeka değerlendirmesi için özel olarak geliştirilmiş bir web sitesi olan Minecraft Benchmark'ı (kısaca MC-Bench) oluşturdu ve yapay zeka modellerinin "Minecraft"ta aynı sahnede rekabet etmesine izin verdi.Aynı istemlere dayalı olarak mimari sanat eserleri oluşturun。 Kullanıcılar daha iyi olduğunu düşündükleri şeye oy verebilir ve oylama sona erdikten sonra yapay zeka tarafından oluşturulan hangi eserler ortaya çıkacaktır.
Minecraft'ı seçmenin öneminin oyunun kendisi değil, popülaritesi olduğuna inanıyor. Oyunu oynamamış olsanız bile, hangi küp şeklindeki ananasın daha gerçekçi olduğunu anlayabilirsiniz. "Minecraft, yapay zekanın ilerlemesini daha sezgisel hale getiriyor ve herkes Minecraft'ın stiline ve görsellerine aşina."
Şu anda, MC-Bench'e katkıda bulunan 8 gönüllü var. IT Home, MC-Bench web sitesinde yer alan bilgilerden şunu öğrendi:Antropik, Google, OpenAI ve AlibabaProje için yapay zeka bilgi işlem kaynakları sağlandı, ancak geliştirmeye doğrudan dahil olmadılar.
"Şu anda, testlerimiz hala temel, esas olarak yapay zekayı gözlemlemek içinGPT-3 döneminden günümüze ilerleme。 Ancak gelecekte, daha karmaşık hedef odaklı görevlere ve uzun vadeli planlama değerlendirmelerine genişleyebiliriz ve oyunlar, gerçek dünyadan daha güvenli ve daha kontrol edilebilir olan AI ajanlarının akıl yürütme yeteneklerini test etmek için ideal bir yol olabilir. ”
Açıkça söylemek gerekirse, MC-Bench hala bir programlama ölçütüdür çünkü AI'nın buna ihtiyacı vardırBinalar oluşturmak için kod yazın, "Donmuş Karadam" veya "Tropikal Sahil Evi" gibi.
Çoğu kullanıcı için kodu analiz etmekten daha kolaydırİşin kendisi aracılığıylayapay zekanın performansını değerlendirmek için. Bu test sonuçlarının yapay zekanın gerçek dünyadaki değerini gerçekten ölçüp ölçemeyeceği hala tartışmaya açık. Ancak Singh, verilerin hala önemli bir referans olduğuna inanıyor. "MC-Bench'in şu anki skor tablosu, birçok geleneksel metin kıyaslamasında yaygın olmayan gerçek dünya deneyimimle çok uyumlu. Belki de yapay zeka geliştiricilerinin doğru yolda olup olmadıklarını belirlemelerine yardımcı olabilir. ”