IT之家 3 月 22 日消息,由于传统 AI 基准测试方法难以全面评估模型能力,AI 开发者正尝试更具创意的测试方式,其中一种测试手段,则是微软沙盒建造游戏《我的世界》。
வெளிநாட்டு ஊடகமான TechCrunch படி, ஆதி சிங் (ஆதி சிங்) என்ற உயர்நிலைப் பள்ளி ஜூனியர் AI மதிப்பீட்டிற்காக குறிப்பாக உருவாக்கப்பட்ட ஒரு வலைத்தளத்தை உருவாக்கினார், Minecraft பெஞ்ச்மார்க் (சுருக்கமாக MC-Bench), AI மாடல்களை "Minecraft" இல் ஒரே மேடையில் போட்டியிட அனுமதிக்கிறது.அதே தூண்டுதல்களின் அடிப்படையில் கட்டிடக்கலை கலைப்படைப்புகளை உருவாக்கவும்。 பயனர்கள் எது சிறந்தது என்று நினைக்கிறார்களோ அதற்கு வாக்களிக்கலாம், மேலும் வாக்கு முடிந்ததும், AI-உருவாக்கப்பட்ட படைப்புகள் வெளிப்படுத்தப்படும்.
Minecraft ஐத் தேர்ந்தெடுப்பதன் முக்கியத்துவம் விளையாட்டு அல்ல, ஆனால் அதன் புகழ் என்று அது நம்புகிறது. நீங்கள் விளையாட்டை விளையாடாவிட்டாலும், எந்த கனசதுர வடிவ அன்னாசிப்பழம் மிகவும் யதார்த்தமானது என்பதை நீங்கள் இன்னும் சொல்ல முடியும். "Minecraft AI இன் முன்னேற்றத்தை மிகவும் உள்ளுணர்வுடன் ஆக்குகிறது, மேலும் Minecraft இன் பாணி மற்றும் காட்சிகளை அனைவரும் நன்கு அறிந்திருக்கிறார்கள்."
தற்போது, MC-Bench க்கு 8 தன்னார்வ பங்களிப்பாளர்கள் உள்ளனர். எம்.சி-பெஞ்ச் இணையதளத்தில் உள்ள தகவல்களிலிருந்து ஐ.டி ஹோம் அறிந்தது,ஆந்த்ரோபிக், கூகிள், OpenAI மற்றும் அலிபாபாதிட்டத்திற்காக AI கம்ப்யூட்டிங் வளங்கள் வழங்கப்பட்டன, ஆனால் அவை வளர்ச்சியில் நேரடியாக ஈடுபடவில்லை.
"இந்த நேரத்தில், எங்கள் சோதனை இன்னும் அடிப்படையானது, முக்கியமாக AI ஐ கவனிக்கGPT-3 சகாப்தத்திலிருந்து தற்போது வரை முன்னேற்றம்。 ஆனால் எதிர்காலத்தில், நாம் மிகவும் சிக்கலான இலக்கு சார்ந்த பணிகள் மற்றும் நீண்டகால திட்டமிடல் மதிப்பீடுகளுக்கு விரிவடையக்கூடும், மேலும் AI முகவர்களின் பகுத்தறிவு திறன்களை சோதிக்க விளையாட்டுகள் ஒரு சிறந்த வழியாக இருக்கலாம் - அவை நிஜ உலகத்தை விட பாதுகாப்பானவை மற்றும் கட்டுப்படுத்தக்கூடியவை. ”
கண்டிப்பாகச் சொன்னால், MC-Bench இன்னும் ஒரு நிரலாக்க அளவுகோலாகும், ஏனெனில் AI க்கு இது தேவைகட்டிடங்களை உருவாக்க குறியீட்டை எழுதுங்கள், "ஃப்ரோஸ்ட் ஸ்னோமேன்" அல்லது "டிராபிகல் பீச் ஹவுஸ்" போன்றவை.
குறியீட்டை பகுப்பாய்வு செய்வதை விட பெரும்பாலான பயனர்களுக்கு இது எளிதானதுவேலையின் மூலமேAI இன் செயல்திறனை தீர்மானிக்க. இந்த சோதனை முடிவுகள் AI இன் நிஜ உலக மதிப்பை உண்மையிலேயே அளவிட முடியுமா என்பது இன்னும் விவாதத்திற்கு உள்ளது. ஆனால் தரவு இன்னும் ஒரு முக்கியமான குறிப்பு என்று சிங் நம்புகிறார். "MC-Bench இன் தற்போதைய லீடர்போர்டு எனது நிஜ உலக அனுபவத்துடன் மிகவும் ஒத்துப்போகிறது, இது பல பாரம்பரிய உரை வரையறைகளில் பொதுவானதல்ல. ஒருவேளை, AI டெவலப்பர்கள் சரியான பாதையில் செல்கிறார்களா என்பதை தீர்மானிக்க இது உதவக்கூடும். ”