การทดสอบ AI มีหลายรูปแบบ ไม่ว่าจะเป็นกาาตอบรับเวลาคุยกับคน หรือ จะเป็นการให้มันไปเล่นหมากรุก ฯลฯ แต่สำหรับวัดประสิทธิภาพของ AI นั้นระยะหลังมีการเอามาใช้เล่นเกม แต่ล่าสุดนักวิจัยจาก Hao AI Lab แห่งมหาวิทยาลัยแคลิฟอร์เนีย ซานดิเอโก ได้ทดสอบ Super Mario Bros. และพบว่ามันดีกว่า Pokémon ที่เคยใช้วัด AI มาแล้ว
AI vs Super Mario – ทดสอบด้วย AI ทั้งหมด 3 ตัว
ทีมวิจัยได้นำ AI จากหลายค่าย มาทดสอบการเล่น Super Mario Bros. ผ่าน Emulator โดยใช้ Framework GamingAgent ที่พัฒนาเอง ซึ่งช่วยให้ AI สามารถควบคุมมาริโอได้ผ่าน Python Code ผลลัพธ์ที่ได้คือ
- Claude 3.7 ของ Anthropic ทำผลงานได้ดีที่สุด
- Claude 3.5 ตามมาเป็นอันดับสอง
- Google Gemini 1.5 Pro และ OpenAI GPT-4o ผลลัพธ์ไม่ค่อยดี
แม้ว่า AI จะได้รับคำสั่งพื้นฐานเช่น “ถ้ามีสิ่งกีดขวางหรือศัตรูใกล้ตัว ให้กระโดดหรือเดินหลบ” แต่ความยากแบบ Real-time ของเกมทำให้ AI ต้องเรียนรู้การวางแผนการเคลื่อนที่และต้องพัฒนาตัวเองในการเล่นเกม
ทำไม AI ถึงเล่น Super Mario ได้ไท้ึ้อนดั?
นักวิจัยพบว่า โมเดลที่มีความสามารถด้านเหตุผลเชิงลึก (Reasoning Models) เช่น OpenAI o1 ซึ่งมักทำได้ดีในการทดสอบอื่นๆ กลับมีปัญหาใน Super Mario Bros และนี่คือสิ่งที่นักวิจัยเค้าสรุปมาให้
- โมเดลที่ใช้การให้เหตุผลใช้เวลาคิดนานเกินไป (หลายวินาที) ในขณะที่เกมเป็นแบบ เรียลไทม์
- Super Mario Bros. ต้องการการตัดสินใจแบบรวดเร็ว หากคำนวณช้าแม้แต่วินาทีเดียว อาจตายในเกมได้
จริงๆแล้ว การใช้เกมมาวัดความสามารถ AI นั้น เป็นเรื่องเหมาะหรือเปล่า?
การใช้เกมในการวัดความสามารถของ AI เป็นที่นิยมมานาน แต่บางนักวิจัย เช่น Andrej Karpathy จาก OpenAI ตั้งข้อสงสัยเกี่ยวกับ “Evaluation Crisis” หรือ วิกฤติการประเมิน AI เนื่องจากเกมมีโครงสร้างที่แตกต่างจากโลกจริง เพราะเกมมีขอบเขตที่กำหนดชัดเจนและข้อมูลไม่จำกัด และการที่ AI เล่นเกมเก่งไม่ได้แปลว่า AI เข้าใจโลกหรือแก้ปัญหาจริงได้ดี
บทสรุป – AI ยังต้องเรียนรู้อีกมากในเกมเรียลไทม์
การทดสอบนี้แสดงให้เห็นว่า AI อาจทำได้ดีในงานบางประเภท แต่ยังมีข้อจำกัดเมื่อเผชิญกับสถานการณ์ที่ต้องตัดสินใจรวดเร็ว เช่นใน Super Mario Bros. แม้ว่า AI จะสามารถคิดวิเคราะห์ได้ดีในเงื่อนไขที่เป็นเชิงตรรกะ แต่เมื่อเอามาใช้กับเกมที่ต้องใช้ความเร็วและปฏิกิริยาที่ต้องเร็ว สรุปก็ยังทำได้ไม่ดี
