Sun'iy intellekt qaysi mantiqiy testlarda insonlarga yutqazmoqda?
MIT Technology Review tahliliga ko'ra, sun'iy intellekt modellari ko'plab sohalarda tez rivojlanayotgan bo'lsa-da, fazoviy tasavvur, vizual tushunish va kutilmagan o'zgarishlarga ega mantiqiy masalalarda hamon insonlardan ortda qolmoqda. Katta til modellari bilimlarni shunchaki yodlab olishga moyilligi sababli klassik jumboqlardagi nozik o'zgarishlarni payqay olmay chalg'iydi. Shuningdek, 3D obyektlarni aqliy aylantirish va ARC-AGI kabi mavhum vizual qoidalarni topishda inson tafakkuri mashinalardan ancha ustun ekani ma'lum bo'ldi.
Tarixan shashka, shaxmat va Go kabi o'yinlar sun'iy intellekt taraqqiyotini o'lchashda asosiy sinov maydoni bo'lib kelgan. So'nggi paytlarda modellar jumboqlarni yechishda keskin o'sish ko'rsatdi: Kolumbiya universiteti tadqiqotiga ko'ra, 2024-yil oxirida eng yaxshi modellar New York Times Connections o'yinining atigi 18 foizini yecha olgan bo'lsa, 2025-yil boshiga kelib ularni deyarli benuqson bajara boshladi. Biroq bu yutuqlarga qaramay, qator mantiqiy sinovlar AI va inson tafakkuri o'rtasidagi jiddiy farqlarni ko'rsatmoqda.
Modellarning eng zaif nuqtalaridan biri — fazoviy tasavvurdir (spatial reasoning). IQ testlaridagi uch o'lchamli shakllarni turli burchaklardan aqliy aylantirish (mental rotation) masalalarida bugungi ilg'or modellar deyarli butunlay ojiz qolmoqda. Ular arxitektor yoki muhandis kabi 3D obyektlarni aqlan boshqara olmaydi.
Yana bir muammo — yodlash va moslashuvchanlik o'rtasidagi to'qnashuvdir. Katta til modellari o'qitish davomida ko'rgan ma'lumotlarini eslab qolishga moyil bo'lib, Google va Urbana-Champaign universiteti tadqiqotidagi "Knights and Knaves" kabi klassik jumboqlarga kichik o'zgartirish kiritilsa yoki SimpleBench savollarida chalg'ituvchi elementlar uchrasa, xato javob beradi. Shuningdek, ARC-AGI benchmarkidagi mavhum 2D qonuniyatlarni topishda ham modellar insonlar kabi oddiy vizual konsepsiyalardan emas, balki murakkab va umumlashtirib bo'lmaydigan qoidalardan foydalanadi.
Shu bilan birga, insonlarning ham o'ziga xos intuitsiya xatolari mavjud bo'lib, ba'zi tezkor hisob-kitob va matnli tuzoqlarda AI modellari insonlardan ko'ra mulohazaliroq javob qaytarishi mumkin. Biroq Apple tadqiqotchilari aniqlaganidek, "Xanoy minorasi" yoki daryodan o'tish kabi vazifalarda masalaning masshtabi va murakkabligi oshib borgan sari AI modellarining muvaffaqiyat darajasi keskin pasayib ketadi.
Dasturchilar va mutaxassislar LLMlarga fazoviy hisoblash, vizual umumlashtirish yoki o'zgaruvchan mantiqiy zanjirlarni talab qiluvchi vazifalarni topshirishda ularning 'yodlash' va murakkablikka moslasholmaslik cheklovlarini inobatga olishlari kerak.
AI kod muharriridan foydalanishda eng muhim qoida — kichik o'zgarish, ko'rinadigan diff, majburiy test va qaytarish mumkin bo'lgan commit.