LLMlar uchun navbatdagi yirik yutuqni ta'qib qilayotgan startuplar

2017-yilda Google'ning "Attention Is All You Need" nomli maqolasi transformer arxitekturasini taqdim etdi. Bu arxitektura katta til modellarining (LLM) rivojlanishida inqilob yasadi va bugungi kunda deyarli barcha LLMlar shu texnologiyaga asoslangan. "Transformerlar butun AI sanoatining asosini tashkil qiladi va ular kompyuter fanlari tarixidagi eng muhim kashfiyotlardan biridir", deydi Subquadratic kompaniyasining hamasoschisi Justin Dangel.

Biroq, to'qqiz yil o'tgach, transformer texnologiyasi o'zining cheklovlarini ko'rsata boshladi. So'nggi yillarda erishilgan ko'plab yutuqlar, masalan, "reasoning models" (mulohaza yurituvchi modellar) yoki katta miqdordagi ma'lumotlarni bir vaqtda qayta ishlash qobiliyati, transformerning fundamental kamchiliklarini bartaraf etishga qaratilgan "workaround"lar hisoblanadi.

Hozirda ko'plab olimlar va muhandislar transformerlardan keyingi nima kelishini o'ylab ko'rishmoqda. LLMlar yo'qolib ketmaydi, ammo ularning yaratilish usullari o'zgarishi mumkin. MIT Technology Review bu yangi avlod modellarini "LLM+" deb nomlagan.

Ushbu bozorga yangi to'lqin startuplar kirib kelmoqda. Ulardan ba'zilari muvaffaqiyatsiz bo'lishi aniq, ammo ularning yo'qotadigan narsasi kam va yutadigan narsasi ko'p.

Transformerlarning asosiy kuchi "dense attention" (zich e'tibor) mexanizmidan keladi. Bu mexanizm matn blokidagi har bir so'zni boshqa har bir so'z bilan taqqoslaydi. Bu juda aniq natijalar beradi, ammo matn uzaygan sari hisoblashlar soni eksponensial ravishda ortib boradi. Misol uchun, 10 000 ta so'zdan iborat hujjat uchun transformer 50 millionta ko'paytirishni amalga oshirishi kerak. Bu LLMlar juda ko'p energiya sarflashining asosiy sababidir.

Xarajatlar ham katta. OpenAI bu yil kompyuter resurslari uchun 50 milliard dollar sarflamoqchi. Bundan tashqari, transformerlar katta miqdordagi ma'lumotni bir vaqtda saqlashda qiynaladi. Yangi avlod modellarida esa ko'proq ma'lumotni, masalan, butun kutubxona yoki boshqa LLMlar natijalarini qayta ishlash talab etiladi.

Bu muammolarni hal qilish uchun bir qancha startuplar yangi yechimlarni taklif qilmoqda. Masalan, Mayamidagi Subquadratic kompaniyasi "sparse attention" (sa'r e'tibor) deb nomlangan yangi mexanizmni ishlab chiqqan. Bu mexanizm matndagi faqat eng muhim so'z juftliklarini hisobga oladi, bu esa hisoblashlar miqdorini sezilarli darajada kamaytiradi. Kompaniya bu texnologiya orqali LLMlar tezroq va samaraliroq ishlashini ta'minlashni maqsad qilgan.

Boshqa bir yechim San-Fransiskodagi Manifest AI kompaniyasidan keladi. Ular "power retention" (quvvatni saqlash) mexanizmini taklif etishmoqda. Bu usul har bir vazifa uchun faqat eng kerakli ma'lumotni saqlaydi va LLM saqlashi kerak bo'lgan ma'lumot hajmining ortib ketishini oldini oladi. Bu transformerlardan farqli o'laroq, har bir so'zni emas, balki kontekstning umumiy mazmunini saqlashga asoslanadi.