Sun'iy intellekt gigantlari saytlardan ma'lumot yig'ishni cheklovchi yagona standartni joriy qilmoqda
OpenAI, Google, Microsoft va Anthropic kabi yetakchi sun'iy intellekt kompaniyalari veb-sayt egalariga o'z kontentini AI modellarini o'qitishdan himoyalash imkonini beruvchi yagona standartni qabul qilmoqda. Anthropic muhandisi Kevin Kelley tomonidan IETF doirasida taklif etilgan ushbu «policy token» standarti robots.txt faylida joylashadi. Endilikda nashriyotlar va sayt egalari har bir AI kompaniyasining botlari uchun alohida qoida yozmasdan, barcha qidiruv botlariga bir martada taqiq qo'yishlari mumkin bo'ladi. Anthropic ushbu standartni qabul qilib bo'lgan, Google va Microsoft uni kelasi yili, OpenAI esa yaqin oylarda joriy etishini ma'lum qildi.
OpenAI, Google, Microsoft va Anthropic sun'iy intellekt sohasidagi eng yirik kompaniyalar nashriyotlar va veb-sayt egalari o'z kontentlarini AI modellarini o'qitish uchun ruxsatsiz yig'ilishidan (skreyping) himoya qilishlari uchun yagona mexanizmni qabul qilishlarini e'lon qildi. Ushbu yangilik sayt egalariga AI trening parametrlarini har bir kompaniya boti uchun alohida belgilab o'tirmasdan, birdaniga barcha tizimlar uchun qo'llash imkoniyatini yaratadi.
Yangi standart «policy token» deb nomlanadi va u Anthropic kompaniyasining standartlar bo'yicha texnik yetakchisi Kevin Kelley tomonidan Internet Engineering Task Force (IETF) doirasida taklif qilingan. Bu boshqaruv signali an'anaviy ravishda qidiruv va arxivlash botlari faoliyatini tartibga soluvchi robots.txt fayli ichiga joylashtiriladi. Hozirgi kunda veb-saytlar har bir kompaniyaning sun'iy intellekt botiga alohida murojaat qilib chiqishga majbur bo'layotgan edi.
So'nggi paytlarda AI botlari tomonidan ruxsatsiz ma'lumotlar yig'ilishi ommaviy axborot vositalari va sayt egalarining jiddiy noroziligiga sabab bo'lmoqda. Shu sababli Cloudflare kabi xizmatlar AI botlarini avtomatik bloklashni boshlagan, Really Simple Licensing (RSL) standarti esa bot tashriflari uchun haq olish mexanizmini taklif qilayotgan edi. Yangi standart esa sanoat miqyosida rasmiy kelishuv vazifasini bajaradi.
Meta kompaniyasi ham yangi tashabbusni qo'llab-quvvatlashini bildirdi, ammo unga qat'iy rioya qilishi borasida aniq va'da bermadi. Kompaniya vakili Endi Stounning ta'kidlashicha, bir nechta provayderlar uchun yagona signal yaratilishi muhim qadam bo'lib, ular ushbu sohada boshqa texnogigantlar bilan hamkorlik qilishga tayyor.
Microsoft sayt egalariga o'z kontentini faqat AI treningidan yoki faktlarni tekshirish (AI grounding) jarayonidan chiqarib tashlash imkonini beruvchi qulay sozlamalarni taqdim etishini, shu bilan birga saytlar Bing qidiruv natijalarida saqlanib qolishini ta'kidladi. Google ham qidiruvdagi ko'rinuvchanlikka ta'sir qilmagan holda AI o'qitishni cheklash funksiyasini qo'llab-quvvatlaydi. Standartni Anthropic allaqachon integratsiya qilgan bo'lsa, OpenAI yaqin oylarda, Google va Microsoft esa kelasi yilda to'liq ishga tushirishni rejalashtirmoqda.
Veb-sayt egalari va dasturchilar endi robots.txt faylidagi yagona parametr orqali o'z kontentlarini barcha yetakchi AI kompaniyalari (OpenAI, Google, Microsoft, Anthropic) tomonidan ruxsatsiz o'qitilishidan osonlik bilan himoya qila oladilar.
AI kod muharriridan foydalanishda eng muhim qoida — kichik o'zgarish, ko'rinadigan diff, majburiy test va qaytarish mumkin bo'lgan commit.