شرکت کلودفلر (Cloudflare) اعلام کرده ازاین‌پس خزنده‌های شناخته‌شده هوش مصنوعی را به‌صورت پیش‌فرض مسدود خواهد کرد و هم‌زمان، برنامه‌ای جدید به نام Pay per Crawl راه‌اندازی می‌کند که به وب‌سایت‌ها امکان می‌دهد از خزنده‌های هوش مصنوعی هزینه بگیرند.
براساس گزارش‌ها، این اقدامات بخشی از تلاش کلودفلر برای بازگرداندن کنترل محتوا به دست ناشران و مقابله با دسترسی بدون اجازه خزنده‌های هوش مصنوعی است.
مسدودسازی پیش‌فرض خزنده‌های هوش مصنوعی توسط کلودفلر
ناشران می‌توانند در بازارگاه جدید کلودفلر هزینه مشخصی برای هر بار فعالیت خزنده‌ها تعیین کنند. شرکت‌های هوش مصنوعی نیز می‌توانند قیمت‌ها را مشاهده کنند و تصمیم بگیرند این هزینه را بپردازند یا خیر. این طرح فعلاً در مرحله آزمایش است و به‌صورت بتای خصوصی برای گروهی از ناشران پیشرو فعال شده. کلودفلر می‌خواهد استفاده از محتوای باکیفیت را با مجوز و پرداخت حقوق تولیدکنندگان محتوا ممکن کند.
کلودفلر از سال ۲۰۲۳ ابزارهایی برای مسدودسازی خزنده‌های هوش مصنوعی ارائه کرده بود که ابتدا فقط خزنده‌هایی را هدف می‌گرفت که فقط تابع فایل robots.txt بودند اما از سال گذشته، امکان مسدودسازی همه خزنده‌ها، حتی بدون پایبندی به robots.txt، فعال شد. اکنون این قابلیت به‌صورت پیش‌فرض برای مشتریان جدید کلودفلر فعال است.
ناشران بزرگی، مانند اسوشیتدپرس، آتلانتیک، تایم، فورچون، Stack Overflow ،Quora و Conde Nast، از طرح‌های جدید کلودفلر پشتیبانی کرده‌اند. در شرایطی که کاربران بیش‌ازپیش به چت‌بات‌های هوش مصنوعی برای دسترسی به اطلاعات مراجعه می‌کنند، ترافیک ناشران از موتورهای جستجو و درآمدهای تبلیغاتی آنها کاهش یافته است.
کلودفلر اعلام کرده خزنده گوگل ژوئن سال جاری به‌ازای هر ۱۴ خزیدن یک ارجاع به سایت‌ها داده است اما این نسبت برای خزنده OpenAI عدد ۱۷ هزار به یک و برای آنتروپیک عدد ۷۳ هزار به یک بوده است.
در این بازار جدید، شرکت‌های هوش مصنوعی و ناشران باید در پلتفرم کلودفلر حساب داشته باشند و بتوانند نرخ خزیدن را تعیین کنند. کلودفلر نقش واسطه را ایفا کرده و پرداخت را از شرکت هوش مصنوعی می‌گیرد و به ناشر منتقل می‌کند.
این اقدام کلودفلر گامی مهم در مسیر ایجاد مدلی مجوزمحور برای تعامل هوش مصنوعی با محتواست و تلاش می‌کند قدرت را به تولیدکنندگان محتوا بازگرداند.