به گزارش روش سئو به نقل از انگجت، این شرکتها تصمیم گرفته اند از پیشنهادی که درحال بررسی در کارگروه مهندسی اینترنت (IETF)، نهاد تدوین کننده معیارهای اینترنت، است، پشتیبانی کنند. این پیشنهاد را کوین کلی، مسئول فنی استانداردها در شرکت آنتروپیک، عرضه کرده است.
همان طور که اوپن ای آی و گوگل در بیانیه های خود توضیح داده اند، مالکان وبسایت ها درحال حاضر باید خزنده های وب را به شکل جداگانه شناسایی کنند و برای هر عرضه کننده هوش مصنوعی، قوانین مستقلی تعریف کنند. پیشنهاد کلی این فرآیند را ساده تر می کند و به چندین شرکت هوش مصنوعی امکان می دهد از یک سیگنال مشترک پیروی کنند.
بر اساس این پیشنهاد، ناشران باید یک عامل کاربری (User Agent) جدید را در فایل robots.txt تعریف کنند که به صورت خاص برای مدیریت دسترسی به محتوای وبسایت ها با هدف آموزش هوش مصنوعی طراحی شده است.
خزنده وب یا روبات خزنده، برنامه ای خودکار است که در اینترنت حرکت می کند، از صفحات وبسایت ها بازدید و اطلاعات آنها را جمع آوری می کند.
این سازوکار به مالکان وبسایت ها امکان می دهد خزنده های مخصوص جمع آوری داده برای آموزش مدلهای هوش مصنوعی را مسدود کنند. همینطور بخش «مجاز کردن» (Allow) به مدیران وبسایت ها اجازه می دهد استخراج داده برای آموزش هوش مصنوعی را به بخش های مشخصی از صفحات محدود کنند.
با این حال، دستورالعمل جدید مربوط به عامل های کاربری، مانع خزش وبسایت ها به صورت کلی نمی شود و از نمایش محتوای آنها در نتایج جست وجوی گوگل هم جلوگیری نمی نماید. به عنوان نمونه، گوگل این دستورالعمل را بعنوان علامت توقف برای رباتی به نام Google-Extended تفسیر می کند؛ رباتی که وبسایت ها را برای جمع آوری محتوا و استفاده از آن در آموزش مدلهای هوش مصنوعی جمینای می خزد.
نکته دیگر این که این دستورالعمل نمی تواند بر داده هایی که شرکتها پیشتر استخراج کرده اند، تاثیر بگذارد. در حقیقت، اگر خزنده ای قبلاً از وب سایتی بازدید کرده باشد، شرکت مربوطه همچنان به محتوای جمع آوری شده دسترسی خواهد داشت. بنابراین، این سازوکار صرفا از استخراج داده های وبسایت ها یا صفحات مشخص در آینده جلوگیری می کند.
آنتروپیک پشتیبانی از این دستورالعمل جدید را شروع کرده است. مایکروسافت هم اعلام نموده از یکم فوریه ۲۰۲۷ از آن پشتیبانی خواهدنمود. گوگل در نظر دارد این اقدام را از ابتدای سال ۲۰۲۷ اجرایی کند و اوپن ای آی هم متعهد شده است طی ماه های آتی آنرا به کار بگیرد.
بطور خلاصه به گزارش روش سئو به نقل از انگجت، این شرکتها تصمیم گرفته اند از پیشنهادی که در حال بررسی در کارگروه مهندسی اینترنت (IETF)، نهاد تدوین کننده معیارهای اینترنت، است، پشتیبانی کنند. پیشنهاد کلی این پروسه را ساده تر می کند و به چندین شرکت هوش مصنوعی امکان می دهد از یک سیگنال مشترک پیروی کنند. بر مبنای این پیشنهاد، ناشران باید یک عامل کاربری (User Agent) جدید را در فایل robots.txt تعریف کنند که بصورت خاص برای مدیریت دسترسی به محتوای سایت ها با هدف آموزش هوش مصنوعی طراحی شده است. خزنده وب یا ربات خزنده، برنامه ای خودکار است که در اینترنت حرکت می کند، از صفحات سایت ها بازدید و اطلاعات آنها را جمع آوری می کند. این سازوکار به مالکان سایت ها امکان می دهد خزنده های مخصوص جمع آوری داده برای آموزش مدل های هوش مصنوعی را مسدود کنند.
منبع: howtoseo.ir
