روز ۳۰ اکتبر ۲۰۲۶ (۸ آبان ۱۴۰۵) گوگل، مایکروسافت، OpenAI و Anthropic اعلام کردند از یک قانون مشترک در فایل robots.txt پشتیبانی می‌کنند که با آن صاحب سایت در یک خط می‌گوید محتوایش برای آموزش مدل‌های هوش مصنوعی استفاده نشود. نام این قانون __usage_ai-training است. تا امروز برای هر شرکت باید یک قانون جدا می‌نوشتید. در این راهنمای robots.txt و آموزش هوش مصنوعی توضیح می‌دهیم این توکن دقیقاً چه می‌کند، چه چیزی را پوشش نمی‌دهد، روی سئو اثر دارد یا نه، و یک سایت ایرانی کوچک بهتر است چه تصمیمی بگیرد.
فهرست مطالب
- دقیقاً چه چیزی اعلام شد؟
- توکن __usage_ai-training چطور کار می‌کند؟
- هر شرکت از کی این قانون را اجرا می‌کند؟
- فرق آموزش مدل با پاسخ‌دهی هوش مصنوعی چیست؟
- آیا این قانون روی سئو و رتبه گوگل اثر دارد؟
- سایت شما باید آموزش هوش مصنوعی را ببندد؟
- نمونه‌های آماده robots.txt برای سناریوهای رایج
- کنترل در سطح صفحه در بینگ چطور است؟
- این قانون چه چیزهایی را تضمین نمی‌کند؟
- چطور در وردپرس اجرایش کنیم؟
- سؤالات متداول
دقیقاً چه چیزی اعلام شد؟
چهار شرکت بزرگ هوش مصنوعی در یک روز اعلام کردند یک «توکن سیاست» مشترک را در robots.txt می‌پذیرند. اگر سایتی زیر این توکن Disallow بنویسد، یعنی نمی‌خواهد محتوایش در آموزش مدل‌های مولد استفاده شود. این ایده از کار گروه AIPREF در نهاد استانداردسازی اینترنت (IETF) آمده و هنوز در مرحله پیش‌نویس است.
گوگل این خبر را در وبلاگ رسمی Search Central با امضای جان مولر منتشر کرد. طبق این پست، اگر سایتی با این توکن آموزش را ببندد و قانون جداگانه‌ای برای Google-Extended ننوشته باشد، گوگل آن را مثل بستن Google-Extended تفسیر می‌کند. مایکروسافت هم در وبلاگ بینگ همین توکن را تأیید کرد و دو کنترل تازه در سطح صفحه اضافه کرد که پایین‌تر توضیح می‌دهیم.
دو شرکت دیگر جزئیات کمتری داده‌اند. طبق گزارش PPC Land، OpenAI گفته «در ماه‌های آینده» پشتیبانی را اضافه می‌کند و یکی از مهندسان Anthropic در فهرست ایمیل گروه AIPREF نوشته که پیاده‌سازی را شروع کرده‌اند. ما متن کامل این دو اعلامیه را مستقیم نخواندیم، پس تاریخ دقیقی برای آن‌ها نمی‌دهیم.
توکن __usage_ai-training چطور کار می‌کند؟
این توکن در خط User-Agent قرار می‌گیرد، درست مثل نام یک ربات، اما هیچ رباتی با این نام سایت شما را خزش نمی‌کند. کار آن بیان «ترجیح استفاده» است. یعنی می‌گوید محتوایی که ربات‌ها برداشته‌اند برای آموزش مدل استفاده شود یا نه. ساده‌ترین شکلش این است:
User-Agent: __usage_ai-training
Disallow: /این دو خط یعنی «هیچ بخشی از این سایت برای آموزش هوش مصنوعی استفاده نشود». چند قاعده مهم دارد که از پیش‌نویس IETF و توضیح مایکروسافت آمده است:
- گروه ستاره حساب نمی‌شود. اگر در robots.txt فقط
User-agent: *دارید، این به معنی بستن آموزش نیست. توکن باید با نام خودش نوشته شود. - نبودن توکن یعنی ترجیحی ندارید. سایتی که این گروه را ننوشته، از نظر این استاندارد نه اجازه داده و نه منع کرده است. مایکروسافت در این حالت پیش‌فرض را «اجازه» در نظر می‌گیرد.
- مسیرها مثل robots.txt معمولی کار می‌کنند. می‌توانید فقط یک پوشه را ببندید یا یک مسیر را استثنا کنید.
- به خزش کاری ندارد. اگر Googlebot یا Bingbot را با این توکن نبندید، باز هم سایت را می‌خوانند. فقط نحوه استفاده از محتوا تغییر می‌کند.
- قوانین اختصاصی هر شرکت باقی می‌مانند. Google-Extended، GPTBot و ClaudeBot همچنان کار می‌کنند و در گوگل، قانون صریح Google-Extended بر توکن مشترک مقدم است.
هر شرکت از کی این قانون را اجرا می‌کند؟
فقط مایکروسافت تاریخ مشخص داده است: از ۱ فوریه ۲۰۲۷ (۱۲ بهمن ۱۴۰۵) هنگام خزش صفحه‌ها. گوگل در مستندات خزنده‌هایش نوشته قصد دارد «اوایل ۲۰۲۷» از آن پشتیبانی کند. بنابراین اگر امروز این خط را اضافه کنید، چند ماه طول می‌کشد تا اثری داشته باشد.
| شرکت | وضعیت اعلام‌شده | زمان اجرا | کنترل قبلی که باقی می‌ماند |
|---|---|---|---|
| گوگل | پشتیبانی رسمی، تفسیر به‌عنوان بستن Google-Extended | اوایل ۲۰۲۷ طبق مستندات | Google-Extended |
| مایکروسافت (بینگ) | پشتیبانی رسمی به همراه کنترل سطح صفحه | ۱ فوریه ۲۰۲۷ | تگ‌های NoArchive و NoCache تا ۱ مارس ۲۰۲۷ |
| OpenAI | اعلام قصد، جزئیات بعداً | اعلام نشده | GPTBot |
| Anthropic | شروع پیاده‌سازی طبق ایمیل به گروه IETF | اعلام نشده | ClaudeBot |
شرکت‌هایی مثل متا، آمازون و اپل تا زمان نوشتن این مطلب تعهدی نداده‌اند. پس این توکن فعلاً همه ربات‌های هوش مصنوعی را پوشش نمی‌دهد.
فرق آموزش مدل با پاسخ‌دهی هوش مصنوعی چیست؟
آموزش (training) یعنی محتوای شما در داده‌ای قرار بگیرد که مدل از آن یاد می‌گیرد. پاسخ‌دهی یا grounding یعنی ابزاری مثل جمینای یا کوپایلت در لحظه پرسش کاربر صفحه شما را بخواند و در جواب از آن استفاده کند، معمولاً همراه با لینک. توکن مشترک فقط درباره آموزش است، اما در گوگل این مرز کمی مبهم می‌شود.
طبق مستندات گوگل، Google-Extended دو کار را با هم کنترل می‌کند: آموزش نسل‌های بعدی جمینای و grounding در اپلیکیشن جمینای و Vertex AI. گوگل گفته توکن مشترک را مثل بستن Google-Extended تفسیر می‌کند. نتیجه منطقی، که برداشت ما از متن گوگل است و گوگل مستقیم درباره‌اش حرف نزده، این است که بستن آموزش با توکن مشترک احتمالاً حضور شما در جواب‌های اپلیکیشن جمینای را هم کم می‌کند. گوگل در همان پست نوشته سایت‌هایی که Google-Extended را صریحاً مجاز کنند، می‌توانند در جواب‌های جمینای دیده شوند و کلیک بگیرند.
AI Overviews و AI Mode در جستجوی گوگل به این توکن ربطی ندارند. آن‌ها با قوانین Googlebot کنترل می‌شوند. اگر حضور در این بخش‌ها برایتان مهم است، راهنمای بهینه‌سازی برای موتورهای پاسخ (AEO) را بخوانید.
مایکروسافت این دو را کاملاً جدا کرده است. توکن مشترک فقط آموزش را می‌بندد و برای پاسخ‌دهی یک کنترل جداگانه در سطح صفحه گذاشته که در بخش بینگ توضیح داده‌ایم.
| کنترل | آموزش مدل | پاسخ در ابزار هوش مصنوعی | نتایج معمولی جستجو |
|---|---|---|---|
| توکن مشترک در گوگل | بسته می‌شود | احتمالاً در اپلیکیشن جمینای بسته می‌شود | بی‌اثر |
| توکن مشترک در بینگ | بسته می‌شود | بی‌اثر | بی‌اثر |
| ai-grounding در بینگ (سطح صفحه) | بی‌اثر | بسته یا محدود می‌شود | بی‌اثر |
| Googlebot (بستن کامل) | همه چیز از جمله حضور در جستجو حذف می‌شود؛ این کار را نکنید | ||
آیا این قانون روی سئو و رتبه گوگل اثر دارد؟
خیر. گوگل در مستندات خزنده‌ها صریحاً نوشته Google-Extended روی حضور سایت در جستجو اثری ندارد و عامل رتبه‌بندی هم نیست. مایکروسافت هم گفته این ترجیح‌ها روی واجد شرایط بودن سایت در نتایج بینگ اثر نمی‌گذارند. پس بستن آموزش، رتبه شما را پایین نمی‌آورد.
اثر غیرمستقیم ممکن است وجود داشته باشد. مایکروسافت گفته انتخاب Disallow برای پاسخ‌دهی، دیده‌شدن برند را در تجربه‌های هوش مصنوعی کم می‌کند. در گوگل هم، همان‌طور که گفتیم، احتمال دارد حضورتان در جمینای کمتر شود. کاربر ایرانی که در جمینای یا کوپایلت دنبال «طراح سایت در سنندج» یا «بهترین فروشگاه لوازم کوهنوردی» می‌گردد، ممکن است دیگر نام شما را نبیند. برای دیدن اینکه الان چقدر از جستجوهای هوش مصنوعی ترافیک می‌گیرید، گزارش هوش مصنوعی سرچ کنسول را بررسی کنید.
سایت شما باید آموزش هوش مصنوعی را ببندد؟
برای بیشتر کسب‌وکارهای کوچک ایرانی، به نظر ما بستن کامل لازم نیست. سایت خدماتی، فروشگاه اینترنتی و شرکتی که هدفش دیده‌شدن است، از حضور در ابزارهای هوش مصنوعی سود بیشتری می‌برد تا ضرر. اما سایتی که خود محتوا را می‌فروشد، مثل دوره آموزشی پولی یا مجله تخصصی، دلیل جدی برای بستن دارد. جدول زیر نظر کاری ماست و قانون پلتفرم‌ها نیست.
| نوع سایت | پیشنهاد ما | دلیل |
|---|---|---|
| سایت خدماتی (پزشک، وکیل، آژانس، تعمیرکار) | آزاد بگذارید | محتوای شما تبلیغ خودتان است و دیده‌شدن مهم‌تر است |
| فروشگاه اینترنتی | آزاد بگذارید، شاید بستن وبلاگ تخصصی | صفحه محصول باید در جواب‌های خرید دیده شود |
| مجله یا رسانه با محتوای اختصاصی | بستن آموزش را جدی بررسی کنید | ارزش کسب‌وکار در خود متن است |
| دوره آموزشی پولی یا کتاب | مسیر محتوای پولی را ببندید | البته محتوای پشت ورود اصلاً نباید عمومی باشد |
| سایت عکاسی و طراحی | بستن آموزش را بررسی کنید | آثار تصویری بیشتر در معرض تقلید سبک هستند |
قبل از تصمیم، از خودتان سه سؤال بپرسید. اول، چند درصد مشتری‌های جدید شما از جستجو و ابزارهای هوش مصنوعی می‌آیند؟ دوم، اگر یک مدل هوش مصنوعی محتوای شما را خلاصه کند، مشتری را از دست می‌دهید یا مشتری تازه پیدا می‌کنید؟ سوم، آیا محتوایی دارید که خودش محصول است؟ اگر جواب سؤال سوم مثبت است، فقط همان مسیر را ببندید.
برای شفافیت: در زمان نوشتن این مطلب، فایل robots.txt کیاهاست هیچ قانونی برای ربات‌های هوش مصنوعی ندارد و فقط بخش مدیریت و صفحه‌های جستجوی داخلی را بسته است.
نمونه‌های آماده robots.txt برای سناریوهای رایج
این نمونه‌ها را می‌توانید به انتهای robots.txt فعلی اضافه کنید. قوانین قبلی‌تان برای User-agent: * و نقشه سایت را پاک نکنید. هر گروه را با یک خط خالی از گروه بعدی جدا کنید.
سناریو ۱: بستن آموزش برای کل سایت
User-Agent: __usage_ai-training
Disallow: /این ساده‌ترین حالت است. یادتان باشد که در گوگل احتمالاً حضور در اپلیکیشن جمینای را هم کم می‌کند.
سناریو ۲: بستن فقط یک پوشه
User-Agent: __usage_ai-training
Disallow: /courses/
Disallow: /premium/مناسب سایتی که بخشی از محتوایش محصول پولی است و بقیه صفحه‌ها برای جذب مشتری نوشته شده‌اند. مایکروسافت گفته بستن در سطح مسیر را می‌پذیرد. گوگل هنوز نگفته قوانین مسیری توکن مشترک را چطور به Google-Extended ترجمه می‌کند.
سناریو ۳: بستن همه به جز یک بخش
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/این همان مثالی است که در پیش‌نویس استاندارد آمده: کل سایت بسته است، اما صفحه‌های رسانه‌ای و معرفی برند آزاد می‌مانند.
سناریو ۴: بستن آموزش برای همه ولی ماندن در جمینای
User-Agent: __usage_ai-training
Disallow: /
User-Agent: Google-Extended
Allow: /چون در گوگل قانون صریح Google-Extended مقدم است، این ترکیب یعنی گوگل اجازه استفاده دارد و بقیه شرکت‌های پشتیبان ندارند. توجه کنید که Google-Extended آموزش و پاسخ‌دهی را با هم کنترل می‌کند، پس با این کار اجازه آموزش جمینای را هم می‌دهید. در گوگل فعلاً راهی برای جدا کردن این دو نیست.
سناریو ۵: کنترل‌های اختصاصی که همین امروز کار می‌کنند
User-Agent: GPTBot
Disallow: /
User-Agent: ClaudeBot
Disallow: /
User-Agent: Google-Extended
Disallow: /توکن مشترک تا سال ۲۰۲۷ اجرا نمی‌شود. اگر همین حالا می‌خواهید آموزش را ببندید، این قوانین اختصاصی را هم کنار توکن مشترک نگه دارید. هر دو با هم تداخلی ندارند.
کنترل در سطح صفحه در بینگ چطور است؟
مایکروسافت علاوه بر robots.txt، دو تگ متا برای تک‌تک صفحه‌ها معرفی کرده است: یکی برای آموزش و یکی برای پاسخ‌دهی. تنظیم سطح صفحه بر robots.txt مقدم است. یعنی اگر کل سایت را بسته باشید و یک صفحه را با متا باز کنید، آن صفحه باز حساب می‌شود.
<meta name="Bingbot" content="ai-training:disallow">
<meta name="Bingbot" content="ai-grounding:disallow">
X-Robots-Tag: Bingbot: ai-training:disallowبرای ai-grounding سه مقدار تعریف شده است:
allow: پیش‌فرض، وقتی چیزی ننوشته باشید.disallowextended: محتوا فقط در محصولات خود مایکروسافت مثل کوپایلت و Microsoft 365 استفاده می‌شود و به سرویس‌های پاسخ‌دهی شخص ثالث داده نمی‌شود.disallow: محتوا برای ساختن هیچ جوابی استفاده نمی‌شود.
برای پاسخ‌دهی معادلی در robots.txt وجود ندارد و فقط در سطح صفحه قابل تنظیم است. چند تاریخ هم برای مدیران سایت‌ها مهم است. تنظیم‌ها از ۱ فوریه ۲۰۲۷ با خزش صفحه‌ها اجرا می‌شوند. بعد از ۱ مارس ۲۰۲۷ تگ‌های قدیمی NoArchive و NoCache دیگر به‌عنوان ترجیح هوش مصنوعی خوانده نمی‌شوند. اگر امروز از این دو تگ برای دور ماندن از کوپایلت استفاده می‌کنید، باید تا آن تاریخ تگ‌های تازه را اضافه کنید.
این قانون چه چیزهایی را تضمین نمی‌کند؟
این توکن یک درخواست است و ابزار اجبار ندارد. رعایتش داوطلبانه است و شرکت‌هایی که آن را نپذیرفته‌اند، الزامی به رعایتش ندارند. قبل از اینکه به آن تکیه کنید، این محدودیت‌ها را بدانید:
- عطف به ماسبق نمی‌شود. محتوایی که قبلاً جمع‌آوری شده و در داده‌های آموزشی یا مدل‌های فعلی هست، با اضافه کردن این خط حذف نمی‌شود.
- تا خزش بعدی اجرا نمی‌شود. مایکروسافت گفته تنظیم جدید تا وقتی صفحه دوباره خزش نشود فعال نمی‌شود. طبق پیش‌نویس IETF، خزنده‌ها می‌توانند robots.txt را تا ۲۴ ساعت در حافظه نگه دارند.
- هنوز استاندارد نهایی نیست. این متن یک پیش‌نویس اینترنتی است و ممکن است جزئیاتش تغییر کند.
- همه شرکت‌ها عضو نیستند. متا، آمازون، اپل و بسیاری از شرکت‌های کوچک‌تر تعهدی نداده‌اند.
- مجوز یا پرداخت ایجاد نمی‌کند. مایکروسافت صریحاً گفته این ترجیح‌ها توافق مجوز یا پرداخت پول نیستند.
- مدل‌های غیرمولد را پوشش نمی‌دهد. طبق تعریف کاری IETF، مدل‌هایی که فقط برای کارهای غیرمولد مثل دسته‌بندی ساخته می‌شوند، زیر «آموزش هوش مصنوعی» حساب نمی‌شوند.
چطور در وردپرس اجرایش کنیم؟
در وردپرس دو راه دارید: ویرایشگر robots.txt افزونه سئو یا ساختن فایل فیزیکی در ریشه سایت. اگر فایل فیزیکی robots.txt در ریشه هاست وجود داشته باشد، همان فایل نمایش داده می‌شود و تنظیم افزونه نادیده گرفته می‌شود. پس اول بفهمید کدام یکی فعال است.
- فایل فعلی را ببینید. آدرس
yoursite.com/robots.txtرا در مرورگر باز کنید و از محتوایش نسخه پشتیبان بگیرید. - محل ویرایش را پیدا کنید. در Rank Math از مسیر تنظیمات عمومی و بخش ویرایش robots.txt، و در Yoast از بخش ابزارها و ویرایشگر فایل. اگر این بخش‌ها غیرفعال‌اند، احتمالاً فایل فیزیکی دارید و باید از فایل منیجر هاست ویرایشش کنید.
- گروه تازه را اضافه کنید. یکی از نمونه‌های بالا را با یک خط خالی فاصله به انتهای فایل اضافه کنید. خط
Sitemapرا نگه دارید. - کش را پاک کنید. اگر LiteSpeed Cache یا افزونه کش دیگری دارید، کش را خالی کنید و دوباره آدرس robots.txt را باز کنید تا مطمئن شوید تغییر دیده می‌شود.
- اشتباه رایج را بررسی کنید. مطمئن شوید
Disallow: /را زیرUser-agent: *ننوشته‌اید. این خطا کل سایت را از گوگل بیرون می‌برد. - سرچ کنسول را چک کنید. بعد از چند روز، گزارش robots.txt در سرچ کنسول را باز کنید تا خطای خواندن فایل نداشته باشید.
اگر فقط بخش‌هایی از سایت را بسته‌اید، هر چند ماه یک بار فهرست پوشه‌ها را با ساختار فعلی سایت مقایسه کنید. تغییر پیوند یکتا یا جابه‌جایی بخش‌ها ممکن است قانون شما را بی‌اثر کند.
سؤالات متداول
آیا با این قانون سایتم از نتایج گوگل حذف می‌شود؟
خیر. گوگل گفته Google-Extended روی حضور در جستجو اثر ندارد و عامل رتبه‌بندی نیست، و توکن مشترک هم مثل Google-Extended تفسیر می‌شود. فقط اگر Googlebot را ببندید از نتایج حذف می‌شوید که ربطی به این توکن ندارد.
اگر الان این خط را اضافه کنم، از همین امروز اثر دارد؟
خیر. مایکروسافت از ۱ فوریه ۲۰۲۷ و گوگل طبق مستنداتش از اوایل ۲۰۲۷ اجرا می‌کنند. OpenAI و Anthropic تاریخ نداده‌اند. برای اثر فوری، قوانین اختصاصی GPTBot، ClaudeBot و Google-Extended را هم بنویسید.
آیا User-agent: * با Disallow جلوی آموزش هوش مصنوعی را می‌گیرد؟
از نظر این استاندارد خیر. پیش‌نویس صریحاً گفته گروه ستاره نباید به معنی توکن آموزش تفسیر شود. ضمن اینکه بستن همه چیز زیر ستاره، موتورهای جستجو را هم می‌بندد و به سئو آسیب جدی می‌زند.
محتوایی که قبلاً برای آموزش استفاده شده چه می‌شود؟
با این قانون حذف نمی‌شود. ترجیح شما فقط برای محتوایی اعمال می‌شود که بعد از ثبت آن در robots.txt برداشته شود. هیچ‌کدام از چهار شرکت وعده حذف از مدل‌های موجود نداده‌اند.
آیا بستن آموزش روی دیده‌شدن در AI Overviews گوگل اثر دارد؟
طبق مستندات گوگل، AI Overviews و AI Mode با قوانین Googlebot کنترل می‌شوند و Google-Extended روی آن‌ها اثری ندارد. اما حضور در اپلیکیشن جمینای ممکن است کم شود، چون Google-Extended آن را هم پوشش می‌دهد.
یک فروشگاه اینترنتی کوچک باید این توکن را اضافه کند؟
به نظر ما در بیشتر موارد نه. فروشگاه از دیده‌شدن محصولاتش در جواب‌های هوش مصنوعی سود می‌برد. اگر وبلاگ تخصصی با محتوای اختصاصی دارید، می‌توانید فقط همان پوشه را ببندید و صفحه‌های محصول را آزاد بگذارید.
قدم بعدی: همین امروز فایل robots.txt سایتتان را باز کنید و ببینید چه قانونی برای ربات‌های هوش مصنوعی دارد. اگر نمی‌دانید کدام سناریو برای کسب‌وکارتان مناسب است یا نگران‌اید یک خط اشتباه سایت را از گوگل بیرون ببرد، تیم خدمات سئو کیاهاست robots.txt و تنظیمات خزش سایت شما را بررسی می‌کند. برای مشاوره از صفحه تماس با ما پیام بدهید.
منابع: وبلاگ Google Search Central، Supporting a shared AI training control for websites، وبلاگ بینگ، Your content, your choice، مستندات خزنده‌های گوگل.
