تنظیم فایل های Robots.txt وردپرس شبکه با افزونه

از مهم‌ترین اجزاء سایت که روی سئوی سایت تاثیرگذار است، فایلی است که نامش robots.txt است. این سند در واقع به خزنده‌ها و ربات های موتورهای جستجو می‌فهماند که از چه قسمت‌هایی از سایت بازدید کنند و از چه قسمت‌هایی خیر. در حالت عادی خود وردپرس یک فایل robots.txt برای سایت اصلی و دیگر سایت‌های موجود روی شبکه می‌سازد که ساختار ساده و البته مفیدی دارد. یعنی در بیشتر موارد شبکهٔ وردپرس شما نیازی ندارد که محتوای این سند را تغییر دهید. اما به عنوان یک سئوکار حرفه‌ای، ممکن است که از محتوای این سند راضی نبوده و خواسته باشید تغییراتی را درون آن، حتی برای هر کدام از سایت‌های شبکه به صورت اختصاصی، ایجاد کنید. به همین دلیل افزونه‌ای را امروز خدمت شما معرفی می‌کنم که نامش Multisite Robots.txt Manager است و کارش خیلی حرفه‌ای است.

روال کاری افزونه Multisite Robots.txt Manager

به مانند معرفی هر افزونهٔ دیگر که روی سایت منتشر می‌کنیم، بد نیست اول روال کاری را خدمت شما توضیح دهیم که با مطالعه همین چند بند متوجه شوید که آیا این پلاگین به درد شما خواهد خورد یا خیر.

پس افزونه را نصب می‌کنیم و سپس آن را فعال می‌نمایید. اولین نکته‌ای که باید بدانید این است که Multisite Robots.txt Manager فقط و فقط روی وردپرس شبکه کار می‌کند. یعنی شما نمی‌توانید آن را روی وردپرس تک سایته، یا وردپرس عادی نصب نمایید.

یک آموزش جذاب دیگه! چطور CTR سایت را با Google Search Console بهبود دهیم؟

پس از فعال شدن، پیوندی به مجموعه پیوندهای نوار ناوبری (نوار سمت راست) وردپرس افزوده خواهد شد که عنوانش MS Robots.txt است و شما باید روی آن کلیک کنید تا صفحهٔ مدیریت مرکزی سند robots.txt برای‌تان باز شود. از طریق این صفحه که تصویر آن را در زیر می‌بینید، از بین سه حالت قادرید یکی را انتخاب کنید:

انتشار سند robots.txt سفارشی خود روی تمامی سایت‌های روی شبکه به صورت یکجا
انتشار سند robots.txt سفارشی خود فقط روی سایت‌هایی که شما مدیر آن هستید
فقط تغییرات موجود در این صفحه مربوطه به سند robots.txt ذخیره شود. ولی هیچ تغییری روی شبکه اعمال نگردد.

این سه تا گزینه، در زیر جعبهٔ بزرگ بالای صفحه قرار گرفته است و شما می‌توانید از بین آنها یکی را انتخاب کنید.

در بالاترین قسمت صفحه که در ابتدا متنی به رنگ قرمز نقش بسته است، وضعیت فعال بودن این سند را روی شبکه نمایش می‌دهد. مثلاً در تصویر بالا گفته شده که The Network Robots.txt File is Disabled . یعنی سند ربات روی تمامی شبکه غیرفعال است. یعنی همان robots.txt پیش فرض وردپرس روی سایت‌ها و سایت اصلی فعال است. اما وقتی کد دلخواه خود را درون جعبهٔ بالای صفحه وارد کنید و یکی از سه تا گزینهٔ توضیحی در زیر این جعبه را انتخاب کنید و روی دکمهٔ «ذخیرهٔ تغییرات» کلیک کنید، از الان به بعد سند دلخواه شما روی شبکه بارگذاری خواهد شد.

یک آموزش جذاب دیگه! آموزش افزونه Google XML Sitemaps وردپرس

ویرایش اختصاصی robots.txt مربوط به هر سایت روی شبکه

نکتهٔ جالب اینجاست که هر سایت هم برای خود صفحه‌ای به جهت کنترل هر چه بیشتر سند robots.txt خود دارد. یعنی مثلاً یکی از کاربران شبکهٔ شما وارد محیط پیشخوان خودش می‌شود. سپس وارد صفحهٔ MS Robots.txt شده و حالا می‌تواند تغییرات دلخواه خودش را روی این سند که مربوط به سایت خودش می‌شود را اعمال نماید.

در این صفحه حتی پیشنهادهایی هم برای هر چه بهتر شدن فایل robots.txt به کاربر داده می‌شود که با رعایت آنها سئوی بهتری را خواهد داشت. به عنوان مثال گفته شده که مسیرهای مربوط به پوشه‌های کتابخانهٔ سایت و قالب را حتماً Allow کند. یعنی به خزنده‌ها اجازهٔ دسترسی به آنها را بدهد.

در انتهای این صفحه همانطور که در تصویر بالا مشخص است، می‌توان سند robots.txt زنده و جاری همان سایت را هم دید.

جمع بندی

همانطور که دیدید، افزونهٔ Multisite Robots.txt Manager نیازی به آموزش خاصی برای کار کردن نداشت. ولی به جهت اینکه سند robots.txt را به خوبی تنظیم کنید، پیشنهاد می‌کنم که حتماً آموزش‌های دیگر راجع به این سند را حتماً از سایت ما مطالعه کنید. چرا که تنظیم کردن اشتباه این سند می‌تواند مسبب بروز مشکلات زیادی در آینده شود.