همه چیز درباره فایل robots.txt در وردپرس

فایل robots.txt یکی از اسناد حساس روی هاست برای بهینه سازی سایت محسوب می‌شود. این سند به خزنده‌ها یا ربات‌های اینترنتی می‌فهماند که از چه صفحاتی نباید بازدید کنند. در رابطه با موتورهای جستجو این سند نمی‌تواند مشخص کند که حتماً آن صفحات در موتور جستجو فهرست نشوند. یعنی ممکن است عنوان صفحه‌ای را درون سند robots.txt بیاورید که نمی‌خواهید توسط خزندهٔ گوگل بررسی شود. اما گول آن را فهرست کند! فایل robots.txt فقط به عنوان یک پیشنهاد برای بررسی و عدم بررسی صفحات سایت توسط خزنده‌ها است.

آموزش فایل robots.txt

حتماً راجع به سند robots.txt زیاد شنیده‌اید. اما در این مقاله می‌خواهید به طور خاص و ویژه راجع به robots.txt در وردپرس صحبت کنیم. البته سعی شده کاملاً مختصر و مفید توضیحات داده شود. پس امیدوارم با مطالعهٔ این مقاله اطلاعات شما راجع به robots.txt تکمیل گردد.

برای کسب اطلاعات بیشتر مقالهٔ کاربرد فایل robots.txt چیست را حتماً مطالعه کنید.

با robots.txt فقط پیشنهاد می‌دهید

مدیرهای سایت‌ها می‌توانند با ساخت robots.txt روی هاست خود، فقط به خزنده‌های اخلاق مدار پیشنهاد دهند. اصلاً قادر نیستند آنها را مجبور به انجام کار خاصی کنند. کلیات کار این سند هم برای ممانعت به عمل آوردن از بررسی برخی از صفحات سایت توسط خزنده یا ربات است.

حالا ربات چیست؟ ربات همان نرم افزارهای تحت وب هستند که به کنکاش و گشت و گذار و بررسی صفحات مختلف اینترنتی می‌پردازند. مثلاً خزندهٔ گوگل را در نظر بگیرید که محتوای صفحات وب را بررسی می‌کند تا بتوانید آنها را به مخاطبان خودش پیشنهاد دهد. یعنی در صفحات نتایج جستجوی خودش به جستجوگران نشان دهد.

سند robots.txt در وردپرس

نکتهٔ بسیار جالب اینجاست که وردپرس به صورت خود به خود یک سند robots.txt البته از نوع مجازی، روی هاست شما ایجاد می‌کند. یعنی همان ابتدایی که وردپرس را نصب می‌کنید، اگر یک / و سپس robots.txt در انتهای نشانی دامنهٔ سایت خود وارد کنید، محتوای فایل robots.txt را حتماً خواهید دید. ساختار این سند بسیار ساده و کم حجم است و در بیشتر موارد همین robots.txt پیش فرض وردپرس برای سایت شما کافی است و نیازی به انجام کار خاصی نیست.

چرا باید مراقب robots.txt سایت بود؟

اما در مواقعی که قصد سفارشی سازی بیشتر سایت را داشته باشیم، باید دست به کار شده و robots.txt سفارشی سایت خود را در وردپرس ایجاد کنیم. چگونگی انجام این کار را در ادامه خدمت شما عرض خواهد کرد. ولی اول باید بدانیم چرا باید این کار را بکنیم؟

• بهینه سازی در مصرف منابع هاست برای بررسی صفحات توسط خزنده‌ها، مخصوصاً ربات‌های موتور جستجو
• بهینه سازی در مصرف منابع هاست به جهت جلوگیری از مصرف بیش از حد منابع از بابت خزنده‌هایی که مدام در حال بررسی صفحات سایت هستند!

فایل robots.txt نمی‌تواند در فهرست نشدن صفحات کمک کند!

به این نکته حتماً دقت داشته باشید، همانطور که در بند اول این مقاله خدمت شما عرض کردم، از سند robots.txt نباید انتظار داشت که نگذارد گوگل یا دیگر موتورهای جستجو صفحاتی که ما نمی‌خواهیم را فهرست (ایندکس) کنند! این سند فقط پیشنهاد می‌دهد؛ همین! در بیشتر موارد هم ممکن است از طریق لینک‌های دیگری که به صفحات ناخواستهٔ سایت ما وارد می‌شوند، خزنده‌ها وارد شده. که در این حالت robots.txt را نادیده می‌گیرند و آن صفحه را در پایگاه دادهٔ خود ذخیره می‌کنند (ایندکس می‌کنند) و در صفحات نتایج جستجو نمایش داده می‌شود!

چطور robots.txt را در وردپرس ویرایش کنیم؟

همانطور که گفته شد، robots.txt در وردپرس به صورت مجازی ساخته می‌شود. یعنی چنین فایلی را شما روی هاست خود نخواهید دید. پس برای ساخت و ویرایش robots.txt حقیقی بهتر است یک سند روی ریشهٔ هاست خود ایجاد کنید. این کار را توسط FTP یا File Manager می‌توانید انجام دهید. حتماً دقت کنید که روی ریشهٔ هاست باشد.

پس از آن هر نوع محتوایی که دوست دارید را می‌توانید داخل آن قرار دهید. البته در وارد کردن دستورات نهایت دقت را داشته باشید که وارد کردن دستور اشتباه، ممکن است به ضرر شما و سایت و کسب و کار شما تمام شود! حتماً مقالهٔ کاربرد فایل Robots.txt چیست را مطالعه کنید. اما برای اشاره هم که شده، یک نوع محتوای فایل Robots.txt را در ادامه برای شما دوستان آورده ام.

User-agent: *
 Disallow: /

دو خط بالا در سند، به تمامی خزنده‌ها دستور می‌دهد که هیچ کدام از صفحات سایت ما را بررسی نکنند! وارد کردن این کد در robots.txt به این معنا است که شما اصلاً نمی‌خواهید صفحات سایت شما توسط خزنده‌ها بررسی شوند.

User-agent: Bingbot
Disallow: /

سند robots.txt بالا فقط به خزندهٔ بینگ که نامش Bingbot است اجازه نمی‌دهد به تمامی صفحات سایت دسترسی داشته باشد.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php

نمونه کد بالا یک نمونهٔ عملیاتی‌تر و عمومی تر از یک سند robots.txt متعارف است. به تمامی خزنده‌ها اجازهٔ بررسی تمامی صفحات، به جز مسیر wp-admin و صفحهٔ ورود وردپرس را می‌دهد. robots.txt پیش‌فرض خود وردپرس هم به صورت زیر است:

User-agent: *
 Disallow: /wp-admin/
 Allow: /wp-admin/admin-ajax.php

و نمونه‌‌های دیگر سند robots.txt که می‌توانید خودتان بسازید. همانطور که دیدید سه تا دستورUser-agent و Dissallow و Allow اینجا استفاده شد. که در کل ۳ تا دستور در سند robots.txt قابلیت استفاده دارد.

در عنوان دستورات کوچک و بزرگ بودن حروف انگلیسی مهم نیست. اما در مقدار هر دستور بزرگ و کوچک بودن حروف انگلیسی بسیار مهم است. یعنی wp-admin با WP-admin متفاوت است.

گذاشتن نشانی نقشهٔ سایت XML در robots.txt

بد نیست در انتهای فایل robots.txt نشانی نقشهٔ سایت XML را بگذارید. البته به شرطی که از قبل این نقشهٔ سایت را ایجاد کرده باشید. این کار معمولاً توسط افزونه‌های وردپرس به صورت خودکار انجام می‌شوند. در خط زیر که باید انتهای فایل robots.txt قرار گیرد، به جای نشانی نمایشی، نشانی حقیقیِ نقشهٔ سایت خود را قرار دهید.

 Sitemap: htttp://example.com/sitemape.xml

ساخت و مدیریت robots.txt با افزونه‌های وردپرس

یک روش ساده‌تر برای ساخت و مدیریت سند robots.txt این است که از افزونه‌های مخصوص این کار استفاده کنیم. البته افزونه‌های سئو مثل All In One Seo Pack هم باید چنین قابلیتی داشته باشند. اگر در مخزن وردپرس جستجو کنید، حتماً به تعداد زیادی افزونه راجع به این کار برخورد خواهید کرد. اما هم مطالب اموزشی زیادی پیرامون این مبحث در سایت منتشر کردیم.

امتحان کردن robots.txt سایت

اگر در Google Search Console حساب داشته باشید و سایت خود را ثبت کرده باشید، ابزاری برای بررسی سند robots.txt در آنجا وجود دارد. با باز کردن آن و کلیک روی شروع بررسی، اگر خطایی وجود داشت، به شما گوشزد شده و می‌توانید آن را برطرف کنید.

جمع بندی

برای ختم این مقاله، باید دانست که در بیشتر مواقع نیازی نیست فایل robots.txt وردپرس خود را دستکاری کنید. چرا که خود هستهٔ وردپرس این سند را ساخته و مدیریت می‌کند. اما در مواقعی که قصد سفارشی سازی با دانش کامل را دارید، می‌توانید این سند را روی هاست خود بسازید و کدهای موردنظرتان را درون آن قرار دهید.