چرا باید از robots.txt استفاده کنیم؟
همانطور که باید بدانیم، یکی از فایلهایی که روی سئوی سایت بسیار تاثیرگذار است، فایل robots.txt است. این سند به خزندههای موتورهای جستجو میفهماند که از چه صفحاتی باید بازدید کنند. در نتیجه همان صفحات در نتایج موتور جستجو ظاهر میشود. پس در همین جا شاید به کل فهمیده باشید که چرا باید از robots.txt استفاده کنیم. اما در ادامه به طور تخصصی تر راجع به موارد استفاده از سند robots.txt میپردازیم.
در مقالهٔ آموزشی قبلی با عنوان کاربرد فایل Robots.txt چیست دانستیم که سند robots.txt چطور ساخته میشود و چگونه کار میکند. این سند ساختار بسیار سادهای دارد و ما به راحتی میتوانیم آن را ایجاد کنیم. مهمترین کاری که برای ما میتواند انجام دهد این است که به خزندههای موتورهای جستجو و دیگر رباتها می فهماند که از چه صفحاتی نباید بازدید کنند. شاید از خودتان بپرسید که اصولاً چه نیازی است که ما به آنها اجازهٔ بررسی برخی از صفحات سایت را ندهیم؟!
همیشه هم این طوری نیست که خواسته باشید تمامی صفحات سایت در موتور جستجو نمایش داده شود. حتی اگر فقط به دنبال بازدید بیشتر برای سایت خود باشید! در مواقعی مثل حالتهای زیر ممکن است نخواسته باشید برخی از صفحات سایت شما توسط خزندهها بررسی شوند. باید اشاره کنم که برای این کار باید از دستور Disallow در سند robots.txt استفاده کنید.
- اگر شما پوشه یا اسناد شخصیای داشته باشید که نمیخواهید در صفحهٔ نتایج موتور جستجو ظاهر شوند. البته استفاده از روش robots.txt زیاد مطمئن نیست! چرا که میدانیم محتوای این سند برای همگان آشکار است و حداقلش این است که خرابکارها میدانند فایلهای حساس شما کجاست! پس بهتر است با روشهای دیگر مثل استفاده از کدهای htaccess این مخفیسازی را انجام دهید.
- اگر سایت شما حاوی صفحاتی باشد که اصلاً اهمیتی ندارند که در موتور جستجو ظاهر شوند یا خیر. با این کار تمرکز خزندهها بیشتر روی صفحات مهمتر سایت شما جلب میشود. مخصوصاً اگر سایتی با هزاران صفحه داشته باشید.
- اگر درخواستهای زیادی از جانب خزندههای متفرقه دارید که ربطی به موتور جستجو ندارند. مثل خزندههایی که از ابزارهای بررسی کنندهٔ سئوی سایت ارسال میشوند. اینها تماماً ممکن است فقط پهنای باند و سرعت سایت شما را هدر دهند. پس بهتر است با سند robots.txt جلوی آنها را بگیرید. البته فقط آنهایی که به قوانین این سند پایبند هستند.
- اگر محتوای تکراری روی سایت خود یا روی یک دامنهٔ دیگر دارید و میخواهید جلوی فهرست شدن آنها را بگیرید. گاهی از اوقات این بهترین روش برای جلوگیری از جریمه شده توسط گوگل و دیگر موتورهای جستجو است. چرا که آنها به محتوای تکراری حساس هستند و رتبهٔ منفی برای سایت کپیکننده در نظر میگیرند. گاهی از اوقات یک سایت کلاً کپی شدهٔ یک سایت دیگر است. برای جلوگیری جریمه شدن، بهتر است کل سایت دوم Disallow گردد.
با توجه به این نکات مهم، همچنین توضیحاتی که در آموزشهای دیگر سایت پیرامون فایل robots.txt داده شده، بهتر است حتماً زمانی را صرف بررسی این موضوع روی سایت خود کنید. ارزشش را دارد! گاهی از مواقع یک سایت به این دلیل از گوگل ورودی ندارد، چون فایل robots.txt آن به درستی تنظیم نشده است و خراب است.