نمونه robots.txt وردپرس برای یک سئو عالی

اگر شما بر روی سئوی سایت کار می کنید، فایل robots.txt یه فایل بسیار قدرت مندی ست. در عین حال باید آن را با دقت مورد استفاده قرار داد. این به شما اجازه می دهد تا به موتورهای جستجو اجازه دسترسی یا نادیده گرفتن برخی از فایلها یا فولدر های خاص را بدهید. در طول سالها، گوگل در جهت خزیدن رباتهایش در وب تغییراتی را داده است، بنابراین بهترین روشهای قدیمی هم دیگر اعتباری ندارند. این پست توضیح می دهد که بهترین شیوه های فعلی برای وردپرس robots.txt چیست؟ و چرا؟

گوگل به صورت کامل سایت شما را بررسی می کند

گوگل دیگر یه بچه کوچک و گنگ و لال نیست که فقط سایت ها را از روی HTML بررسی کند و ظاهر سایت CSS و  JavaScript را نادیده بگیرد. همه چیز را فچ و صفحات را به صورت کامل رندر می کند. یعنی وقتی که شما دسترسی گوگل به فایلهای CSS و JavaScript را می بندید اصلا برای گوگل خوشایند نیست. نکته مهمی ست که عدم رعایت آن قطعا برای شما مشکل ساز خواهد بود: فایلهای CSS و JavaScript را مسدود (block) نکنید.

بهترین روش های قدیمی داشتن robots.txt که دسترسی مسیر wp-includes و مسیر پلاگین ها را مسدود می کرد دیگر اعتباری ندارد.

بسیاری از قالبها برای اضافه کردن محتوا به صفحه از AJAX استفاده می کنند. به صورت پیش فرض وردپرس اینها را مسدود می کرد که در وردپرس ۴٫۴ حل شد.

Robots.txt ارزش لینکها را انکار می کند

یک چیز مهم دیگری است که باید به خاطر داشته باشید. اگر شما به وسیله robots.txt سایتتون آدرسی (URL) را بلاک کنید، خزنده های موتورهای جستجو آنها را بررسی نخواهند کرد. بنابراین اگر شما بخشی از سایتتون هست که ترجیح می دهید در نتایج موتورهای جستجو نمایش داده نشود، اما تعداد زیادی لینک دریافت می کند از فایل robots.txt استفاده نکنید. در عوض از یک متا تگ robots با مقدار noindex و follow استفاده کنید. این کار به موتورهای جستجو اجازه می دهد تا توزیع درستی از میان لینکها در صفحات سایت شما داشته باشند.

نمونه ای از Robots.txt سایت وردپرسی

فایل Robots.txt وردپرس شما باید شامل چه چیزهایی باشد؟ فایل ما بسیار تمیز و مناسب است. ما دیگر چیزی را مسدود نمی کنیم! ما مسیر /wp-content/plugins/ را مسدود (block) نمی کنیم، زیرا شاید برخی پلاگین ها JavaScript و CSS ی تولید کنند که گوگل برای رندر کردن صفحه به آن نیاز داشته باشد. همچنین ما مسیر /wp-includes/ را هم مسدود نمی کنیم، چون برخی از JavaScript پیش فرض که همراه با وردپرس هستند، که بسیاری از تم ها از آن استفاده می کنند از این دایرکتوری ها آمده است.

ما هم چنین پوشه /wp-admin/ را هم بلاک نمی کنیم. دلیل خیلی ساده ای دارد، اگر شما آن را بلاک کنید، اما به صورت تصادفی به آن اشاره کنید، مردم همچنان قادر خواهند بود با انجام دستور ساده [inurl: wp-admin] در گوگل سایت شما را پیدا کنند. این نوع دستور نوعی از Query هایی است که هکرهای مخرب آنرا دوست دارند و انجام می دهند. اگر شما هیچ کاری انجام ندهید، وردپرس قابلیت (از اینجا دنبال کنید) ایجاد robots meta x-http header را در صفحات مدیریت را دارد که مانع از نمایش این صفحات در نتایج جستجوی موتورهای جستجو می شود، و این یک راه بسیار پاکیزه و تمیز می باشد.

کاری که شما باید با فایل Robots.txt سایت خود انجام دهید

شما باید به سرچ کنسول وارد شوید و از منو Crawl و زیر مجموعه Fetch as Google از گزینه Fetch and Render استفاده کنید:

اگر هنگام بازدید سایت خطا یا اعلانی وجود داشت، خطوطی که در فایل Robots.txt دسترسی به آدرس ها را مسدود کرده است را پاک کنید.

آیا لازم است از XML سایت مپ خود به robots.txt لینک دهید؟

احساس می کنم لینک به XML نقشه سایت یه کم بی معنی باشد. شما باید به صورت دستی نقشه سایت را به سرچ کنسول اضافه کنید و بازخورد ها را مشاهده نمایید.

لطفا به این مطلب رای دهید
[رای ها: 7 امتیاز: 3.9]

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *