با robots.txt وردپرس را بهینه کنید
همواره یکی از دغدغه های مدیران سایت های وردپرسی بحث بهینه سازی وردپرس بوده که شاید به جرأت بتوان بیان کرد بیشترین زمان را از آنها میگیرد چرا که توسعه وب سایت،اعتبار و درآمد زایی از سایت تا حد زیادی بسته به مقوله بهینه سازی وردپرس دارد. یکی از عوامل مهم بهینه‌سازی وردپرس، فایل robots.txt می باشد. در واقع فایل robots.txt یک ابزار خاص و مهم برای مدیر یک سایت وردپرسی به شمار می رود.
فایل robots.txt چیست؟
فایل robots.txt به موتورهای جستجو نحوه ایندکس کردن صفحات و خزیدن در سایت را مشخص می کند. این فایل برای سئوی سایت های وردپرسی نقش بسیار مهمی داشته و غالبا در ریشه ی هاست یعنی در مسیر /public_html/ قرار دارد. ساختار کلی و عمومی این فایل به شکل زیر است:
|
User–Agent: * Allow: /wp–content/uploads/ Disallow: /wp–content/plugins/ Disallow: /wp–admin/ |
باید اضافه کرد که با توجه به سیاست های مدنظر خود جهت بهینه سازی وردپرس می توانید پارامترهای متعددی را به این فایل اضافه کنید مثلاً خزیدن یک صفحه یا صفحات خاصی را مجاز و صفحات دیگری را برای موتورهای جستجو غیر مجاز کنید. دقت کنید اگر آدرس یک صفحه را در فایل robots.txt غیر مجاز یا Disallow قرار دهید به این معنی خواهد بود که موتورهای جستجو اجازه بررسی و ایندکس کردن آن را ندارند. در ادامه یک مثال ساده از یک فایل را ملاحظه می فرمایید:
|
User–Agent: * Allow: /wp–content/uploads/ Disallow: /wp–content/plugins/ Disallow: /wp–admin/ |
همانطور که مشاهده می کنید پوشه های plugins و uploads و مسیر مدیریت وردپرس برای موتورهای جستجو جهت ایندکس شدن ممنوع شده است.
آیا به وجود فایل robots.txt برای بهینه سازی وردپرس نیاز دارید؟
اگر ساختار این فایل در سایت شما وجود ندارد در واقع موتورهای جستجو تمامی صفحات سایت شما را ایندکس خواهند کرد و همه صفحات سایت مرور خواهند شد. باید گفت اگر سایت خود را تازه راه اندازی کرده اید این موضوع خیلی تاثیری بر روند سایت نخواهد گذاشت اما با توجه به اینکه به مرور زمان سایت رشد خواهد کرد و نیاز به یک ساختار مشخص برای بهینه سازی وردپرس خواهید داشت. در نظر داشته باشید که هر ربات موتور جستجو دارای سهمیه مشخصی برای هر وب سایت هستند به این معنا که هر مرتبه که به سایت سر میزند تعداد صفحات مشخصی را بازدید می کند و هر صفحه ای که در یک بازدید مورد بررسی و خزش قرار نگیرد در بازدیدهای بعدی مرور خواهد شد، که می تواند باعث کند شدن سرعت ایندکس صفحات سایت بشود. به همین دلیل شما می توانید با قرار دادن صفحات غیر ضروری در فایل robots.txt از دیده شدن و ایندکس شدن توسط ربات های موتورهای جستجو ممانعت کرده و روند ایندکس سایت خود را تسریع ببخشید.
برای بهینه سازی وردپرس ما کد زیر را جهت قرار دادن در این فایل پیشنهاد می کنیم:
|
User–Agent: * Allow: /wp–content/uploads/ Allow: /wp–admin/admin–ajax.php Disallow: /wp–content/plugins/ Disallow: /wp–admin/ Disallow: /readme.html Disallow: /refer/ Sitemap: https://example.com/sitemap.xml |
در واقع این کد به صورت عمومی برای بهینه سازی وردپرس مناسب بوده و به موتورهای جستجو می گوید می توانند فایل ها و تصاویر موجود در سایت را ایندکس کنند همینطور اجازه ایندکس کردن پلاگین ها،پوشه پلاگین،، صفحه مدیریت ، فایل readme.html را نمی دهد، ضمن اینکه با اضافه کردن نقشه سایت کار را برای ایندکس کردن صفحات سایت آسان می کنید.(دقت کنید که به جای آدرس https://example.com می بایست آدرس سایت خود را قرار دهید.)
تا اینجا متوجه شدید که یک کد مناسب بهینه سازی وردپرس برای فایل robots.txt چیست و چگونه می توانید آن را بهینه سازی و سفارشی کنید و همینطور متوجه شدید که قرار دادن این کدها در سایت چه تاثیرات مثبت و منفی ای در روند سئوی سایت شما خواهد گذاشت.
آموزش ساخت فایل robots.txt برای بهینه سازی وردپرس:
– روش اول به کمک پلاگین yoast seo :
اگر از این افزونه سئوی بسیار قدرتمند استفاده می کنید که کار بسیار ساده است و به راحتی می توانید با رفتن به قسمت مدیریت وردپرس خود وارد تنظیمات افزونه yoast seo شده و از قسمت tools گزینه file editor را انتخاب کنید .در این صفحه اگر فایل از قبل موجود باشد که آن را نمایش می دهد اگر نه یک دکمه وجود دارد بنام create robots.txt که با فشردن آن افزونه yoast seo یک نسخه از فایل robots را برای شما می سازد. به صورت پیش فرض افزونه yoast seo محتوای زیر را داخل فایل قرار می دهد:
|
User–agent: * Disallow: / |
فراموش نکنید باید این کد را حذف نمایید و کد خود را قرار دهید چون کد بالا جلوی کلیه موتورهای جستجو را خواهد گرفت.
– روش دوم ساخت فایل robots.txt در وردپرس:
به کمک دسترسی که برای FTP در اختیارتان هست به هاست وصل شده و فایل robots.txt را ادیت کرده و مقادیر مد نظر خود را در آن قرار دهید. اگر دسترسی به FTP ندارید می توانید آن را از مدیر هاستینگ خود درخواست کنید و یا اینکه مستقیما با وارد شدن به پنل مدیریت هاست خود فایل robots.txt را ادیت نمایید.
چطور فایل robots.txt را تست کنیم؟
وارد پنل سرچ کنسول گوگل خود شده و به نسخه قدیمی آن بروید. از گزینه crawl بر روی robots.txt tester کلیک نمایید. در این قسمت سرچ کنسول کدهای موجود در فایل را ارزیابی و اگر خطا یا مشکلی وجود داشته باشد به شما اعلام می کند. البته بیان این نکته لازم است که اخیرا پنل سرچ کنسول گوگل تغییرات فراوانی داشته و در واقع یک حالت متفاوتی از نسخه قبلی را تجربه می کند، بنابراین اگر احساس میکنید هنوز نمی توانید با نسخه جدید سازگار شوید بهتر است از نسخه قدیمی استفاده کنید. هرچند نسخه جدید امکانات بسیار خوبی را در اختیار شما قرار داده است که می توانید از آنها در جهت بهینه سازی وردپرس و سایت های وردپرسی اقدام نمایید.
مدیریت سرور پشتیبانی و مشاوره و سئو
