97-10-26، 04:55 عصر
![[تصویر: 750.360.63.jpg]](https://novinmarketing.com/wp-content/uploads/2018/10/750.360.63.jpg)
تنظیم درست فایل Robots که در زبان فارسی روبوت خوانده می‌شود؛ یکی از تنظیمات مهم و حیاتی در بخش سئوی داخلی سایت است. بسیاری از سئو کاران کم‌تجربه و صاحبان سایت‌ها، به این موضوع اهمیت نمی‌دهند؛ چراکه کمتر پیش می‌آید سایتی از نداشتن فایل Robots در همان مراحل اولیه آسیب ببیند. اما با رشد سایت و افزایش تعداد صفحات سایت، اهمیت داشتن فایل Robots با تنظیمات درست بیشتر می‌شود.
در این مقاله وب‌سایت نوین مارکتینگ می‌خواهم به زبان ساده شما را با کاربرد، ساخت و تنظیمات فایل Robots.txt آشنا کنم. فراموش نکنید که یک سایت بدون فایل Robots شرایط بهتری از یک سایت دارای فایل Robots با تنظیمات اشتباه خواهد داشت. پس از مطالعه این مقاله به خوبی درک خواهید کرد که تنظیمات اشتباه در این فایل چه بلایی بر سر سئوی سایت خواهد آورد.
در این مقاله می‌خوانیم:
- آشنایی با کاربرد فایل Robots
- آموزش ساخت فایل Robots
- آشنایی با دستورات قابل تنظیم فایل Robots
- سنجش درستی تنظیمات فایل Robots
- نقشه سایت در فایل Robots
- نگاهی به فایل Robots چند سایت مطرح
![[تصویر: Tinkerbots-My-First-Robot-Code-2-Play-3.jpg]](https://novinmarketing.com/wp-content/uploads/2018/10/Tinkerbots-My-First-Robot-Code-2-Play-3.jpg)
آشنایی با کاربرد فایل Robots
فایل Robots همانطور که از نامش پیداست؛ فایلی برای ارائه دستورات گوناگون به ربات‌های کراولر موتورهای جستجو است. در واقع با کمک این فایل شما می‌توانید به کراولرها دستور دهید به چه صفحاتی از سایت دسترسی داشته باشند؛ و از جستجو در چه صفحاتی اجتناب کنند.
وقتی کراولر یک موتور جستجو وارد صفحه‌ای از سایت شما می شود؛ در اولین قدم به بررسی این فایل می‌پردازد. این کار کمک می‌کند تا دقیقا متوجه شود چه بخش‌هایی از سایت را باید جستجو کرده و ایندکس کند؛ و به چه بخش هایی از سایت کاری نداشته باشد.
توجه کنید که هر سایتی با توجه به رتبه و اعتبار خود نزد موتور جستجو، شاخصی به نام Crawl Budget دارد. مفهوم این شاخص میزان منابع و زمانی است که موتور جستجو برای کراول کردن روزانه سایت شما در نظر گرفته است. در نتیجه اگر شما نتوانید با دستورات درست در فایل Robots این بودجه را به بهترین وجه و روی صفحات مهم هزینه کنید؛ شانس خود را برای ایندکس سریع‌تر صفحات و رفرش تغییرات در گوگل از دست خواهید داد.
به عنوان یک مثال ساده در نظر بگیرید که این روزها اکثر سایت‌ها به دلایل مختلف (مثل پارامترهای صفحات) دارای صفحات بدون کاربرد و مشابه زیادی هستند؛ که ایندکس شدن آنها نه تنها Crawl Budget شما را مصرف می‌کند؛ بلکه موجب ایندکس صفحات مشکل‌دار و مشابه با صفحات اصلی می‌شود. در نتیجه به همین راحتی ممکن است مورد خشم گوگل واقع شده و حتی تا مرز پنالتی شدن سایت در گوگل نیز پیش بروید!
در عمل شما با تنظیمات فایل Robots اثر زیادی بر چگونگی ایندکس صفحات سایت خود در موتورهای جستجو خواهید داشت. در چنین شرایطی قابل حدس است که وجود حتی یک تنظیم غلط چگونه می‌تواند به وضعیت سئو و رتبه صفحات سایت شما در نتایج جستجو آسیب بزند.
البته نگران نباشید. ساخت و تنظیم این فایل آنقدرها هم که تصور می‌شود پیچیده نیست؛ و با خواندن این مقاله به راحتی می‌توانید این فایل را برای سایت خود ساخته و تنظیم کنید.
فقط باز هم تاکید می‌کنم نبودن یک تنظیم درست در فایل Robots بسیار بهتر از وجود یک تنظیم غلط در آن است.
آموزش ساخت فایل Robots
در اولین قدم سایت شما باید این فایل را داشته باشد؛ تا بتوان تنظیمات مورد نظر را در آن درج کرد. البته بسیاری از سایت‌ها به دلیل استفاده از سیستم‌های مدیریت محتوا (CMS) از جمله وردپرس (WordPress) به طور پیش‌فرض دارای این فایل با تنظیمات اولیه هستند.
فایل robots.txt یک فایل متنی است که به راحتی با نرم افزار Notepad ویندوز می‌توانید آن را بسازید. فقط کافی است یک فایل جدید با نام robots و پسود txt ایجاد کرده و آن را ذخیره کنید. به همین سادگی فایل Robots شما آماده است؛ و می‌توانید تنظیمات مختلف را در آن درج کنید.
برای خوانده شدن فایل Robots توسط ربات‌های موتورهای جستجو، باید آن را در پوشه اصلی (Root) سایت قرار دهید. دقت کنید که نام این فایل دقیقا باید robots و پسوند آن txt باشد.
![[تصویر: 92935560_robot976.jpg]](https://novinmarketing.com/wp-content/uploads/2018/10/92935560_robot976.jpg)
آشنایی با دستورات قابل تنظیم در فایل Robots
این بخش مهمترین بخش مقاله است؛ و در آن با روش تنظیم فایل Robots آشنا می‌شوید. این فایل ساختاری مشخص و چندین دستور مختلف دارد؛ که در ادامه مقاله با آنها آشنا می‌شوید.
دستور User-agent
این فرمان به طور دقیق مشخص می‌کند که دستورهای بعدی آن، برای چه رباتی از چه موتور جستجویی نوشته شده است. در واقع با این دستور شما رباتی را که می‌خواهید به آن دستوراتی را بدهید، صدا می‌کنید. توضیح این نکته ضروری است که موتورهای جستجوی مختلف مثل گوگل، بینگ، یاهو و… هر کدام چندین ربات جستجوگر دارند. به عنوان مثال موتور جستجوی گوگل دارای رباتی برای جستجوی تصاویر، ربات ویدئو، ربات اخبار، ربات موبایل، ربات ادسنس و… است.
برای استفاده از این دستور کافی است به روش زیر عمل کنید:
User-agent: * این دستور برای صدا زدن همه ربات‌ها از همه موتورهای جستجو است.
User-agent: Googlebot این دستور برای صدا زدن ربات اصلی موتور جستجوی گوگل است.
User-agent: Googlebot-Image این دستور برای صدا زدن ربات تصویر گوگل است.
User-agent: Googlebot-News این دستور برای صدا زدن ربات بخش اخبار گوگل است.
User-agent: Googlebot-Mobile این دستور برای صدا زدن ربات موبایل گوگل است.
User-agent: Mediapartners-Google این دستور برای صدا زدن ربات موتورهای جستجوی همکار گوگل است.
User-agent: Adsbot-Google این دستور برای صدا زدن ربات تبلیغات در گوگل است.
