robots.txt چیست؟ + آموزش

robot.txt
سایر دسامبر 2013 13

حتما تا به حال نام robots.txt راشنیده اید ، خوب اگر نحوه کار این فایل مهم را نمی دانید در این پست خواهید آموخت. robots.txt یک فایل متنی است که در شاخه اصلی سایت قرار می گیره و شما می توانید توسط این فایل شاخه ها و یا فایل های خاصی را از دید موتور های جست و جو مخفی کنید . باید بگم که این کار ساده تاثیر بسیار مید بر سئو سایت داره و حتی از نظر امنیتی هم نیز موثر است.

فایل ها و فولدر های زیادی هست که لازم نیست موتور های جست و جو مثل گوگل و یاهو آن را ایندکس کنند و ایندکس نشدن آن ها باعث افزایش رتبه شما خواهد شد ، مثلا فولدر wp-admin اطلا مطلب خاصی درونش نیست که باری موتور های جست و جو مهم باشد.

برای شروع کافی است در شاخه اصلی سایت یعنی همون public-html فایل متنی با نام robots.txt ایجاد کنید ، خوب حالا شما باید این فایل را مورد ویرایش قرار بدید و در خط اول آن کد زیر را وارد کنید:

 

کد بالا برای این است که اعلام کنیم که کد های بعدی برای کدام موتور های جست و جو اعمال بشه و علامت ستار جلوی آن یعنی برای تمامی آن ها انجام بشه ، مثلا اگر می خواهید این دستورات برای گوگل اعمال بشه به جای ستاره باید googlebot را بگذارید :

 

خوب حالا باید اعلام کنیم که موتور های جست و جو کدام فایل یا فولدر را ایندکس نکنند. برای اینکار کافی است در خط جدید عبارت Disallow را بیاوریم و آدرس آن فایل یا فولدر را در مقابل آن بنویسیم :

 

ا کد بالا ما به همه ی موتور های جست و جو فهماندیم که لازم نیست فایل admin.php را ایندکس کند. همچنین می توانیم چندین فایل و فولدر را به ای صورت از دید موتور های جست و جو مخفی کنیم:

 

کد های بالا به موتور ای جست و جو می فهماند فولدر های wp-admin و wp-content به همراه فایل admin.php را ایندکس نکند.

 

خوب تا اینجا یاد گرفتیم چگونه یک فایل و یا فولدر را از دید موتور های جست و جو مخفی کنیم ، ولی اگر دقت کرده باشید وقتی یک فولدر را مخفی می کنیم تمام فایل ها و فولدر هایش از دید موتور های جست و جو مخفی می شود ، حال اگر ما خواستیم یک فایل یا فولدری را درون این فولدر مخفی شده به موتور های جست و جو نشان دهیم باید از کد allow استفاده کنیم به شرح زیر :

 

در کد بالا ما فولدری با نام file را مخفی کردیم ولی فولدری که درونش است را با نام folder به موتور های جست و جو معرفی کردیم.

کد های زیر یک robots.txt کامل برای وردپرس هست : (شما فقط آدرس نقشه سایتتون را در خط 78 جایگزین کنید)

 

دیدگاه ها
  • جواد می‌گه:

    میشه بهترین نوع فایل روبوت رو بزارین … جامع و کامل برای وردپرس 🙂 من فایل روبوت وب شما رو دیدم کامل نبود

  • satin می‌گه:

    سلام

    الان فقط باید یک فایل متنی با نام robots.txt در public-html ایجاد کنم و کدهای فوق رو توش قرار بدم؟ همین کافیه؟
    این کدها استاندارد هستند؟

  • satin می‌گه:

    ممنون از راهنمایی هاتون و پاسخ سریع و سوال آخر: ( اگر دیگه سوال پیش نیاد :دی )
    1. کد رو باید عینا کپی کرد یعنی از کد شماره 1 که با # شروع میشه و با کد شماره 80 که با # تموم میشه؟
    2. من یک سری از کدهای رو طبق آموزش های سایت در httacces و wp-config.php قرار دادم این کدها مشکلی بوجود نمیارن برای robots.txt ؟ منظور تداخلی ایجاد نمی کنن؟

    – با تشکر

    • آقای برنامه نویس می‌گه:

      بله همینطوره فقط در خط 78 آدرس نقشه سایت خودتون را جایگزین کنید
      خیر تداخلی ایجاد نخواهند کرد
      موفق باشید

  • کیانوش می‌گه:

    با سلام
    من تازه با سایت شما اشنا شدم و سوالی که داشتم اینه :
    من چون تازه رو وردپرس سایت زدم کمی بلد نیستم … به هر حال سوالم اینه :
    چرا پست زمینه سایت ما ( صفحه ورود و پنل مدیریت ) پشتش کاملا سفید شده ؟؟؟
    itamoz.ir/wp-admin
    رو یه لحظه این صفحه ورود رو نگاه کنید ؟؟ میبینید که از قالب خودش خارج شده میشه دلیلشو بگین ؟

    • آقای برنامه نویس می‌گه:

      سلام کیانوش جان
      دوست عزیز بنده به پنل مدیریت شما دسترسی ندارم !
      اگر مشکل خاصی باشه شاید با یه آپگریت ساده حل بشه ، نهایتا یا افزونه یا قالبی دخالت داره

      • مهدی می‌گه:

        با عرض عذرخواهی از اقای برنامه نویس
        منم قبلا این مشکلو داشتم
        در بیشتر اوقات این مشکل ناشی از فایل function.php قالب شماست .
        من با اصلاح کردن کدهای اون تونستم مشکل رو رفع کنم

        • آقای برنامه نویس می‌گه:

          بله بنده هم گفتم ممکنه مشکل از قالب باشه اما همین مشکل ممکنه در افزونه ها هم باشه
          تشکر از شما

  • کیانوش می‌گه:

    با سلام
    دوست عزیز تو افزونه های زیادی که نصب کردم بنظرم اختلال وجود داشت بهمین خاطر مجبورم از اول شروع کنم
    پس اگر شما میتوانید من دسترسی به هاستم رو بهتون بعد از نصب شدم میدم شما کارهای امنیتی رو انجام بدین چون من انجام دادم خراب شد :دی
    قربانتان کیانوش

  • کیانوش می‌گه:

    خوب باشه داداش خودم انجام میدم دستت درد نکنه ولی بنظرت میشه به جای انتقال
    wp-config
    به روت روش رمز بزارم .. چون بنظرم با انتقال این وردپرسم بهم میریزه .. اینو که انجام دادم وردپرسم خود به خود حذف و نصب شد 🙁
    بعد یه سوال دیگه اینکه اون آموزشی که در قسمت اول امنیت وردپرس بود یه کدی داده بودید در htaccess. قرار بدم که بنظرم بعد از قرار دادن اون هم خراب شد وردپرسم …

    بنظرت مشکل چیه ؟؟ خیلی ممنون میشم کمکم کنی داداش برنامه نویس
    با تشکر کیانوش //

    • آقای برنامه نویس می‌گه:

      لازم نیست حتما منتقل کنید ، شما میتونید با htaccess از این فایل محافظت کنید
      در مورد اون کد هم احتمالا در جای اشتباه واردش کردید و هیچ مشکلی نداره ، شما باید این کد را در انتهای تمامی کد های مورد در htaccess قرار میدادید

  • کیانوش می‌گه:

    آقای برنامه نویس واقعا دستتون درد نکنه از مطالبتون استفاده کردم ولی اگه وقت کردید سایت های خارجی را نیز مطالعه فرمایید چون واقعا بزرگترین منابع آموزشی هستند

    بازم تشکر از سایت خوبتون …. و راستی درباره امنیت اینا رو هم اگه میشه توضیح بدید :
    functions های خطرناک و نحوه غیر فعال سازی آنها
    و همچنین بخش php.ini رو هم توضیح بدید خیلی خوبه
    و تعریف کردن دستور های زیر برای کل پوشه ها و فایل های هاست
    safe_mode = on
    exec = off
    shell_exec = off

    اینا همشون امنیتی هستند

    با تشکر کیانوش //

    • آقای برنامه نویس می‌گه:

      مرسی کیانوش جان ، این سایت بیشتر به تولید محتوا توجه داره تا ترجمه یا کپی ، در مورد درخواست هات هم برسی میشه

  • کیانوش می‌گه:

    دستتون درد نکنه استاد جان ….

  • 3pa می‌گه:

    آقای برنامه نویس منم وقتی wp-config رو به روت انتقال دادم کلا سیستم از اول نصب شد البته ازش بک آپ داشتم به خیر گذشت اگه نداشتم هم چیزی نمیشد چون دیتابیس سالم بود :دی
    اقا من هر کاری میکنم فایل جنرال تمپلیت نیست تو وردپرسم اما وقتی وردپرس چهار رو دانلود میکنم تو کامپیوترم اینا رو داره وردپرس سایتم هم چهار است هاست دایرکت ادمین دارم معلوم نیست مشکل چیه به پشتیبانی هاست هم گفتم میگه که فایل مخفی غیر ممکنه تو دایرکت ادمین باشه

    • حسین شفیعیان می‌گه:

      والا نمی دونم قضیه چیه ! شاید درست نمیگردی !
      با اسکریپت های فایل منیجر هاست تست کن شاید پیدا شد

  • اقا هوار کمک می‌گه:

    آقا فایل ربات تکست خودتون مشکل داره
    به جای آدرس سایتتون نوشتید
    Sitemap: http://www.yoursite.ir/sitemap.xml
    درستش کنید یکم رتبه تون بیاد بالا
    ممنون

  • dload می‌گه:

    سلام
    من این robots.txt کامل وردپرس رو که شما گذاشتید رو درست کردم و آپلود کردم و تازه سایتم رو به گوگل معرفی کردم.sitemap.xml رو هم به گوگل معرفی کردم ، بعد از چند دقیقه زد 37 لینک submitted اما در کنار همین زده 37 warnings . و این توضیح رو داده که این هشدار به خاطر اینه : Sitemap contains urls which are blocked by robots.txt.
    آیا مشکلی وجود داره ؟

    • حسین شفیعیان می‌گه:

      بله ، مثل اینکه چند ینک در نقشه سایتتون موجوده که فایل robots.txt جلوی ایندکسش را گرفته ، به صفحات warning ها برید و لینک های خطا را ببینید و اگر اختلال را از فایل robots.txt پیدا کردید آن را پاک کنید

      • dload می‌گه:

        همه ی warning ها همون هشداری رو میدن که در بالا بهش اشاره کردم ! جالب اینجاست که فایل robots رو حذف کردم و sitemap رو دوباره به گوگل وبمستر دادم ، ولی همچنان همین ارور رو میده ! هنوز نتونستم حلش کنم . 🙁 البته جالب اینجاست که پست ها و تگ هام submit شدن . دو تا تگ رو خودم توی گوگل سرچ کردم که دیدم توی وبمستر دو تا ایندکس هم زده شده ! اما هشدار همچنان پابرجاست.
        البته یه مشکلی هم درمورد سرچ وجود داره..اینکه وقتی عنوان یکی از پستهام رو سرچ می کنم ، عنوان پست های دیگه و یا عنوان کتگوری ها رو نشون میده و عنوان اصلی چیزی رو که سرچ کردم توی قسمت توضیحات بهش اشاره میکنه.یه جورایی سرچ لینک های سایتم هم بهم ریخته به نظر میرسه !

  • uploader333 می‌گه:

    من تازه با سایت شما از طریق یک فروم آشنا شدم.. فوق العاده ( فوق العاده) مطالب شما برای آدم های غیر حرفه ای مثل من مفیده.. انصافا” خیلی زحمت می کشید…. دستتون درد نکنه

  • uploader333 می‌گه:

    دوست عزیز این دو تا خط
    #######################################################
    حتما” باید توی robot.txt باشه؟

    • حسین شفیعیان می‌گه:

      نه اجباری به وجود این خط نیست و فقط برای جدا کردن دو قسمت استفاده شده

  • uploader333 می‌گه:

    دوست عزیز من یک سوال هم در مورد سیستم cloudflare دارم.. من دو هفته پیش سایت یک حمله ddos بزرگ داشت.. که نزدیک دو روز سایتم down شد بعد هاستینگ به من گفت بهتره از سیستم cloudflare استفاده کنم.. ولی وقتی اون سیستم را فعال می کردم کلی error log می گرفتم… مخصوصا” ارورهای 507 که نشون می داد بین هاست و سورهای کلوفلر مشکل وجود داره… همزمان نقشه سایت هم از کار می افتاد .البته نقشه سایت را قبلا” ساخته بودم و تو گوگل وب مستر هم ثبت کرده بودم…. به محض این که سیستم کلود فلر را غیر غعال می کردم.. تمام ارور ها از بین می رفت.. این مشکل می تونسته به خاطر نداشتن فایل robot.txt باشه؟…. چون من تا الان فایل robot.txt نساختم برای سایت.

    • حسین شفیعیان می‌گه:

      ببینید هیچ کدام از هاستینگ ها سیستم cloudflare واقعی ندارند ، فقط یک هاستینک در ابران این سیستم را داره که فعلا متاسفانه اسمش یادم نیست
      نخیر هیچ ربطی به robots.txt نداره
      لطفا سوالات و مشکلات خود را در انجمن مطرح کنید

  • uploader333 می‌گه:

    دوست عزیز من یک سوال دیگه هم دارم وقتی ما نقشه سایت را می زاریم تو فایل robots.txt ( طبق همین کدهایی که بالا دادید) بعد از اون وقتی مطلب جدید توی سایت منتشر می کنیم تو گوگل وب مستر ایندکس می شن؟ این خیلی مهمه همه مطالب تو نتایج گوگل نشون داده بشه

  • hadiesmaili85@gmail.com می‌گه:

    سلام آقای برنامه نویس یه سوال دارم اونم اینکه آیا کل آموزش robots.txt همش همین بود؟؟؟!!!

  • محمد می‌گه:

    سلام آقای شفیعیان
    من در سایم از روبوت استفاده کردم و خودم نوشتم اما نمیدونم درست نوشتم یا نه
    میشه کمک کنید
    User-agent:*
    Allow:/
    Sitemap:http://www.modiragahi.com/sitemap.xml

  • سعید می‌گه:

    سلام ممنون از مطالب مفیدتون
    میگم این فایل روبات بیشتر اطلاعات سایت مارو راحت به هکر ها تقدیم می کند مثلا من که چیز خواصی از هکینگ نمیدونم همین سایت آقای برنامه نویس رو با فایل روباتش فهمیدم که ۱- از ورد پرس استفاده می کنه ۲- صفحه لوگینش آینه http://mrprogrammer.net/wp-login.php
    ۳- پنل مدیریتش http://mrprogrammer.net:2082
    ۴- و چیزهای دیگه در مورد سرور سایت .
    حالا سوال من از استاد گرامی این که آیا سعو سایت به امنیت می چربه یا نه و آیا این موارد از نظر امنیتی مهم است یا بی اهمیتند و لطفا توضیح بدهید تا متوجه بشم اگر اشتباه می کنم با تشکر از آقای برنامه نویس.

    • حسین شفیعیان می‌گه:

      درود
      1- از هزار جای دیگه میشه تشخیص داد من وردپرس استفاده میکنم
      2-سایت من عضو میگیره و کاربرا توش لاگین میشن پس نمیتونم صفحه لاگین رو مخفی کنم
      3-پورت سی پنل رو شرکت هاستینگ من تعیین میکنه و حتی اگه عوضش کنم در هر صورت با nmap میشه پورت جدید رو پیدا کرد !
      4- این اطلاعات هم ربطی به فایل روبوت نداره

      اتفاقا در امنیت تاثیر مثبت داره
      این اطلاعات رو شما بدون روبوت هم میتونید ببینید ، من اگر میخواستم میتونستم اینها رو مخفی کنم !!!
      خیلی از هکر ها از دورک استفاده میکنن برای پیدا کردن آسیب در سایت ها ، این فایل جلوی این روش رو میگیره !

      • سعید می‌گه:

        سلام
        حق با شما است ببخشید زیاده گویی کردم
        تشکر از اینکه سریع پاسخ دادید موفق باشید

  • حمید می‌گه:

    با سلام

    مشکل من اینه وقتی سایتمو تو گوگل جستجو میکنم به عنوان اولین گزینه نمایش میدهد اما زیر عبارتی نوشته که میگه robots.txt ایراد داره:
    A description for this result is not available because of this site’s robots.txt
    کد داخل این فایل هم خیلی ساده نوشتم یعنی :User-agent: *
    سایر موارد نظیر گذاشتن فایل در شاخه public_html و برداشتن تیک عدم نمایش محتوا توسط موتور جستجو هم برداشتم اما نمیدونم چرا همچین وضعیتی پیش میاد
    ادرس سایتم هم :http://mrbpm.ir/