صفحه اصلی / موتور جستجو / خزنده های موتورهای جستجو

خزنده های موتورهای جستجو

خزنده ها چه هستند؟ چگونه کار می کنند؟ 

خزنده های موتورهای جستجو  به برنامه هایی اشاره دارند که موتورهای جستجو از آن ها برای اسکن و تحلیل وب سایت ها به منظور تعیین اهمیت آن ها و در نتیجه نتایج جستجوهای اینترنتی برای کلمات کلیدی مشخص استفاده می کنند. خزنده ها اغلب به عنوان روبات ها یا عنکبوت ها مراجعه می کنند.
خزنده های موتورهای جستجو یا crawler خیلی فعال هستند و اغلب به عنوان یک معامله بزرگ از بازدیدکنندگان سراسر اینترنت به حساب می آیند. به خصوص خزنده ی گوگل که با عنوان Googlebot شناخته شده بسیار فعال است و اغلب یک وب سایت را در طول روز چندین بار بازدید می کند و برای آپدیت ها یا اطلاعات جدید چک می کند. مطالعات نشان می دهد که Googlebot بسیار فعال تر از خزنده های موتورهای جستجو دیگر می باشد ، بهترین خزنده ی فعال بعد از Googlebot ، خزنده ی یاهو است که حدود نیمی از فعالیت Googlebot را دارد.
جدول زیر لیستی از  نام و اطلاعاتgoogle crawler است که شما ممکن است در صفحه ورود خود آنها را مشاهده کنید و همچنین حاوی طریقی است که باید در فایل robot.txt؛تگ متای robotsو دستورالعمل های http تگ X-Robots شناسانده شوند.

خزنده های موتورهای جستجو

خزنده ها به دنبال سایت هایی که مملو از کلمات کلیدی که افراد به دنبال آن ها هستند و سایت هایی که حاوی آن کلمات کلیدی با چگالی بالا  هستند و در نتیجه به آن ها رتبه بندی بالا را پاداش می دهند. با این حال خزنده ها اطلاعات مهم دیگر در مورد تعیین رتبه بندی شامل اطلاعات فراوانی لینک ها و ساختار نام فایل ها جمع آوری می کنند.
برخی از انواع بازاریابی های موتورهای جستجو فریب دادن عمدی خزنده های موتورهای جستجو با هدف این که خزنده ها اینگونه فکر کنند که سایت مهم تر از آن چیزی است که واقعا هست. این روش ها به عنوان تکنیک های کلاه سیاه شناخته شده اند و توسط اکثر بهینه سازها اخم شده اند به همین دلیل پنالتی ها بوجود می آید. انواع ابزارهای سئو برای کمک به شما در جهت فهم خزنده ها و نحوه ی کارشان وجود دارد. ابزار کلمه کلیدی گوگل یک جای خوب برای شروع است.

انواع ربات های گوگل:

ربات   گوگل robots.txt :

درمواردی که چندین شناسه در فایل robot.txt شناسانده شده است؛ گوگل بسیار دقیق عمل می کند.اگر شما می خواهید همه ی ربات های گوگل قادر به دسترسی به سایت شماباشند دیگر نیازی به فایل robots.txt ندارید.اگر شما می خواهید دسترسی همه ی ربا ت های گوگل به برخی از اطلاعات خود را مسدود کنید و یا فقط اجازه ی دسترسی همه ی ربا ت ها به برخی از مطالب سایت خود را بدهید می توانید Googlebot را به عنوان شنا سه کاربری تعیین کنید.برای مثال اگر شما می خواهید همه ی صفحات وب سایت تان در صفحه ی نمایش نتایج گوگل پدیدار شوند و تبلیغات AdSense روی صفحات تان باشد دیگر نیازی به فایل robot.txt ندارید. و به طور متشابه اگر می خواهید دسترسی جمیع ربات های گوگل به برخی از صفحات سایت خود را مسدود کنید با مسدود کردن دسترسی booglebot؛ دسترسی بقیه ی ربات ها نیز مسدود می شود.

اگر بخواهید کنترل ریز بینانه تری داشته باشید؛ می توانید کمی دقیق تر عمل کنید.برای مثال شما ممکن است بخواهید به همه صفحات سایتتان به جزتصاویر دایرکتوری شخصی شما دسترسی وجود داشته باشد؛در اینصورت از robots.txt به منظور disallow کردن ربات Googlebot-image استفاده کنید؛ این در صورتی است که Googlebot اجازه دسترسی به اطلاعات شمارا دارد.همانند فرم زیر:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

در مثال بعد شما می خواهید که تبلیغات در همه ی صفحات شما باشد؛ اما این صفحات در جستجوی گوگل ظاهر نباشند؛ در اینصورت می بایست دسترسی ربات googlebot را مسدود کرده ولی به ربات Mediapartners-Google اجازه دسترسی دهید.همانند فر زیر:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

ربات گوگل   robots meta tag :

در برخی از صفحات از تگ متای ربات های متعدد برای تعیین دایرکتیوری ها برای ربات ها ی خزنده گوگل استفاده می شود؛ برای مثال:

 <meta name=”robots” content=”nofollow”><meta name=”googlebot” content=”noindex”>

در این حالت گوگل از همه ی directive های منفی استفاده می کند و googlebot همه ی دایرکتیو های nofollow و nonindex را در نظر می گیرد.

منبع:            http://webmaster.websima.com                            http://inten.asia

درباره ammarlu

این مطالب را نیز ببینید!

گوگل ادوردز چیست؟

گوگل ادوردز چیست؟

حتماً تا حالا در صفحه های نتایج جست‌جوی گوگل دیده اید که در بالای نتایج، …

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *