صفحه اصلی / موتور جستجو / تفاوت کراولرها و اسپایدرها

تفاوت کراولرها و اسپایدرها

تفاوت کراولرها و اسپایدرها در موتورهای جستجو چیست؟

در این مقاله به تفاوت کراولرها و اسپایدرها می پردازیم . اسپایدر که به معنای عنکبوت است خزنده ای می باشد که همان کارهای کاربران اینترنت را انجام می دهد و چون انسان نیست از آن به ربات تعبیر میشود.اسپایدرها وظایف متفاوتی را دنبال می کنند. مثلا یک اسپایدر فقط بررسی می کند که آیا یک صفحه فعال است یا خیر همین و کار دیگری انجام نمی دهد
یک اسپایدر وظیفه اش انتقال کل صفحه به سرور  مربوطه است و یک اسپایدر فقط با عکس ها سروکار دارد (مثل googlimage)
اسپایدری هم داریم که هر سه تا شش ماه به یک صفحه مراجعه می کند تا بررسی های مربوط به انجام  تقلبات Sneaky Java redirects Cloaking Doorway pages را انجام دهد و بالاخره اسپایدری هم تنها وظیفه اش دنبال کردن لینک ها و ثبت هدر مربوطه است تا اینجا با اسپایدر آشنا شدید نوشتن یک اسپایدر برای یک برنامه نویس سطح پایین هم کاری سهل و ساده است
کراولرها چیست؟
موتورجستجوگر شامل سه بخش است:
۱- کراولر
۲- ایندکسر
۳- نمایش( و در گوگل سیستم رتبه بندی پیشرفته را هم  به عنوان یک بخش مجزا داریم )
علی الظاهر ساده ترین قسمت یک موتورجستجوگر کراولر است اما در عین حال تاج موتورجستجوگر هم هست (همانطور که ساخت یک تاج آسان است اما همیشه تاج تاج است)
اما کراولرها اگر با وب مستر گوگل کار کرده باشید با عباراتی مثل Crawl rate، Crawl Errors، Crawl Stats برخورد کرده اید به طور خلاصه crawl عملیات پویش یک سایت توسط موتورجستجوگر را می گویند. crawler قسمت مدیریت crawl یک موتورجستجوگر است که الگوریتم نسبتا پیچیده ای دارد و هدایت اسپایدرها تنها بخش کوچکی از این الگوریتم پیچیده است.

در وبمستر گوگل شما می توانید تنظیماتی بر روی نحوه کار کراولرو فقط برای سایت خودتان انجام بدهید و خطاها و آمار کراول سایت خودتان را نیز ببینید
این کراولر است که تعین می کند چند سرور وظیفه کراون  یک سایت را انجام دهند و هر سرور با چند خزنده
این کراولر است که سرعت هاست سایت شما از مجموع فعالیت های اسپایدرهایش محاسبه می کند
کراولر در طراحی بر عکس قسمت view به هوش مصنوعی متکی نیست بلکه کاملا متکی به آمار و ارقام است
مثلا اگر به یک سایت اسپمر برخورد کند نمی تواند اسپم بودن سایت را تشخیص دهد و تنها ظرف چند روز ممکن است صدها اسپایدر را مامور کراون آن کند  تا وقتیکه ایندکسر آن سایت را برای کراونر اسپم اعلام کند که بعد از آن تنها اسپایدر های بررسی فعال بودن صفحات به این سایت سرکشی می کند
کراولر طوری طراحی شدهاست که کمترین تعامل را با دیتابیس داشته باشد
جالب است که مثلا اگر کاری کنید که  کراولر msn سایت شما را بزرگ تشخیص دهد با این کراولر هزاران اسپایدر به سایت شما سرازیر می کند طوریکه هاست تان را دچار مشکل می کند
بزرگترین کمک های کراولر به یک موتور جستجوگر (مخصوصا گوگل )
۱- جمع آوری اطلاعات آماری و محتوایی از یک سایت
۲- تشخیص منطقه کاری سایت
۳- محاسبه سرعت هاستینگ سایت
۴- تعامل یک سایت با سایتهای دیگر

منبع: http://seo.parsiblog.com

درباره ammarlu

این مطالب را نیز ببینید!

موتورهای جستجوی امن برای بچه ها

موتورهای جستجوی امن برای بچه ها

موتورهای جستجوی امن برای بچه ها این روزها می توانید بگویید که فرزندان ما اطلاعات …

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *