ওয়েব ক্রলিং ( Web Crawling ) কি?

যখন আপনি গুগলে সার্চ করছেন, তখন প্রতিবারই গুগল আপনাকে ফলাফল দেখাচ্ছে।  কিন্তু ফলাফল আপনাকে দেখানোর আগে অবশ্যই গুগলকে নিজে ফলাফল বের করতে হচ্ছে। গুগলবট নামে গুগলের একটি ওয়েব ক্রলার আছে, যার কাজ হচ্ছে ওয়ার্ল্ড ওয়াইড ওয়েবের মাধ্যমে বিশ্বের সব ধরনের ওয়েবপেজ ভিজিট করা। গুগলবট যখন একটি পেজ সংগ্রহ করে তখন এই পেজে পাওয়া লিংকগুলো তার ক্রলিং তালিকায় যোগ হয়। এই পদ্ধতিতে একই লিংক অসংখ্যবার আসে, কিন্তু গুগলবট সেগুলোকে বাদ দিয়ে একটি তালিকা তৈরি করে যাতে সবচেয়ে কম সময়ে পুরো ওয়েবকে কভার করা সম্ভব। এটিই মূলত ওয়েব ক্রলিং  ( Web Crawling ) ।