গুগুল কিভাবে সকল তথ্য সংগ্রহ করে থাকে...?

গুগল যেভাবে কাজ করে –

গুগল আসলে বিভিন্ন অ্যালগরিদমের মাধ্যমে সমস্ত ডাটা সংরক্ষিত রাখে। ওয়েব জগতে অ্যালগরিদম হচ্ছে এমন এক প্রক্রিয়া যার মাধ্যমে পৃথিবীর সমস্ত ওয়েবসাইটের তথ্য সমূহের কি-ওয়ার্ড র‍্যাংক করানো হয়। গুগল সাধারণত ১টি সার্চের তথ্য দেখানোর জন্য ৩টি প্রক্রিয়া অবলম্বন করে থাকে-   

• ওয়েব ক্রলিং - Web Crawling )

• ইনডেক্সিং - Indexing )

• সার্চিং  - Searching )

এখন আমরা তথ্য সরবরাহের এই ৩টি প্রক্রিয়া সম্পর্কে কিছুটা জানার চেষ্টা করবো –

১. ওয়েব ক্রলিং - Web Crawling )

একজন স্যারের যেমন ছাত্রকে কোন অংক করানোর আগে তার নিজের সেই অংকটি এবং তার ফলাফল জানা লাগে তেমনি গুগলেরও আমাদেরকে কোন তথ্য দেখানোর আগে তার সেই তথ্যটি নিজের জানা লাগে।  যখন আপনি গুগলে সার্চ করছেন, তখন প্রতিবারই গুগল আপনাকে কোন না কোন ফলাফল দেখাচ্ছে।  কিন্তু ফলাফল আপনাকে দেখানোর আগে অবশ্যই গুগলকে নিজেরও ফলাফল বের করতে হচ্ছে। আর গুগল তার নিজের ফলাফল বের করার জন্য গুগলবট ব্যবহার করে।  গুগলবট নামে গুগলের একটি ওয়েব ক্রলার আছে, যার কাজ হচ্ছে ওয়ার্ল্ড ওয়াইড ওয়েবের মাধ্যমে বিশ্বের সব ধরনের ওয়েবপেজ খুব দ্রুত ভিজিট করা। গুগলবট যখন একটি পেজ সংগ্রহ করে তখন এই পেজে পাওয়া লিংকগুলো তার ক্রলিং তালিকায় যোগ করে দেয়। এই পদ্ধতিতে একই লিংক অসংখ্যবার আসে, কিন্তু গুগলবট সেগুলোকে বাদ দিয়ে একটি তালিকা তৈরি করে যাতে সবচেয়ে কম সময়ে পুরো ওয়েবকে কভার করা সম্ভব। এটিই মূলত ওয়েব ক্রলিং সিস্টেম।

২. ইনডেক্সিং - Indexing )

বিশ্বজুড়ে প্রতিনিয়ত কোটি কোটি ওয়েবসাইট বানানো হচ্ছে আর সেটা পাবলিশ করা হচ্ছে সেই সাথে সে সব ওয়েবসাইটে নিত্য নতুন তথ্য সংযুক্ত হতে থাকে প্রতিনিয়ত। তার সাথে গুগল বট ও প্রতিনিয়ত ক্রলিং করতেই থাকে এসব তথ্য তার নিজের কাছে রাখার জন্য। একটা নির্দিষ্ট পেইজ ক্রলিং করা শেষ হলে সেই তথ্য গুগলের সার্ভারে ইনডেক্স করা হয়। ইনডেক্স এ শব্দ আর URL এরতালিকা থাকে। গুগল বট যখন একটা পেইজ কে ক্রল করে তখন সেই পেইজের প্রতিটাশব্দকে সে আয়ত্ত করে। কোন শব্দ কতবার ব্যবহার করা হয়েছে এই সমস্ত কিছু সে নোট করে রাখে। এভাবেই সে একটা ইনডেক্স তৈরী করে।

৩. সার্চিং   - Searching )

যখনই আপনি গুগলে কোন কিছু অনুসন্ধান করেন তখন গুগল কয়েক ন্যানো সেকেন্ড এর মাঝেই সেই অনুসন্ধান অনুযায়ীগুগলবটের সংগ্রহ করা তালিকা থেকে তথ্য নিয়ে সার্চের ফলাফলে প্রকাশ করে। সেই ফলাফল গুলোই আমারা তখন চোখের সামনে লিস্ট আকারে দেখতে পাই। তারপর পছন্দমতো লিংকে প্রবেষ করি আমরা আমাদের প্রয়োজনীয় তথ্যাবলির জন্য।

তথ্যসুত্রঃ সপ্নঘুরি