1 Answers
এর কারণ হল সার্চ ইঞ্জিনগুলো তাদের সার্চ তদারকি করে এক ধরনের ভার্চুয়াল রোবট তথা Crawler দিয়ে। এই Crawler গুলো ওয়েবসাইটের HTML tag দেখে ওয়েবসাইটগুলোকে লিপিবদ্ধ করে।তাছাড়া কিছু কিছু সাইট থেকে সার্চ ইঞ্জিনে লিপিবদ্ধ হওয়ার জন্য রিকোয়েস্ট যায়। এখন যে সমস্ত সাইট এডমিন চান না যে তাদের সাইটটি সার্চ ইঞ্জিন খুঁজে না পাক, তারা Robot Exclusion Protocol ব্যবহার করেন যা Crawler গুলোকে সাইটগুলো খুঁজে পাওয়া বা লিপিবদ্ধ করা থেকে বিরত রাখে। কিছু সাইট আছে ডাইনামিক অর্থাৎ নির্দিষ্ট কিছু শর্ত পূরণ সাপেক্ষে এই ধরণের সাইটের অস্তিত্ব খুঁজে পাওয়া সম্ভব, আর Crawler এর পক্ষে এই সব করা সম্ভব হয় না। কিছু সাইট আছে যেগুলোতে অন্য সাইট থেকে লিংক নেই। এগুলো বিচ্ছিন্ন সাইট, এগুলোও সার্চে আসে না। তাছাড়া বলতে গেলে সার্চ ইঞ্জিন টেকনোলজি এখনো তার আঁতুড় ঘর ছাড়তে পারে নি। সার্চ ইঞ্জিনগুলো Text বাদে অন্য ফরম্যাটে থাকা(যেমন ফ্ল্যাশ ফরম্যাট) ওয়েবপ্যাজ খুঁজে পায় না! এই ডীপ ওয়েবে থাকা তথ্যগুলো সারফেস ওয়েবের তথ্য থেকে মানে গুনে এগিয়ে। এগুলো খুবই সুসজ্জিত এবং প্রাসঙ্গিক।