"هر منبعی که در HTML به آن ارجاع داده شود، از جمله تصاویر، ویدیوها، فایل های CSS و جاواسکریپت به صورت جداگانه بررسی می شوند. بعد از دریافت و بررسی 15 مگابایت ابتدایی فایل HTML، ربات گوگل خزش را متوقف کرده و 15 مگابایت ابتدایی فایل را برای ایندکس استفاده می کند.
این حجم برای داده ها در حالت غیرفشرده (uncompressed data) اعمال می شود".

ربات گوگل تنها از 15 مگابایت ابتدایی HTML یک صفحه برای ایندکس و ربته بندی آن در صفحه نتایج جستجو استفاده می کند.

خزنده گوگل 15 مگابایت ابتدایی HTML را ایندکس می کند