@Neşeli Enginar açıklamış fakat biraz daha detaylandırayım.
Robotlar (diğer adıyla örümcekler) sitedeki yeni içerikleri gezerek, arama motorlarına raporlamaya yarar. Arama motoru da sayfada bir sakınca görmez ise, aramaya ekler. Yani aradığımızda o sayfa artık ulaşılabilir olur.
Robotlar başlığı, içeriği, içerikteki kelimeleri, anahtar kelimeleri ve görselleri raporlar. Google Görseller aramaları da bu şekilde oluşur.