
Arhitectura unui robot web pentru motoarele de căutare

Diagrama unui motor de căutare
Un motor de căutare operează în următoarea ordine:
IP targetat (IP delivery) poate fi considerată o metodă mai blândă de cloacking, în care diferite conţinuturi sunt livrate în funcţie de adresele IP ale solicitărilor. În cazul cloacking, motoarele de căutare şi vizitatorii nu văd niciodată aceleaşi pagini în timp ce, în cazul livrării în funcţie de IP, atât motoarele de căutare cât şi vizitatorii pot vedea aceeaşi pagină. Această tehnică se foloseşte uneori pe siturile cu foarte multă grafică unde roboţii motoarelor de căutare au prea puţin text în conţinut pentru a putea face o analiză.
Doi studenţi de la Stanford University, Larry Page şi Sergey Brin, au început să dezvolte "backrub," un motor de căutare bazat pe un algoritm matematic pentru a evalua importanţa paginilor.