

Arhitectura unui robot web pentru motoarele de căutare

Diagrama unui motor de căutare
Un motor de căutare operează în următoarea ordine:
Principalele avantaje ale analizei fişerelor de logare faţă de etichetarea paginii sunt:
IP targetat (IP delivery) poate fi considerată o metodă mai blândă de cloacking, în care diferite conţinuturi sunt livrate în funcţie de adresele IP ale solicitărilor. În cazul cloacking, motoarele de căutare şi vizitatorii nu văd niciodată aceleaşi pagini în timp ce, în cazul livrării în funcţie de IP, atât motoarele de căutare cât şi vizitatorii pot vedea aceeaşi pagină. Această tehnică se foloseşte uneori pe siturile cu foarte multă grafică unde roboţii motoarelor de căutare au prea puţin text în conţinut pentru a putea face o analiză.