Doi studenţi de la Stanford University, Larry Page şi Sergey Brin, au început să dezvolte "backrub," un motor de căutare bazat pe un algoritm matematic pentru a evalua importanţa paginilor.
Un robot web (Web crawler, Web spider, Web robot, sau, în comunitatea FOAF, Web scutter) este un program sau script automat care scrutează World Wide Web metodic, automat.