Doi studenţi de la Stanford University, Larry Page şi Sergey Brin, au început să dezvolte "backrub," un motor de căutare bazat pe un algoritm matematic pentru a evalua importanţa paginilor.
Un robot web (Web crawler, Web spider, Web robot, sau, în comunitatea FOAF, Web scutter) este un program sau script automat care scrutează World Wide Web metodic, automat.
Webmasterii şi furnizorii de conţinut au început să optimizeze siturile pentru motoarele de căutare pe la mijlocul anilor 1990, când primul motor de căutare a început să catalogheze webul timpuriu.
Parcarea numelor de domenii este o modalitate de reclamă folosită în primul rând de registrarii dumelor de domenii şi editorii din domeniul publicităţii pe Internet pentru a câştiga bani în urma traficului vizitatorilor numelor de domenii subdezvoltate. Numele de domenii respective duc de obicei la o pagină conţinând una sau mai multe liste de reclame relevante şi linkuri. Aceste linkuri sunt ţintite spre intersele prognozate ale vizitatorilor şi se pot schimba dinamic în funcţie de rezultatele clickurilor vizitatorilor.