Construirea unui motor de căutare este dificilă.
Mii de programatori din întreaga lume ating în liniște tastaturile lor încercând să creeze următorul cel mai bun motor de căutare. Sergey Brin și Lawrence Page, celebrii creatori ai Google, recunosc că „proiectarea unui motor de căutare este o sarcină provocatoare”. Un motor de căutare este utilizat pentru a găsi informații pe Web. Un motor accesează cu crawlere Internetul și indexează milioane de pagini de informații, scuipând rezultate atunci când cineva efectuează o căutare.
Obțineți un crawler web
Pasul 1
Achiziționați un crawler web, care este păianjenul sau robotul care se accesează cu crawlere pe Internet, colectând pagini de pe Web. Un păianjen vizitează pagini web, le citește și urmărește link-uri către alte pagini. Puteți găsi un crawler cu sursă deschisă sau puteți să vă creați al dvs. Dacă doriți să vă creați propriul crawler, obțineți o listă de adrese URL cu care să vă generați crawlerul. Un crawler lent este ușor de construit, dar construirea unui crawler de înaltă performanță pentru a indexa milioane și milioane de pagini este mai dificilă.
Videoclipul zilei
Pasul 2
Obțineți cât de multă lățime de bandă vă puteți permite. Aveți nevoie de această lățime de bandă pentru crawler-ul dvs., pe măsură ce se deplasează pe Web pentru a obține pagini.
Pasul 3
Construiește un index. Tot ceea ce găsește crawler-ul tău intră în indexul motorului de căutare. Indexul este ca o carte uriașă sau un catalog care conține o copie a fiecărei pagini Web pe care o găsește crawler-ul. Anna Patterson de la Universitatea Stanford recomandă indexarea numai a datelor de care aveți nevoie pentru a vă afișa rezultatele căutării. De asemenea, ea vă sfătuiește să nu încercați să indexați „chiuveta din bucătărie”, ci mai degrabă „să obțineți ceva prezentabil”.
Pasul 4
Indexul dvs. conține toate informațiile găsite de crawler-ul dvs. web.
Clasați-vă rezultatele pe index folosind o bază de date de înaltă performanță și toate informațiile de pe serverele dvs. din accesarea cu crawlere pe Web. Trebuie să procesați, eventual, milioane de pagini Web pentru a vă crea indexul. Paginile înregistrate în indexul dvs. trebuie să fie clasate în ordinea a ceea ce este cel mai relevant pentru utilizatorii dvs. de căutare.
Pasul 5
Creați un site web atractiv pentru a returna rezultatele căutării.
Pasul 6
Lansați și comercializați motorul dvs. de căutare. Un motor de căutare gratuit ar trebui să ducă utilizatorii acolo unde doresc să meargă rapid și elegant, potrivit lui Laszlo Xalieri de la Search Engine Watch.com. El spune că pentru a rula un motor de căutare de succes, „obiectivul tău este să atragi consumatori și să vinzi accesul la aceștia către agenții de marketing”.
Lucruri de care veți avea nevoie
Un site web
Un crawler web
O bază de date de înaltă performanță pentru indexarea întregului conținut
O mare lățime de bandă pentru accesarea cu crawlere pe Web
Servere pentru stocarea informațiilor
un doctorat. în informatică sau matematică (sau un consultant cu același lucru)
Avertizare
Orice programator poate porni un motor de căutare, dar furnizarea de rezultate relevante este adevărata provocare.
