Construire un moteur de recherche est difficile.
Des milliers de programmeurs dans le monde entier tapent tranquillement sur leurs claviers pour essayer de créer le prochain meilleur moteur de recherche. Sergey Brin et Lawrence Page, les célèbres créateurs de Google, admettent que "la conception d'un moteur de recherche est une tâche difficile". Un moteur de recherche est utilisé pour trouver des informations sur le Web. Un moteur parcourt Internet et indexe des millions de pages d'informations, crachant des résultats lorsque quelqu'un effectue une recherche.
Obtenez un robot d'exploration Web
Étape 1
Acquérir un robot d'exploration Web, qui est l'araignée ou le bot qui parcourt Internet en collectant des pages du Web. Une araignée visite des pages Web, les lit et suit des liens vers d'autres pages. Vous pouvez trouver un robot d'exploration open source ou créer le vôtre. Si vous souhaitez créer votre propre robot d'exploration, obtenez une liste d'URL avec lesquelles semer votre robot d'exploration. Un robot d'exploration lent est facile à créer, mais créer un robot d'exploration hautes performances pour indexer des millions et des millions de pages est plus difficile.
Vidéo du jour
Étape 2
Obtenez autant de bande passante que vous pouvez vous le permettre. Vous avez besoin de cette bande passante pour votre robot d'exploration lorsqu'il parcourt le Web pour obtenir des pages.
Étape 3
Construire un index. Tout ce que votre robot trouve va dans l'index du moteur de recherche. L'index est comme un livre ou un catalogue géant contenant une copie de chaque page Web trouvée par le robot. Anna Patterson de l'Université de Stanford recommande d'indexer uniquement les données dont vous avez besoin pour servir votre type de résultats de recherche. Elle conseille également de ne pas essayer d'indexer « l'évier de la cuisine » mais plutôt de « produire quelque chose de présentable ».
Étape 4
Votre index contient toutes les informations trouvées par votre robot d'indexation Web.
Classez vos résultats sur l'index à l'aide d'une base de données performante et de toutes les informations sur vos serveurs issues de votre crawl Web. Vous devez traiter éventuellement des millions de pages Web pour créer votre index. Les pages enregistrées dans votre index doivent être classées dans l'ordre de ce qui est le plus pertinent pour vos chercheurs.
Étape 5
Créez un site Web attrayant pour renvoyer les résultats de la recherche.
Étape 6
Lancez et commercialisez votre moteur de recherche. Un moteur de recherche gratuit devrait emmener les utilisateurs là où ils veulent aller rapidement et avec élégance, selon Laszlo Xalieri de Search Engine Watch.com. Il dit que pour faire fonctionner un moteur de recherche efficace, "votre objectif est d'attirer les consommateurs et de vendre l'accès à eux aux spécialistes du marketing".
Choses dont vous aurez besoin
Un site Web
Un robot d'exploration Web
Une base de données performante pour indexer tous vos contenus
Beaucoup de bande passante pour explorer le Web
Serveurs de stockage d'informations
Un doctorat en informatique ou en mathématiques (ou un consultant avec le même)
Avertissement
N'importe quel programmeur peut démarrer un moteur de recherche, mais fournir des résultats pertinents est le véritable défi.
