Eine Suchmaschine aufzubauen ist schwierig.
Tausende von Programmierern weltweit tippen leise auf ihren Tastaturen und versuchen, die nächstbeste Suchmaschine zu bauen. Sergey Brin und Lawrence Page, die berühmten Schöpfer von Google, geben zu, dass "die Entwicklung einer Suchmaschine eine anspruchsvolle Aufgabe ist". Eine Suchmaschine wird verwendet, um Informationen im Web zu finden. Eine Suchmaschine durchsucht das Internet, indiziert Millionen von Informationsseiten und gibt Ergebnisse aus, wenn jemand eine Suche durchführt.
Holen Sie sich einen Web-Crawler
Schritt 1
Erwerben Sie einen Webcrawler, bei dem es sich um den Spider oder Bot handelt, der das Internet durchsucht und Seiten aus dem Web sammelt. Ein Spider besucht Webseiten, liest sie und folgt Links zu anderen Seiten. Sie können einen Open-Source-Crawler finden oder Ihren eigenen erstellen. Wenn Sie Ihren eigenen Crawler erstellen möchten, rufen Sie eine Liste mit URLs ab, mit denen Ihr Crawler geseedet werden kann. Ein langsamer Crawler ist einfach zu erstellen, aber der Aufbau eines Hochleistungs-Crawlers zum Indexieren von Millionen und Abermillionen von Seiten ist eine größere Herausforderung.
Video des Tages
Schritt 2
Holen Sie sich so viel Bandbreite, wie Sie sich leisten können. Sie benötigen diese Bandbreite für Ihren Crawler, während er durch das Web reist, um Seiten zu erhalten.
Schritt 3
Erstellen Sie einen Index. Alles, was Ihr Crawler findet, geht in den Suchmaschinenindex. Der Index ist wie ein riesiges Buch oder Katalog, der eine Kopie jeder Webseite enthält, die der Crawler findet. Anna Patterson von der Stanford University empfiehlt, nur die Daten zu indizieren, die Sie für Ihre Art von Suchergebnissen benötigen. Sie rät auch, nicht zu versuchen, "die Küchenspüle" zu indizieren, sondern "etwas Vorzeigbares heraufzubeschwören".
Schritt 4
Ihr Index enthält alle Informationen, die Ihr Webcrawler gefunden hat.
Ordnen Sie Ihre Ergebnisse auf dem Index mit einer Hochleistungsdatenbank und allen Informationen auf Ihren Servern aus Ihrem Web-Crawling. Sie müssen möglicherweise Millionen von Webseiten verarbeiten, um Ihren Index zu erstellen. Die in Ihrem Index erfassten Seiten müssen nach der für Ihre Suchenden am relevantesten geordneten Reihenfolge geordnet werden.
Schritt 5
Erstellen Sie eine attraktive Website, um Suchergebnisse zurückzugeben.
Schritt 6
Starten und vermarkten Sie Ihre Suchmaschine. Laut Laszlo Xalieri von Search Engine Watch.com soll eine kostenlose Suchmaschine die Nutzer schnell und elegant dorthin bringen, wo sie hin wollen. Er sagt, um eine erfolgreiche Suchmaschine zu betreiben, "ist Ihr Ziel, Verbraucher anzuziehen und den Zugang zu ihnen an Vermarkter zu verkaufen."
Dinge, die du brauchen wirst
Eine Website
Ein Webcrawler
Eine leistungsstarke Datenbank zur Indexierung all Ihrer Inhalte
Viel Bandbreite zum Crawlen des Webs
Server zum Speichern von Informationen
Ein Ph.D. in Informatik oder Mathematik (oder ein Berater mit gleichem)
Warnung
Jeder Programmierer kann eine Suchmaschine starten, aber die Bereitstellung relevanter Ergebnisse ist die eigentliche Herausforderung.
