Suchmaschine selber programmieren

In diesem Artikel zeige ich euch, wie ihr selber eine kleine Suchmaschine programmiert. Suchmaschine ist vielleicht etwas übertrieben. Tatsächlich geht es um einen Webcrawler, aber dieser liefert uns alle benötigten Daten für eine Suchmaschine. Einsatzgebiet solcher kleinen Suchmaschinen sind beispielsweise Webseiten die dadurch relativ schnell und einfach durchsucht werden können. Man kann einen Index erstellen oder im einfachsten Fall eine Sitemap aufbauen.

Suchmaschine selber programmieren

Was benötigen alle Suchmaschinen dringender als Menschen Luft zum Atmen? Richtig: Daten. Ohne diesen könnte keine kein Suchergebnis zurückgeliefert werden. Die Frage ist nur: Woher? Auch hier ist die Antwort einfach: aus dem Internet.

Suchmaschinen wie Google nutzen so genannte Webcrawler. Das sind einfache Computerprogramme die von Link zu Link im Internet herum navigieren und dabei die Daten der Webseiten (deren HTML Code) lesen und speichern. Gute Webcrawler bzw. gute Suchmaschinen speichern diese Daten natürlich in einer intelligenten Art und Weise, so dass man schnell zu einem Schlüsselwort alle wichtigen Links findet. Für unser kleines Beispiel verzichten wir mal darauf und speichern uns nur die Links einer HTML Seite.

Mein PHP Webcrawler

Für einen simplen Webcrawler brauchen wir folgende Dinge:

• eine Datenbank in der wir unsere Ergebnisse speichern
• eine Funktion, die uns zu einer URL den HTML Code liefert
• viel Zeit…

<?php
    $url = "http://www.developer-blog.net";

    print_r(find_all_links($url));

    function find_all_links($url)
    {
        $htmlData = file_get_contents($url);
        if(preg_match_all('/<a\s+href=["\']([^"\']+)["\']/i', $htmlData, $links, PREG_PATTERN_ORDER))
        {
            return array_unique($links[1]);
        }
        return array();
    }
?>

Download

Dieses Codebeispiel ist bereits der Kern des Webcrawlers. Die Funktion find_all_links liefert in einem Array alle Links der übergebenen URL, oder ein leeres Array, falls keine gefunden wurden. Es werden hier 2 wichtige Funktionen verwendet:

1. file_get_contents
   Diese Funktion liefert den Inhalt einer Datei als String. Das tolle an dieser Funktion ist, dass man hier auch URLs übergeben kann.
2. preg_match_all
   Mit dieser Funktion kann ein String gegenüber eines Regulären Ausdrucks (kurz Regex) getestet werden. Nähere Informationen zu Regulären Ausdrücken kann man im Internet finden. In diesem Fall definieren wir einen Ausdruck, der alle <a href> Tags des HTML Codes findet. Die Ergebnisse werden uns im 3. Parameter zurückgegeben.

Nachdem wir nun die Links bekommen haben, müssen wir sie natürlich auch irgendwo speichern. Zu diesem Zweck erstellen wir eine MySQL Datenbank und erzeugen uns eine einfache Tabelle:

CREATE TABLE `links` (
    `link` varchar(255) NOT NULL,
    `id` int(10) unsigned NOT NULL auto_increment,
    PRIMARY KEY (`id`),
    UNIQUE KEY `link` (`link`)
) ENGINE=MyISAM CHARSET=utf8

Download

Jetzt erweitern wir noch unseren Webcrawler um eine Datenbankanbindung. Danach werden alle Links brav in der Tabelle gespeichert.

<?php
    $url = "http://www.developer-blog.net";

    $mysqli = new mysqli("127.0.0.1", "root", "","test");
    if($mysqli->connect_error){
       echo "unable to connect to Database: ".mysqli_connect_error()."\n";
       exit();
    }

    $links = find_all_links($url);
    links_to_db($links, $mysqli);

    function find_all_links($url)
    {
        $htmlData = file_get_contents($url);
        if(preg_match_all('/<a\s+href=["\']([^"\']+)["\']/i', $htmlData, $links, PREG_PATTERN_ORDER))
        {
            return array_unique($links[1]);
        }
        return null;
    }

    function links_to_db($links, $mysql)
    {
        //urls to db
        foreach($links as $link){
        $allowed = true;

        //check if url exists
        $statement = "SELECT * FROM `links` WHERE link = ?";
        if($stmt = $mysql->prepare($statement)){
            $stmt->bind_param("s", $link);
            $stmt->execute();
            $stmt->store_result();
            if($stmt->num_rows>0){
                $allowed=false;
            }
            $stmt->close();
        }

        //insert into DB
        if($allowed){
            $statement = "INSERT INTO `links` (link) VALUES (?)";
            if($stmt = $mysql->prepare($statement)){
                $stmt->bind_param("s", $link);
                $stmt->execute();
                $stmt->close();
            }
        }
    }
}
?>

Download

Die Funktion links_to_db kümmert sich darum, dass unsere Links auch in der Datenbank landen. Außerdem wird hier noch bei jedem Link geprüft, ob er bereits in der Datenbank existiert. Das ist nicht unbedingt nötig, da in unserem Fall die Funktion find_all_links ja bereits doppelte Links verhindert.

Das wars soweit. Unser einfacher Webcrawler kann nun alle Links einer HTML Seite erkennen und speichern. Tatsächlich ist das aber erst der erste Schritt. Unser Webcrawler müsste nun alle gefundenen Links wieder wie mit dem Startlink abarbeiten, danach alle dieser Seite und so weiter. Im Idealfall startet der Webcrawler auf irgend einer beliebigen Webseite, läuft danach endlos weiter und liefert uns so lange Daten, biss unsere Datenbank voll ist!

Was fehlt zu Suchmaschine?

Wie bereits oben erwähnt genügt es nicht nur Links von Seiten zu speichern. Suchmaschinen bringen Links, Domains und Seiten in einen Kontext. Dabei ist vor allem der Text der Seite ausschlaggebend. Jedoch gibt es noch mehr. Zum Beispiel Metainformationen die der Seitenbesucher gar nicht zu sehen bekommt. Oder auch die so genannten Keywords, durch diese man erst die Seite findet. Wer mehr darüber wissen möchte, der sollte sich zum Thema SEO Optimierung einlesen. In den letzten Wochen habe ich so sehr viel dabei gelernt, warum manche Seiten eher gefunden werden als andere.

Alternativen

Wie immer gibt es im Internet zahlreiche Bibliotheken und Projekte die sich mit genau diesem Thema beschäftigen. Eine sehr gute Bibliothek heißt Caterpillar. Obwohl ich sie selber noch nie benutzt habe hat sie mir doch zumindest von der Funktionsweise beeinflusst.

Fazit

Dank PHP und einer MySQL Datenbank ist es sehr einfach einen eigenen Webcrawler zu programmieren. Diesen kann man benutzen um ihn auf die eigenen Webseiten los zu lassen oder fremde Homepages zu Indexieren. Mit der nötigen Optimierung, genügend Speicherplatz und genug Systemressourcen kann man damit auch beginnen das große Internet zu durchsuchen. Man muss sich nur bewusst sein, dass die Indexierung von 14 Milliarden Webseiten sehr viel Speicherplatz benötigt. Und der Webcrawler wird dafür sicher Jahre benötigen!