In Zeiten von totaler Überwachung u.a. durch NSA und GCHQ und den jüngeren Vorfällen zu Lavabit und Truecrypt ist man gut beraten, wenn man sich seine eigene Suchmaschine betreibt. Hier ist keine Zensur möglich und man ist nicht vom Ranking Algorithmus großer Suchmaschinenbetreiber abhängig.

Die beständige Aufklärung über die Aktivitäten der Geheimdienste aus den Quellen von Eduard Snowden geben einem das Gefühl von beständiger Unsicherheit. Dies hat eine Umfrage der BITKOM ans Tageslicht gebracht. Die Abschaltung von Lavabit, das Ende von Truecrypt, einem beliebten Verschlüsselungsprogramm für Windows-Nutzer, und die vielen Schwachstellen bei OpenSSL sind gute Belege, dass dies berechtigt ist.

Was ist Yacy

Einfach nur herumsitzen und den Kopf in den Sand stecken, ist jedoch keine Idee, die das fehlende Gleichgewicht wieder herstellt. Ich bin in diesem Zusammenhang auf Yacy gestoßen. YaCy (von Yet another Cyberspace, homophon zu englisch ya see) ist eine Suchmaschine, die nach dem Peer-to-Peer-Prinzip – kurz P2P – arbeitet. Dabei gibt es keinen zentralen Server, sondern alle Teilnehmer sind gleichwertig. Es gibt also keine zentralen Suchmaschinenbetreiber wie Google oder Bing, sondern jeder Teilnehmer steuert über das P2P-Netzwerk einen kleinen Teil der Suchergebnisse bei. Das Netz lebt hierbei von der Anzahl der Teilnehmer, da hierdurch die Last besser verteilt werden kann.

Vorteile von Yacy

Dadurch ergeben sich folgende wichtige Vorteile für den Nutzer bzw. Betreiber der lokalen YaCy-Suchmaschine:

• Die mit YaCy aufgebaute globale Suchmaschine ist aufgrund des P2P-Netzwerks sehr robust gegen Ausfälle.
• Die Internetnutzer sind durch YaCy als Suchmaschine unabhängig von den großen Suchmaschinen, deren Werbegeschäftsmodellen und etwaige Zensur (vgl. Internetzensur in China).
• Die Software ist Open Source, wurde unter der GNU General Public License veröffentlicht und ist kostenlos.

Dies hört sich verlockend an auf den ersten Blick. Jedoch erscheint es auf dem zweiten Blick schwierig. Das dem jedoch nicht so ist und YaCy eine Alternative zu „normalen“ Suchmaschinen ist, zeige ich im Folgenden.

Einfacher Start

Auf der Youtube-Plattform sind bereits gut gemachte Videos enthalten, die einem zeigen, wie einfach man Schritt für Schritt einen YaCy-Server aufsetzt. Weiterhin hilft einem das ausführliche deutsche Wiki bei allen Detailfragen.

Installation unter Windows

Installation unter Linux

Wie man aus den Videos sieht, ist die Installation sehr einfach, da in der Installationsdatei alles erforderliche vorhanden ist. Sie dauert ca. 3 Minuten und man kann danach die ersten Suchläufe starten bzw. im Administrationsbereich die genaue Konfiguration durchführen.

Suchmaschine auf Root-Server

Um dieses weltweite Netzwerk von Knoten aus Suchmaschinen zu unterstützen bzw. um im eigenen Unternehmen (Intranet) eine Suchmaschine anbieten zu können, die mit der immensen Datenmenge zurecht kommt und die nötige Performance hat, empfiehlt sich ein eigener Root-Server. Auf diesem hat man alle Rechte, die man für den Betrieb einer YaCy-Suchmaschine benötigt. Auf einem derartigen Server können dann auch andere private bzw. business Dienste aufgesetzt werden (z.B. eigene Cloud, Mailserver, Webauftritt, Webshop u.v.m.), also nicht nur für eine Suchmaschine kaufen. Dies erhöht natürlich die Wirtschaftlichkeit eines solchen Dienstes (Nachts kann man z.B. die ungenutzte Rechenleistung für Crawling und Indexierung nutzen).

Diesen muss man nicht im eigenen Haushalt bzw. der Firma betreiben, sondern kann in der heutigen Zeit günstig gemietet werden (Infrastructure as a Service – IaaS). Um hier sich hier ein preiswertes Angebot zu finden, empfiehlt es sich Zeit zu nehmen und bei Server Anbietern/Server Hostern die Preise zu vergleichen.

Wie finde ich das passende Angebot?

Nicht immer der teuerste Anbieter  ist auch der Beste. Hier sollte man also neben den Erfahrungen anderer Kunden bzgl. kompetentem Support und Qualität der Erreichbarkeit des Anbieters (Stichwort: Server Ausfall, Verfügbarkeit) auch das Preis-Leistungs-Verhältnis immer im Blick haben.

• Wie viel Speicherplatz bekommt man für sein Geld? (wichtig zum Betrieb einer Suchmaschine)
• Wie hoch ist die Geschwindigkeit der Maschine (Prozessor/Hauptspeicher)? Je schneller, desto höhere Indexierungsraten schafft er.
• Wichtig ist es bei der Suche nach günstigen Webhoster-Anbietern auf das inklusive Traffic-Volumen zu achten, da es beim Crawlen schnell zu unkalkulierbaren Kosten kommt.

Weitere Fragen für andere Einsatzzwecke:

• Wie viele Datenbanken sind möglich?
• Wie häufig macht der Anbieter Datensicherungen?
• Wie viele E-Mail-Postfächer sind zulässig?
• Wie hoch ist die Ausfallsicherheit?

Ich habe bereits meinen eigenen Server und crawle das Internet. Hier leiste ich einen Betrag zu einer unabhängigen und eigenständige Suche im www. Bei Fragen und Anregungen stehe ich gerne zur Verfügung!