Suchmaschine YaCy

Deutsche Entwickler basteln dezentrales Anti-Google

Das soll mal einer nachmachen: In ihrer Freizeit haben ein paar Programmierer eine dezentrale Suchmaschine entwickelt. Als Universalwerkzeug ist YaCy zwar keine Konkurrenz für Google - bei Spezialthemen aber sehr wohl.

SPIEGEL ONLINE, 1.12.2011

Vor fast acht Jahren, am 15. Dezember 2003 hatte der Informatiker Michael Christen eine verwegene Idee: Er wolle eine auf einem sogenannten peer-to-peer-Netzwerk basierende Suchmaschine entwickeln, kündigte er am frühen Abend im Heise-Forum an und fragte: "Wer macht mit?"

Es meldeten sich einige Programmierer bei Christen, die auch eine dezentrale, freie Suchmaschine konstruieren wollten. Nun, acht Jahre später, ist die Version 1.0 der YaCy getauften Suchmaschine fertig. Christen, mittlerweile 44 Jahre alt, freiberuflicher IT-Berater, hat mit Freiwilligen in der Freizeit eine Software entwickelt, die in vielen Punkten ein Gegenmodell zu heute bekannten Suchmaschinen umsetzt.

YaCy läuft nicht zentral auf Servern eines Betreibers, sondern auf den Computern aller freiwilligen Helfer, die bei sich die YaCy-Software (für Windows, Mac, Linux) installieren. Jeder Nutzer kann für sich entscheiden, ob und wie er zum globalen Suchindex beiträgt. YaCy kann man so nutzen:

• Als Websuche ohne Kontakt zu anderen YaCy-Installationen (als sogenannter Robinson-Peer): So indexiert YaCy ausgewählte Webangebote - man kann auch nur diese mit seiner eigenen YaCy-Installation durchsuchen. Beim Indexieren ruft die YaCy-Software Websites ab und speichert die im Text enthaltenen Worte und die dazu gehörenden URLs in einer Datenbank auf dem Rechner - man bastelt sich so ein eigenes Suchportal.
• Als Intranet-Suchmaschine: Ähnlich isoliert kann YaCy auch Seiten in einem geschlossenen Intranet indexieren.
• Als Teil der verteilten YaCy-Suche: Erlaubt man der YaCy-Installation auf dem eigenen Rechner, mit anderen YaCy-Peers zu kommunizieren, greift das Programm auf den globalen Index zu. Der ist über alle Peers verteilt. Die Suchtreffer kommen also von teilnehmenden Rechnern, die gerade online sind. Und man erlaubt (sofern die Firewall solche Verbindungen zulässt) anderen YaCy-Peers Anfragen an die Datenbank auf dem eigenen Computer. Im Hinblick auf den Datenschutz versichern die YaCy-Macher, dass es keine Möglichkeit gibt, abzufragen, welche Seiten alle bei einem Peer gespeichert sind. Wer den globalen Index testen will, kann über ein Webformular mehrere YaCy-Peers abfragen.

"Mit Google kann man nicht konkurrieren"

Bei einem Test zeigte sich, dass YaCy als Recherchewerkzeug für allgemeine Suchanfragen für das gesamte Web derzeit noch wenig taugt. Bei den Suchanfragen waren mehr als 1000 Peers mit gut einer Milliarde Webseiten im globalen Index online. Ein Lasagne-Rezept fand sich bei der entsprechenden Sucheanfrage als neunter Treffer unter acht Lasagne-freien Websites. Bei der Suchanfrage nach einer Anleitung zum "YaCy Firewall Einrichten" lieferte die YaCy-Suche selbst keinen hilfreichen Text. Google hingegen führt hingegen als ersten Treffer ein entsprechendes Wiki mit detaillierten Ratschlägen auf.

Dieser Vergleich mit Google ist natürlich unfair. Die YaCy-Macher wollen ja keine Alternative zu Google anbieten. Michael Christen: "Google kann man nicht angreifen, Google hat Millionen Rechner, zehntausende Mitarbeiter, einen immens großen Index und eine sehr hohe Geschwindigkeit." Wie groß ist der Index? Wie schnell ist die Suche? Wie schnell werden neue Seiten aufgenommen? Bei solchen Fragen kann die verteilte Suchmaschine nur schlechter abschneiden als Google.

Aber was wollen die YaCy-Macher dann? Christen antwortet, man wolle eigentlich niemanden angreifen: "Wir wollten herausfinden, ob man zu freien Inhalten eine freie Suchmaschine bauen kann. Wenn der Zugang zu freien Informationen über ein proprietäres System läuft, sind die Informationen nicht frei."

Spezialsuche für Bioinformatik, Geocaching, Freie Software

Ob YaCy je als universelle Suchmaschine taugt, hängt davon ab, wie viele Menschen die Software installieren und zum globalen Index beitragen. Es ist ein Henne-Ei-Problem: Je mehr Menschen mitmachen, desto nützlicher ist YaCy. Und je nützlicher YaCy ist, desto mehr machen mit.

Aber für enger gefasste Einsatzgebiete könnte die YaCy-Software sich eher - und schneller - durchsetzen: Wenn eine Gruppe von Menschen an einem bestimmten Themenfeld interessiert ist, zu dem es eine überschaubare Menge an Onlinequellen gibt, können sie gemeinsam ein eigenes YaCy-Suchportal aufbauen:

• Forscher am Karlsruhe Institute of Technology haben auf der Basis von YaCy eine Suchmaschine für Forschungsergebnisse namens Sciencenet entwickelt, die derzeit mehr als 223 Millionen Dokument indexiert hat.
• Geocaching-Fans haben auf Basis von YaCy ein Suchportal zu ihrem Hobby aufgebaut.
• Die Free Software Foundation Europe (FSFE) nutzt für ihre Suche in Wikis, Downloads, Blogs und Mailinglisten YaCy. Die Organisation unterstützt YaCy, FSFE-Präsident Karten Gerloff begründet das so: "YaCy steht für einen sehr wichtigen Trend: Weg von Systemen, bei denen alles von einem zentralen Knotenpunkt abhängt, und hin zu dezentralen, verteilten Lösungen. YaCy als peer-to-peer Suchmaschine füllt hier eine große Lücke."

YaCy-Entwickler Christen sieht solche Interessengemeinschaften als Keimzellen für die verteilte Suchmaschine: "Schulen, Lehrer in bestimmten Fachgebieten, Journalisten, Arbeitsgruppen in Unternehmen oder der Forschung: Die haben ein gemeinsames Wiki, die verfolgen auf ihrem Themengebiet bestimmte Fachportale und Foren und indexieren all diese Quellen mit ihren Peers."

Da man YaCy auch vollkommen abgeschottet als Suchmaschine für eigene Quellen im eigenen Netzwerk betreiben kann, könnte die freie, quelloffene Software als Spezialanwendung Karriere machen. Entwickler Christen: "Man kann für solche Zwecke heute für viel Geld kommerzielle Suchtechnologie mieten, man könnte aber auch YaCy nutzen."

Einen Anbieter solcher kostenpflichtiger Intranet-Suchmaschinen kennt jeder: Google. Mehr als 40.000 Unternehmen weltweit nutzen die kostenpflichtigen Google-Enterprise-Suchlösungen. Vielleicht wird YaCy ja auf diesem Gebiet zum Gegen-Google.