Weltgrößte Suchmaschine ist online
Die weltgrösste Suchmaschine hat ihre Pforten geöffnet: unter www.alltheweb.com verbirgt sich eine Serverfarm, die bereits 200 Millionen Webseiten indiziert hat. Damit ist dieser Katalog bereits zweimal so gross wie der des Suchmaschinenanbieters Inktomi [HotBot, MSN Search] und drei bis vier mal grösser als der anderer Anbieter.
Laut einer kürzlich veröffentlichten Studie haben Suchmaschinen erst 16 Prozent der geschätzten 800 Millionen Websites abgegrast. FAST Search Index, so der Name der neuen Suchmaschine, hat bereits jetzt 25 Prozent des WWW inkorporiert. Innerhalb eines Jahres soll so gut wie jede Seite gespeichert sein, um ab dann mit dem Wachstum Schritt zu halten.
Die Architektur des FAST basiert auf Dell PowerEdge Servern und Dell PowerVault SpeicherSubsystemen. Die Maschinen in der Serverfarm arbeiten parallel zusammen, um Nutzeranfragen zu verteilen, den Dokumentenkatalog zu durchsuchen und das Web zu spidern. FAST setzt auf eine Vielzahl von Mittelklasse-Servern, anstatt ein kleine, dafür schlecht skalierbare Anzahl von Superrechnern aneinanderzuhängen.
FAST baut den Dokumentenindex all seiner gespeicherten Seiten in nur 12 Stunden auf - eine Aufgabe, für die herkömmliche Suchmaschinenbetreiber mehrere Tage oder Wochen benötigen.
FAST basiert auf einem Projekt, das ursprünglich vom norwegischen Institut für Technologie in Trondheim initiiert wurde.
FAST [Norwegen]