Webcrawler

Um ein relevantes Ranking als Suchergebnis für jede individuelle Suche anzubieten, bedarf es einer pausenlosen Durchsuchung und Analyse des Wolrd Wide Webs. Neue Webseiten, die bei Suchmaschinen registriert werden, benötigen eine Prüfung und Analyse, um in den Index der Suchmaschinen aufgenommen zu werden. Zusammen mit bestehenden Webseiten müssen unzählige Internetauftritte rund um die Uhr geprüft und gewichtet werden, um den Benutzern zu jeder individuellen Suche ein relevantes und aktuelles Ergebnis zu liefern.

Diese Arbeit ist viel zu umfangreich und Zeitintensiv, dass sie von Menschenhand nicht durchgeführt werden kann. Zumindest nicht so, dass das Ergebnis aussagekräftig genug wäre. Um diese Aufgabe dennoch zu bewältigen, gibt es Programme, die diese Arbeit abnehmen: die sogenannten Webcrawler. Die Webcrawler, auch Spider oder Searchbot genannt, werden von Codes und Algorithmen gesteuert.