Suche
Startseite
Organisation
Know How
Online Forum
Links
Anmeldung
Partner Login
Partner ID
Passwort
Über fmswiss.ch
FAQ & Hilfe Tool
Ziele
Bedingungen
eMail
Lexikon Suche :
3926
Einträge
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
Crawler
Ein Crawler (engl. to crawl = kriechen) ist ein Computerprogramm, das im Web Seite für Seite besucht und gefundene Daten abspeichert.
Crawler werden von Suchmaschinen eingesetzt, um ihren Datenbestand aufzubauen. Eine Suchmaschine gibt ihrem Crawler eine Liste von zu besuchenden Adressen (URLs). Das Programm besucht die erste Seite der Liste, speichert den Inhalt in einer Datenbank ab und sucht auf dieser Seite nach neuen Links. Die neu gefundenen Links werden dann an die Liste der abzuarbeitenden Adressen angefügt.
Auf diese Weise kann ein Crawler alle Seiten im Web, die über beliebig viele Zwischenschritte verbunden sind, besuchen. Der Name Crawler kommt denn auch daher, dass das Programm im Web quasi von Seite zu Seite "kriecht".