Webcrawler

Glossar

Webcrawler bedeutet übersetzt etwa „durchs-Internet-Krabbler“. Webcrawler sind Computerprogramme, die selbständig das Internet durchsuchen und Webseiten analysieren.

 

Was bedeutet Webcrawler im Detail?

Webcrawler sind Bots – Computerprogramme, die automatisch und selbständig bestimmte Aufgaben ausführen. Die bildliche Bezeichnung „Webcrawler“ leitet sich aus der Funktionsweise dieser Bots ab. Sie „krabbeln“ von Verlinkung zu Verlinkung durch das Internet. So gelangen sie von Webseite zu Webseite. Suchmaschinen nutzen Webcrawler, um Webseiten zu analysieren und in ihr Verzeichnis aufzunehmen. Jede Suchmaschine setzt ihre eigenen Webcrawler ein. Ihre Unternehmenswebseite wird vom Googlebot, vom Bingbot und den Webcrawlern anderer Suchmaschinen besucht.

Mit Webcrawlern lassen sich automatisch Daten von Webseiten sammeln und analysieren. Daher werden sie z. B. auch für Preisvergleich-Webseiten genutzt, um die jeweils niedrigsten Preise für bestimmte Produkte zu finden.
Doch auch für zwielichtige oder illegale Zwecke werden Webcrawler eingesetzt. Zum Beispiel zum automatischen Sammeln von E-Mail-Adressen an welche dann Spam versandt wird.

 

Wo begegnet mir das Thema „Webcrawler“ im Arbeitsalltag?

Indirekt begegnet es Ihnen bei jeder Nutzung einer Suchmaschine. Die Suchergebnisse sind die Ergebnisse der Arbeit der Webcrawler. Auch ungewöhnliche E-Mail-Adress-Angaben auf Webseiten wie „info(at)unternehmen(dot)com“ sind durch Webcrawler begründet. Dieses Format soll die E-Mail-Adresse für zwielichtige Webcrawler unlesbar machen. Allerdings sind so angegebene E-Mail-Adressen nicht mehr barrierefrei und z. B. für Menschen mit stark eingeschränkter Sehfähigkeit nicht mehr nutzbar. Weiterhin sind viele zwielichtige Webcrawler inzwischen darauf programmiert, solche Alternativschreibweisen zu erkennen.

 

Was kann ich tun, um meine Sicherheit zu verbessern?

Schützen Sie auf Ihrer Unternehmenswebseite zugängliche E-Mail-Adressen vor zwielichtigen Webcrawlern. Hierfür gibt es mehrere Möglichkeiten. Zwei Beispiele:

  • Ersetzen Sie E-Mail-Adressen durch Kontaktformulare. Kontaktformulare sind für Bots nicht nutzbar, lassen sich aber für Menschen barrierefrei gestalten.
  • Ersetzen Sie E-Mail-Adressen durch eine Weiterleitung über HTTP-Redirect. Dabei wird die E-Mail-Adresse über einen Umweg zugänglich, der für Bots nicht nachvollziehbar ist. Wenden Sie sich an Ihre IT-Abteilung, um Ihre Webseite besten Methoden zu identifizieren und umzusetzen.

Verwandte Beiträge

  • Darknet

    Dieser anonyme Bereich im Internet ist nicht offen sichtbar und nicht durch eine Suchmaschine zu erreichen. Er ist nur mithilfe eines speziellen Netzwerkes erreichbar, dem sogenannten Tor-Netzwerk.

    mehr lesen

Weitere Beiträge

  • Gefahrenwarnung: Cybersicherheitsvorfall bei T-Mobile US betrifft Millionen Kunden

    Gefahrenwarnung

    Bei einem Angriff auf T-Mobile US wurden Daten von mindestens 40 Millionen Kunden gestohlen. Wir bringen auf den Punkt, was genau passiert ist und was Sie selbst tun können.

    mehr lesen

Sie sind neugierig geworden?

Fragen Sie noch heute eine unverbindliche Produkt-Demo von Perseus an.

Wir befähigen Ihre Mitarbeitenden, aktiv zur Cybersicherheit Ihres Unternehmens beizutragen.

Überzeugen Sie sich selbst, wie einfach und schnell sich Perseus in Ihre Unternehmensstruktur integrieren lässt.

Live Demo

Sie haben Fragen zu unseren Leistungen?

Zögern Sie nicht anzurufen: + 49 30 95 999 8080

  • Plug & Play-Lösung, die einfach und schnell integriert ist
  • Kurze, spannende Online-Trainings für Cybersicherheit und Datenschutz
  • Trainings unterstützen bei der Erfüllung einzelner Compliance-Anforderungen (z. B. zu ISO 27001)
  • Simulierte Phishing-E-Mails testen das Erlernte der Mitarbeitenden in der Praxis
  • Zertifikate dokumentieren Lernerfolge und dienen als Nachweis für Versicherungen oder Behörden
  • Das Cybernotfall-Management ist jederzeit zur Stelle, falls es doch einmal zum Cybervorfall kommt