Für Website-Betreiber

wfcensusBot

Sie haben diesen Bot in Ihren Logs gefunden? Er zählt, wie viele Websites in Deutschland, Österreich und der Schweiz mit Webflow betrieben werden. Dafür ruft er je Domain in der Regel nur die Startseite ab – einmal pro Zensus.

User-Agent: Mozilla/5.0 (compatible; wfcensusBot/1.0; +https://wfcensus.de/bot)
Herkunft: IPv4-Adresse mit Reverse-DNS scan.wfcensus.de
Opt-out: bot@wfcensus.de
Betreiber: Klarkode GmbH – Impressum

Wozu

wfcensus ist eine Zählung: Wie verbreitet ist Webflow unter den .de-, .at- und .ch-Domains und unter deutschsprachigen .com-Domains? Das Ergebnis sind Summen je Zone. Der Bot sammelt keine Inhalte, folgt keinen Links und baut keinen Suchindex.

Was er abruft

Vorauswahl über DNS. Zuerst werden öffentliche DNS-Einträge der Domain und von www. davor abgefragt. Das berührt Ihren Webserver nicht. Abgerufen werden danach Domains, deren Adresse auf Webflow oder ein vorgeschaltetes CDN zeigt, und aus allen übrigen eine kleine Stichprobe, mit der wir die Zählung überprüfen.
robots.txt – je Host einmal, bevor irgendetwas anderes abgerufen wird.
Die Startseite – in der Regel genau eine Startseite pro Domain und Zensus (bei Webflow-Domains, deren Hauptadresse nicht veröffentlicht ist, zusätzlich www.): GET https://ihre-domain/, nur wenn HTTPS scheitert einmal über http://. Weiterleitungen folgt der Bot bis zu fünfmal; für jeden neuen Host gilt wieder dessen robots.txt.

Gelesen werden in der Regel höchstens die ersten 64 KB, meist nur der Seitenkopf. Nur bei .com-Seiten, die bereits als Webflow erkannt sind, liest er weiter (höchstens 512 KB), um ein Impressum und damit die deutschsprachige Herkunft zu erkennen.

Der Bot folgt keinen Links, führt kein JavaScript aus, lädt keine Bilder, Skripte oder Stylesheets, sendet und speichert keine Cookies und füllt keine Formulare aus.

Ausschließen per robots.txt

Der Bot hält sich an robots.txt nach RFC 9309. Er sucht eine Gruppe für wfcensusBot (Groß- und Kleinschreibung egal), sonst gilt die Gruppe für *. Ist die Startseite gesperrt, ruft er sie nicht ab. Ausschließen lässt er sich so:

User-agent: wfcensusBot
Disallow: /

Ist Ihre robots.txt wegen eines Serverfehlers nicht lesbar, wertet der Bot das als Sperre und ruft nichts weiter ab.

Wie schnell

Die Anfragen sind global gedrosselt – über alle Websites zusammen, nicht nur je Server. Eine einzelne Domain sieht in einem Zensus in der Regel nur die robots.txt und eine Startseite (plus etwaige Weiterleitungen). Wird ein Lauf unterbrochen und später fortgesetzt, können robots.txt und Startseite einer Domain, deren Abruf gerade lief, ein zweites Mal abgerufen werden. Häufen sich Browser-Prüfungen (Cloudflare-Challenges), hält der Lauf an. Ein Zensus findet nicht laufend statt, sondern als einzelner Durchgang.

Was gespeichert wird

Gespeichert wird nur, wenn eine Domain als Webflow-Website erkannt ist, und dann nur diese Angaben:

Angabe	Bedeutung
Domain	z. B. `example.de`, mit Zone
Land	DE, AT, CH oder „DACH, Land unbekannt“; bei .com zusätzlich, woran die deutschsprachige Herkunft erkannt wurde (Impressum-Link, Sprachangabe)
Ursprung	Schema und Host der Seite nach Weiterleitungen, z. B. `https://www.example.de` – ohne Pfad und ohne Parameter; dazu, ob die Weiterleitung auf eine andere Domain führte
HTTP-Status	der Statuscode der Startseite
Webflow-Site-ID	die Projektkennung, die Webflow selbst in die Seite schreibt, falls vorhanden
Technische Einordnung	ob die Domain direkt bei Webflow oder über ein vorgeschaltetes CDN liegt, ob sie über die Domain selbst oder `www.` erreicht wurde, und welches Merkmal Webflow verraten hat (Seitenkopf, Webflow-Datei, Antwortheader)

Nicht gespeichert werden: Seiteninhalte, Texte, Bilder, Pfade, Parameter, Cookies, Personendaten aus Seiten. Domains, die nicht auf Webflow laufen, gehen nur als Zahl in die Summen ein – ohne Domainnamen.

Opt-out

Schreiben Sie an bot@wfcensus.de und nennen Sie die Domain(s). Wir tragen sie in unsere Sperrliste ein; gesperrte Domains werden weder abgerufen noch gespeichert. Auf Wunsch löschen wir bereits gespeicherte Angaben zu Ihrer Domain, auch in unseren Sicherungen. Wenn Sie schreiben, weil der Bot Ihnen Probleme macht, nennen Sie bitte Zeitpunkt und Ihre Server-Adresse – dann finden wir die Ursache.

Wer betreibt den Bot

Die Klarkode GmbH. Anschrift und Kontakt stehen im Impressum, die Verarbeitung im Einzelnen in der Datenschutzerklärung. Der Bot ist kein Angebot von Webflow, Inc. und nicht mit Webflow verbunden.