MeilenvergleichBot

Kennung

Jede Anfrage trägt diese Angabe im User-Agent:

MeilenvergleichBot/2.0 (+https://meilenvergleich.com/bot)

Bei einfachen HTTP-Abrufen ist das der vollständige User-Agent. Einige Programme liefern ihre Angebote nur an einen Browser aus. Dafür lädt der Bot die öffentliche Seite in Chromium, und der Browser hängt dieselbe Kennung an seinen normalen User-Agent an. Wir verschleiern den Bot nicht: keine wechselnden Proxys, keine gefälschten Browser-Merkmale, keine Umgehung von Captchas.

Was er abruft und was nicht

• Nur öffentlich erreichbare Seiten und die Daten, die diese Seiten beim Laden selbst anfordern.
• Keine Logins, keine Mitgliederbereiche, keine App-Schnittstellen, keine personenbezogenen Daten.
• Gespeichert werden nur Fakten wie Programm, Partner, Meilen- oder Punktzahl, Prozentwert, Gültigkeit und die Adresse der Seite. Beschreibungstexte, Bilder und Logos übernehmen wir nicht.
• Jede Quelle ist in einem internen Register mit dem Datum der letzten Prüfung von robots.txt und Nutzungsbedingungen eingetragen.

Wie oft und wie schnell

• Ein Durchlauf pro Nacht, Start um 2:15 Uhr deutscher Zeit.
• Die Quellen laufen nacheinander, nie parallel.
• Bei einfachen HTTP-Abrufen geht immer nur eine Anfrage an denselben Server, und zwischen zwei Anfragen liegen mindestens zwei Sekunden. Steht in der robots.txt ein längeres Crawl-delay, gilt dieses, bis zu 60 Sekunden.
• Jede Quelle hat eine feste Obergrenze an Anfragen pro Durchlauf und ein Zeitlimit.
• Antwortet ein Server mit 429 oder 503, wartet der Bot die Zeit aus Retry-After ab, sonst 60 Sekunden und beim zweiten Mal fünf Minuten. Danach gibt er für diese Nacht auf. Nach drei fehlgeschlagenen Anfragen in Folge bricht er die Quelle ab.
• Bei 403 oder einer Prüfseite gegen Bots bricht er die Quelle sofort ab und versucht es erst in der nächsten Nacht wieder.

robots.txt

Vor jedem Durchlauf prüft der Bot alle eingetragenen Adressen einer Quelle gegen die robots.txt, bei einfachen HTTP-Abrufen zusätzlich jede einzelne Anfrage und jede Weiterleitung. Er folgt dabei RFC 9309. Gibt es eine Gruppe für MeilenvergleichBot, gilt nur diese, sonst die Gruppe für *. Ein gesperrter Pfad wird übersprungen, nicht erzwungen.

So lässt sich der Bot für eine ganze Website ausschließen:

User-agent: MeilenvergleichBot
Disallow: /

Die Änderung wirkt ab dem nächsten nächtlichen Durchlauf.

Kontakt für Website-Betreiber

Wer Fragen zum Bot hat, eine geringere Abrufrate wünscht oder nicht mehr erfasst werden möchte, schreibt an kontakt@meilenvergleich.com. Bitte die betroffene Domain nennen. Auf Wunsch nehmen wir die Quelle aus dem Register, auch ohne Änderung an der robots.txt.

Wie wir die abgerufenen Angebote darstellen, steht unter So vergleichen wir.