KI-Crawler haben die Art der Webindexierung grundlegend verändert. Eine neue Analyse von Hostinger zeigt, dass Bots wie GPTBot inzwischen mehr Webseiten erfassen als Google. Auch weniger bekannte Akteure wie TikTok mischen mit. Für Website-Betreiber bringt das Chancen und neue Herausforderungen.
Künstliche Intelligenz verändert nicht nur die Art, wie Inhalte erstellt und genutzt werden, sondern auch, wie sie im Web gefunden werden. KI-Crawler wie der OpenAI-GPTBot haben in wenigen Monaten eine enorme Reichweite aufgebaut. Eine aktuelle Analyse des Webhosters Hostinger zeigt: GPTBot crawlt täglich über 4,4 Millionen Webseiten und übertrifft damit sogar Googles eigenen Bot in Reichweite und Abdeckung.
Die Untersuchung basiert auf mehr als elf Milliarden täglichen Anfragen an rund fünf Millionen Websites aus dem Hostinger-Netzwerk. Insgesamt wurden 55 verschiedene User-Agent-Gruppen analysiert, darunter klassische Suchmaschinenbots, KI-Crawler und automatisierte Skripte.
GPTBot vor Googlebot: Neue Machtverhältnisse im Netz
OpenAIs GPTBot verarbeitet täglich mehr als 108 Millionen Anfragen und erreicht 4,4 Millionen Webseiten mit einer Abdeckung von 84 Prozent. Googles Bot bleibt zwar mit 798 Millionen Requests extrem aktiv, erreicht aber nur 3,9 Millionen Seiten und eine Abdeckung von 74 Prozent. Auch der OpenAI-SearchBot kommt bereits auf über 2,4 Millionen gecrawlte Seiten.
Weitere auffällige Akteure:
- Meta-Bots: Der Bot “fbexternalhit” kommt auf 70 Mio. Anfragen und 72 % Abdeckung, “meta-externalagent” sogar auf 154 Mio. Anfragen (60 %).
- AhrefsBot: 228 Mio. Anfragen, 65 % Abdeckung. Stark im SEO-Kontext.
- Bing-Bot: 255 Mio. Anfragen, 58 % Abdeckung.
- TikTok-Bot: 79 Mio. Anfragen, 24 % Abdeckung. Noch selektiv, aber auffällig.
- SEMRush-Bot: 67 Mio. Anfragen, 24 % Abdeckung.
- Apple-Bot: 49 Mio. Anfragen, 22 % Abdeckung.
- Claude-Bot (Anthropic): 66 Mio. Anfragen, 5 % Abdeckung.
Die enorme Zahl von 1,4 Milliarden Anfragen täglich stammt zu großen Teilen von weniger bekannten Bots, die das Netz zunehmend systematisch erfassen.
USA und China dominieren die Indexierung
Laut Hostinger stammt die Mehrheit der Bots von US-Unternehmen wie OpenAI, Google, Meta, Microsoft, Amazon, Apple oder Anthropic. Auch chinesische Crawler wie Baidu, Sogou oder Huawei PetalSearch spielen eine Rolle. Zusammengenommen prägen die USA etwa 80 Prozent, China etwa zehn Prozent der globalen Bot-Aktivität. Der Rest verteilt sich auf wenige Akteure aus Russland, Großbritannien oder den Niederlanden.
Chancen und Konflikte für Website-Betreiber
“Einerseits sehen Unternehmen eine Chance und nutzen sogar generative Suchmaschinenoptimierung, um in KI-bezogenen Suchergebnissen besser sichtbar zu sein. Für diejenigen, die mit den Aufrufen Geld verdienen, bringt diese Veränderung jedoch Herausforderungen mit sich. Wenn ein KI-Tool bereits die vollständige Antwort liefert, werden nur wenige Leser weiterklicken”, so Giedrius Zakaitis, Chief Product and Technology Officer bei Hostinger.
Um mehr Kontrolle zu bieten, hat Hostinger das Feature “AI Audit” in sein CDN integriert. Damit können Website-Betreiber KI-Crawler erkennen, verfolgen und gegebenenfalls blockieren.
“Künstliche Intelligenz eröffnet unglaubliche Möglichkeiten, aber das sollte nicht zum Nachteil der Kreativen werden. Sie sollten selbst entscheiden können, wie ihre Inhalte zu diesem neuen Ökosystem beitragen, ausgehend von ihren Zielen und Wertvorstellungen”, so Zakaitis weiter. “Genau darum geht es beim KI-Audit: Website-Betreibern die nötige Transparenz und Kontrolle zu bieten.”
Methodik der Analyse
Die Untersuchung basiert auf Logfile-Analysen aus dem Zeitraum vom 20. bis 25. August 2025. Untersucht wurden Anfragen und Abdeckung der jeweiligen Bots bezogen auf 5 Millionen Websites im Hostinger-Netzwerk. Als Abdeckung gilt der Anteil der Webseiten, die von einem spezifischen Bot innerhalb dieses Zeitraums mindestens einmal besucht wurden.
Alle Ergebnisse der Untersuchung finden Sie hier.
Weitere Informationen zu Hostinger finden Sie hier.