robots.txt für KI-Agenten: So steuern Sie, welche Bots Ihre Produkte lesen

Die neue robots.txt-Landschaft

Die robots.txt-Datei ist seit 1994 ein Eckpfeiler guter Crawling-Etikette im Web. 2025 hat sie einen neuen Zweck: den Zugang von KI-Agenten zu steuern. Große KI-Unternehmen haben dedizierte Crawler eingeführt — GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, GoogleOther (Google AI) und CCBot (Common Crawl, von vielen KI-Firmen genutzt) —, jeweils mit eigenem Verhalten und Zweck.

Für E-Commerce-Händler entsteht damit eine strategische Entscheidung: Welche KI-Bots sollten Sie erlauben, welche einschränken — und wie maximieren Sie die Shopping-Sichtbarkeit, während Sie sensible Inhalte schützen?

Bekannte User-Agents von KI-Bots

Diese KI-Crawler sollten Sie kennen:

GPTBot — Der Crawler von OpenAI. Treibt ChatGPTs Produktempfehlungen und Browsing an. Blockieren bedeutet: ChatGPT kann Ihre Produkte nicht empfehlen.

ChatGPT-User — Der Echtzeit-Browsing-Bot von OpenAI (wenn Nutzer ChatGPT bitten, eine URL zu besuchen). Unterscheidet sich von GPTBot, der für das Training crawlt.

ClaudeBot / Claude-Web — Anthropics Crawler für Claudes Wissen und Web-Zugriff.

PerplexityBot — Perplexitys Shopping- und Such-Crawler.

GoogleOther — Googles KI-spezifischer Crawler, getrennt vom klassischen Googlebot (Suche).

CCBot — Der Bot von Common Crawl, dessen Daten viele KI-Unternehmen zum Training nutzen.

Empfohlene Konfiguration für E-Commerce

Für die meisten E-Commerce-Shops ist die optimale Strategie, KI-Shopping-Bots zuzulassen und gleichzeitig den Zugang zu sensiblen Bereichen einzuschränken:

# KI-Shopping-Agenten — Produktseiten ERLAUBEN
User-agent: GPTBot
Allow: /products/
Allow: /collections/
Disallow: /account/
Disallow: /checkout/
Disallow: /cart/

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /products/
Allow: /collections/
Disallow: /account/

User-agent: PerplexityBot
Allow: /

User-agent: GoogleOther
Allow: /

# KI-Training auf Nicht-Produkt-Inhalten blockieren
User-agent: CCBot
Disallow: /blog/
Allow: /products/

Diese Konfiguration maximiert die Produktsichtbarkeit und schützt zugleich Checkout-Flows, Konto-Seiten und (optional) Blog-Inhalte vor der Verwertung als Trainingsdaten.

Wie MerchantStamp das prüft

Das AI-Readiness-Audit von MerchantStamp enthält eine Prüfung „robots.txt AI-friendly", die nach expliziten KI-Agenten-Direktiven sucht. Shops, die GPTBot, ClaudeBot oder andere KI-User-Agents in ihrer robots.txt nennen, erhalten Punkte für proaktives KI-Sichtbarkeitsmanagement. Starten Sie einen kostenlosen Scan, um Ihren aktuellen Status zu prüfen.