robots.txt für KI-Agenten: So steuern Sie, welche Bots Ihre Produkte lesen
2025-01-15·7 min read
ResearchTechnicalAI Agents
Die neue robots.txt-Landschaft
Die robots.txt-Datei existiert seit 1994. Aber 2025 hat sie einen neuen Zweck: die Verwaltung des KI-Agenten-Zugangs. GPTBot, ClaudeBot, PerplexityBot und GoogleOther sind dedizierte KI-Crawler mit unterschiedlichen Verhaltensweisen.
Empfohlene Konfiguration
Für die meisten Shops ist die optimale Strategie, KI-Shopping-Bots zu erlauben und gleichzeitig den Zugang zu sensiblen Bereichen einzuschränken (Konto, Checkout, Warenkorb). Das MerchantStamp-Audit prüft dies automatisch.
Bewerten Sie Ihre KI-Bereitschaft
Sehen Sie, wie gut KI-Agenten Ihre Produktdaten lesen können.
Kostenlose Prüfung durchführen