# smartmod.de — Crawler-Regeln # # Grundhaltung: Wir WOLLEN in klassischer und in generativer Suche auftauchen. # Deshalb sind die KI-Crawler unten ausdrücklich erlaubt statt nur implizit über # "User-agent: *" — mehrere Betreiber werten ein fehlendes explizites Allow bei # strittigen Fällen konservativ aus. # # Zu unterscheiden sind zwei Sorten Bot: # 1. Such-/Antwort-Crawler (holen die Seite, um sie zu ZITIEREN) → erlaubt # 2. Trainings-Crawler (Inhalte fürs Modelltraining) → siehe unten # Wer das Training ausschließen will, setzt GPTBot, ClaudeBot, Google-Extended und # Applebot-Extended auf Disallow. Das kostet aber tendenziell Sichtbarkeit in den # Antwortsystemen derselben Anbieter — bewusste Entscheidung des Auftraggebers. # # ⚠️ ACHTUNG bei jeder Änderung: Ein Bot befolgt IMMER NUR SEINE EIGENE Gruppe, die # am genauesten auf seinen Namen passt — und ignoriert "User-agent: *" dann # vollständig. Eine Regel, die für alle gelten soll, muss deshalb in JEDE Gruppe # unten. Genau daran ist der frühere Disallow-Block gescheitert: Er stand nur unter # "*" und galt damit für Googlebot, Bingbot, GPTBot & Co. — also für praktisch jeden # relevanten Crawler — überhaupt nicht. # # Hier steht bewusst KEIN Disallow. Die Werkzeugseiten (Konto, Auftragsstatus, # Warenkorb, Kasse, Bestellung) tragen alle "noindex" im , und das ist der # verlässlichere Weg: Ein per Disallow gesperrter Pfad wird nicht abgerufen, also # sieht Google das noindex nie — die URL kann trotzdem (ohne Snippet) im Index # landen. Crawlen lassen + noindex hält sie dagegen zuverlässig draußen. Aus der # Sitemap sind dieselben Seiten gefiltert (siehe astro.config.mjs). User-agent: * Allow: / # ── OpenAI ─────────────────────────────────────────────── User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: GPTBot Allow: / # ── Anthropic ──────────────────────────────────────────── User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: ClaudeBot Allow: / # ── Perplexity ─────────────────────────────────────────── User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / # ── Google (Gemini / AI Overviews) & Bing (Copilot) ─────── User-agent: Google-Extended Allow: / User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / # ── Apple Intelligence ─────────────────────────────────── User-agent: Applebot Allow: / User-agent: Applebot-Extended Allow: / # ── Weitere ────────────────────────────────────────────── User-agent: CCBot Allow: / User-agent: meta-externalagent Allow: / Sitemap: https://smartmod.de/sitemap-index.xml