User-agent: *
# Interne / sensible Verzeichnisse
Disallow: /core/
Disallow: /extern/
Disallow: /logs/
Disallow: /static/lang/
Disallow: /users/
Disallow: /sell/
Disallow: /sell/*
Disallow: /errorlog.html
Disallow: /adminpanel*
Disallow: /nojs-version.php
# Verwaiste Dateien im Webroot (Fragmente/Altlasten, kein eigenständiger Inhalt)
Disallow: /index.html
Disallow: /Adminpanel_sitemap.php
Disallow: /sitemap.css
# Hinweis: /search wird NICHT per robots.txt gesperrt, sondern per
# – sonst könnte Google das
# noindex nicht sehen und die SearchAction (Sitelinks-Suchbox) nicht prüfen.
# Filter- und Sortier-Pfade blockieren
# ------------------------------------------------------------------
# URL-Struktur: /k/-///
# Filter haben IMMER die Form "key:value;" — der Doppelpunkt ist das
# sichere Merkmal. Slugs enthalten nur [a-z0-9-], also nie einen Doppelpunkt.
# Damit sind alle 67 Filter-Keys aus static/data/categories/*.json
# abgedeckt, ohne sie einzeln pflegen zu muessen.
Disallow: /k/*:*
# Sortierung und Paginierung. Die kanonische Kategorie-URL ist
# /k/- (Seite 1, Standardsortierung) — nur die darf indexiert werden.
Disallow: /k/*/sortstandard/
Disallow: /k/*/sortcheap/
# Hinweis: Zusaetzlich setzen die Filter-/Pagination-Links im HTML
# rel="nofollow" (controllers/Categories.php). robots.txt allein reicht
# nicht — Crawler entdecken die URLs sonst ueber interne Links und
# erzeugen trotz Sperre Last (Google liest robots.txt erst nach dem Fetch).
# Erlaube statische Assets
Allow: /static/css/
Allow: /static/plugins/
Allow: /static/img/
# Anzeigen-Bilder müssen gecrawlt werden (Google Bildersuche / Rich Results)
# – spezifischeres Allow überschreibt das obige "Disallow: /users/"
Allow: /users/upload/classifieds/
Allow: /static/css/LiberationSans-Regular-webfont.woff2
# Sitemaps
Sitemap: https://www.localfied.de/sitemap.xml
# Schlechte Bots blockieren
User-agent: Baiduspider
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: twiceler
Disallow: /
User-agent: A6-Indexer
Disallow: /
User-agent: AlphaSeoBot
Disallow: /
User-agent: AlphaSeoBot-SA
Disallow: /
User-agent: AspiegelBot
Disallow: /
User-agent: Blackboard Safeassign
Disallow: /
User-agent: BLEXBot/1.0
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: crawler4j
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: LieBaoFast
Disallow: /
User-agent: MauiBot
Disallow: /
User-agent: MauiBot (crawler.feedback+wc@gmail.com)
Disallow: /
User-agent: MegaIndex.ru/2.0
Disallow: /
User-agent: MqqBrowser
Disallow: /
User-agent: Nimbostratus-Bot/v1.3.2
Disallow: /
User-agent: Seekport Crawler
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SeznamBot
Disallow: /
User-agent: SputnikBot/2.3
Disallow: /
User-agent: The Knowledge AI
Disallow: /
User-agent: TurnitinBot
Disallow: /
User-agent: UCBrowser
Disallow: /
User-agent: yacybot
Disallow: /
User-agent: Yeti
Disallow: /
User-agent: YisouSpider
Disallow: /
# KI / LLM-Crawler (Stand 2025/2026)
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: YouBot
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Omgilibot
Disallow: /
User-agent: FacebookBot
Disallow: /
# Meta-Crawler (Stand 02.11.2026): meta-webindexer + meta-externalagent
# erzeugten ~1130 Requests in 10 Minuten auf Filter-URLs und waren damit
# die Hauptlast des 502/504-Vorfalls. Sie respektieren robots.txt.
User-agent: meta-webindexer
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: meta-externalfetcher
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Diffbot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: ImagesiftBot
Disallow: /
User-agent: img2dataset
Disallow: /