Eine robots.txt ist eine einfache Textdatei im Hauptverzeichnis Deiner Website, die Suchmaschinen-Crawlern sagt, welche Bereiche sie crawlen dürfen – und welche nicht. Sie steuert damit vor allem das Crawling, nicht automatisch die Indexierung: Eine URL kann trotz Sperre unter Umständen trotzdem in den Suchergebnissen auftauchen, wenn sie extern verlinkt ist.
Typische Einsätze sind das Blockieren von Admin-Bereichen, Testverzeichnissen oder Parametern, die unnötige Duplikate erzeugen. Gleichzeitig kannst Du dort auch den Pfad zu Deiner Sitemap angeben, damit Bots wichtige Seiten schneller finden.
- Gut für SEO: Crawl-Ressourcen gezielt auf relevante Inhalte lenken
- Riskant: Falsch gesetzte Regeln können ganze Bereiche aus dem Crawl ausschließen
- Tipp: Prüfe Änderungen immer in der Google Search Console, bevor Du live gehst
Du willst das nicht selbst umsetzen?
Kostenlos beraten lassenWir kümmern uns darum, dass dein Unternehmen bei Google gefunden wird.