---
title: "Was steht in der robots.txt? – einfach erklärt | SEO"
url: https://iliyan-hristov.de/seo/was-steht-in-der-robots-txt/
source: SEO Einfach Kapiert
language: de
published: 2026-10-16T05:47:59.000Z
modified: 2026-10-16T05:47:59.000Z
---

# Was steht in der robots.txt?

🛠 Technisches SEO · Technisches SEO · Deutsch · Quer · 127 Sek.

## Kurz gesagt

Fast jede Website hat eine winzige Textdatei, die Suchmaschinen zuerst lesen. Sie heißt robots.txt. In diesem Video schauen wir, was darin steht und warum das wichtig ist, wenn deine Seite bei Google oder in KI-Suchen auftauchen soll.

Von der Redaktion „Iliyan Hristov“ · veröffentlicht am 16. Oktober 2026

## Das Wichtigste in Kürze

- Einfache Textdatei im Hauptordner
- Erreichbar unter deineseite.de/robots.txt
- Erste Anlaufstelle für Crawler
- Wie ein Schild im Museum
- Sagt: hier bitte nicht weitergehen
- Keine Mauer, nur eine Bitte
- Crawler sind automatische Suchprogramme
- Sie sammeln Seiten für den Index

**Zum Nachlesen: Was im Video sagt**

EinleitungFast jede Website hat eine winzige Textdatei, die Suchmaschinen zuerst lesen. Sie heißt robots.txt. In diesem Video schauen wir, was darin steht und warum das wichtig ist, wenn deine Seite bei Google oder in KI-Suchen auftauchen soll.

Was die robots.txt istDie robots.txt ist eine schlichte Textdatei, die direkt im Hauptordner deiner Website liegt. Du erreichst sie, indem du hinter deine Adresse ein Schrägstrich und robots.txt schreibst. Suchmaschinen lesen sie meist als Erstes, bevor sie sich deine Seiten ansehen.

Ein Hinweisschild am EingangStell dir ein Museum vor. Am Eingang hängt ein Schild: Räume eins bis fünf sind offen, der Lagerraum bleibt zu. Genau so funktioniert die robots.txt. Sie ist allerdings keine abgeschlossene Tür, sondern eine höfliche Bitte, an die sich seriöse Besucher halten.

Wer hier liestEin Crawler ist ein Programm, das automatisch durchs Internet läuft und Seiten einsammelt. Diese Seiten landen dann im Index, also im großen Verzeichnis der Suchmaschine. Auch die Bots von KI-Suchen lesen die robots.txt, bevor sie Inhalte für ihre Antworten verwenden.

Die wichtigsten ZeilenUser-agent legt fest, welcher Bot gemeint ist. Disallow benennt Bereiche, die er auslassen soll, Allow erlaubt einzelne Ausnahmen. Ganz unten steht oft ein Link zur Sitemap, also zur Liste aller Seiten, damit nichts übersehen wird.

Typische FehlerEin einziges falsches Zeichen kann die komplette Website für Suchmaschinen sperren. Auch Dateien für Design und Bilder sollten lesbar bleiben, sonst sieht die Suchmaschine deine Seite nur halb. Und wichtig: Was in der robots.txt steht, kann jeder lesen. Echte Geheimnisse gehören dort nicht hinein.

Zum SchlussDie robots.txt ist klein, aber sie entscheidet mit, welche Türen für Suchmaschinen und KI-Bots offen stehen. Ruf deine eigene Datei einmal im Browser auf und schau nach, was dort steht. Im nächsten Video geht es um die Sitemap, die passende Übersicht aller deiner Seiten.

## Auf YouTube

Mehr Videos auf unserem Kanal „Einfach Kapiert“.

[Kanal abonnieren](https://www.youtube.com/channel/UCaFHv0DJXbC8VJVKwGIVJSw?sub_confirmation=1)

## Mehr zum Thema Technisches SEO alle ansehen

- [Was sind Core Web Vitals?](https://iliyan-hristov.de/seo/was-sind-core-web-vitals/) – 🛠 Technisches SEO · 94 Sek.

- [Warum ist die Ladezeit für SEO wichtig?](https://iliyan-hristov.de/seo/warum-ist-die-ladezeit-fuer-seo-wichtig/) – 🛠 Technisches SEO · 126 Sek.

- [Was ist ein Canonical-Tag?](https://iliyan-hristov.de/seo/was-ist-ein-canonical-tag/) – 🛠 Technisches SEO · 104 Sek.