Suchmaschinen & KI
Unter Suchmaschinen & KI steuern Sie drei Dateien, die Suchmaschinen und KI-Dienste auf Ihrer Website lesen: sitemap.xml, robots.txt und llms.txt. Hier können Sie sie auch ansehen und prüfen.
Aufruf
Der Eintrag Suchmaschinen & KI steht in den Busapp Einstellungen zweimal: unter Ausgabe als Vorgabe für alle Domains und bei jeder einzelnen Domain. Die Vorgabe gilt für jede Domain ohne eigene Einstellung. Sobald Sie bei einer Domain speichern, erhält sie eine eigene Einstellung; mit Auf Vorgabe zurücksetzen kehrt sie zur Vorgabe zurück.
Sitemap
Mit dem Häkchen Sitemap ausliefern erzeugt das CMS die sitemap.xml. Sie enthält alle online gestellten Seiten, die nicht von der Indexierung ausgenommen sind, mit Änderungsdatum und Verweisen auf die anderen Sprachen.
robots.txt
Unter Modus stehen zwei Varianten zur Wahl:
- Automatisch — alles ist erlaubt; gesperrte KI-Crawler und der Verweis auf die Sitemap werden ergänzt. Dazu gehören:
- KI-Crawler sperren — angehakte Crawler erhalten
Disallow: /. Standardmässig sind alle erlaubt. Die normale Google- und Bing-Suche ist davon nicht betroffen. - Zusatzregeln — eine Regel pro Zeile, angehängt unter
User-agent: *.
- KI-Crawler sperren — angehakte Crawler erhalten
- Eigener Inhalt — der Text im Feld Inhalt wird unverändert ausgeliefert. Den Verweis auf die Sitemap tragen Sie dann selbst ein.
llms.txt
Die llms.txt ist eine Übersicht der Website für KI-Assistenten: Titel, Kurzbeschreibung und alle online gestellten Seiten mit ihrer Meta-Beschreibung. Mit dem Häkchen llms.txt ausliefern schalten Sie sie ein.
- Titel — leer bedeutet: Bezeichnung der Domain.
- Kurzbeschreibung — wer Sie sind, was Sie anbieten und für wen.
- Zusatztext — Markdown, wird am Ende angehängt, z.B. Kontaktangaben.
Speichern Sie die Einstellungen mit Speichern.
Einzelne Seiten ausnehmen
In den Seiten-Einstellungen gibt es je Sprache den Block Suchmaschinen mit zwei Häkchen:
- In Suchmaschinen indexieren — ohne Haken steht die Seite nicht in der Sitemap und wird mit
noindexausgeliefert. - In llms.txt aufnehmen — ohne Haken fehlt die Seite in der llms.txt.
Die Änderung wird als Entwurf gespeichert und ist wirksam, sobald die Seite oder ihre Meta-Tags online gestellt werden.
Eine eigene Datei hat Vorrang
Liegt im Hauptverzeichnis der Website bereits eine eigene robots.txt, llms.txt oder sitemap.xml, wird diese ausgeliefert, und die Einstellung hier greift dafür nicht. Das CMS zeigt dann einen Hinweis. Zum Umstellen löschen oder benennen Sie die Datei im Dateimanager um.
Ansehen und prüfen
- Ausgelieferte Dateien — die Knöpfe robots.txt, llms.txt und sitemap.xml zeigen, was die Website tatsächlich ausliefert.
- Sitemap-Prüfung — Jetzt prüfen ruft robots.txt, Sitemap, llms.txt und jede darin genannte Seite ab und gleicht sie mit den online gestellten Seiten ab. Nach jedem Online-Stellen wird die betroffene Seite zusätzlich kurz geprüft.
- Letzte Prüfungen — der Verlauf mit Anzahl URLs, Fehlern und Warnungen.
Weiterführend: Metaeditor · Domain & Vorschau
