Eine Sitemap ist eine der einfachsten Dateien, die auf einer Website erstellt werden können. Ihre Funktion scheint offensichtlich: URLs auflisten, damit Suchmaschinen sie finden. In der Praxis enthalten die meisten automatisch generierten Sitemaps von CMS-Erweiterungen unnötige URLs, falsche Änderungsdaten und keine Sortierlogik.
Das Ergebnis: Eine Datei, die Googlebot liest, ohne viel daraus zu gewinnen, und eine HTML-Seite der Sitemap, die von den Besuchern ignoriert wird. Eine Sitemap zu optimieren bedeutet zunächst zu verstehen, was Roboter und Menschen von dieser Datei erwarten, und dann zu entscheiden, was darin enthalten sein sollte.
Lastmod, veralteter Ping und echte Signale an Suchmaschinen
Das lastmod-Tag in der XML-Sitemap wird oft falsch verwendet. Google stellt klar, dass dieser Wert nur dann bei der Planung von Crawls hilft, wenn er eine tatsächliche Änderung des Hauptinhalts, der strukturierten Daten oder interner Links widerspiegelt. Ein CMS, das die Sitemap regeneriert und alle Daten bei jedem Build aktualisiert, sendet ein verwirrendes Signal: Der Roboter kann nicht mehr zwischen einer tatsächlich aktualisierten Seite und einer unveränderten Seite unterscheiden.
Dieser technische Punkt hat direkte Auswirkungen auf die indirekte Navigation. Eine Sitemap mit zuverlässigen Daten ermöglicht es den Suchmaschinen, das Crawlen frischer Seiten zu priorisieren. Auf einer redaktionellen oder E-Commerce-Website bedeutet dies, dass neue Inhalte schneller in den Ergebnissen erscheinen, was die Zeit zwischen Veröffentlichung und erstem organischen Besuch verkürzt.
Ein weiteres Signal, das überprüft werden sollte: die Benachrichtigungsmethode. Google hat im Juni 2023 den alten Ping-Endpunkt für Sitemaps entfernt. Die Plugins, die eine Anfrage an diese URL gesendet haben, benachrichtigen daher nichts mehr. Die beiden funktionierenden Methoden bleiben die Deklaration in robots.txt und das Senden über die Google Search Console. Eine Website, die ihre Konfiguration seit diesem Datum nicht aktualisiert hat, könnte glauben, dass ihre neuen Inhalte gemeldet werden, obwohl dies nicht der Fall ist.
Für Websites, die auch Bing anvisieren, ergänzt das IndexNow-Protokoll die Sitemap, indem es die hinzugefügten, geänderten oder entfernten URLs in Echtzeit signalisiert. Dieser Mechanismus ersetzt die Sitemap nicht (die weiterhin ein Inventar bleibt), beschleunigt jedoch die Berücksichtigung von Änderungen durch die teilnehmenden Suchmaschinen. Wenn man die Sitemap-Seite von Agri Systems konsultiert, sieht man übrigens ein Beispiel für eine Struktur, bei der jede aufgelistete URL einem tatsächlich zugänglichen und indexierbaren Inhalt entspricht.
XML-Sitemap und HTML-Sitemap: zwei Dateien, zwei unterschiedliche Zielgruppen
Die Verwirrung zwischen XML-Sitemap und HTML-Sitemap-Seite besteht weiterhin, weil beide denselben Namen tragen. Ihre Empfänger haben nichts gemeinsam.
Die XML-Sitemap richtet sich an Crawling-Roboter. Sie listet die kanonischen URLs mit ihren Metadaten (Änderungsdatum, möglicherweise die Änderungsfrequenz, obwohl Google die Tags priority und changefreq mittlerweile ignoriert). Ihr Format ist nicht dafür gedacht, von einem Menschen gelesen zu werden.
Die HTML-Sitemap richtet sich an Besucher. Sie funktioniert wie ein visuelles Sitemap, organisiert nach Kategorien oder Themen. Ihr Nutzen hängt von der Größe der Website und der Qualität des Hauptnavigationsmenüs ab.
Auf einer Website mit weniger als fünfzig Seiten und einem gut strukturierten Menü bringt diese HTML-Seite nahezu nichts. Auf einer umfangreichen Website mit Inhalten, die auf mehreren Ebenen verborgen sind, kann sie die Anzahl der Klicks reduzieren, die erforderlich sind, um eine bestimmte Seite zu erreichen.
Was die HTML-Sitemap für das interne Linking ändert
Eine HTML-Sitemap erstellt einen direkten internen Link zu jeder aufgelisteten URL. Dies reduziert die Crawltiefe bestimmter Seiten, was ihre Entdeckung durch die Suchmaschinen erleichtern kann. Aber eine HTML-Sitemap kompensiert kein fehlerhaftes internes Linking. Wenn eine Seite nur über die Sitemap und keinen kontextuellen Link im Text der Artikel zugänglich ist, bleibt sie schwach mit dem Rest der Architektur verbunden.
Die HTML-Sitemap funktioniert besser als Sicherheitsnetz als als Linking-Strategie. Sie fängt vergessene Seiten ein, nicht die, die hervorgehoben werden sollten.
URLs der Sitemap filtern: Was sollte enthalten sein und was sollte ausgeschlossen werden
Die meisten automatisch generierten Sitemaps enthalten alle öffentlichen URLs der Website. Dieses Standardverhalten stellt ein Problem dar: Es ertränkt strategische Seiten in einer Liste von Tag-Seiten, internen Suchergebnissen, Paginierungen oder doppelten Inhalten.
Eine effektive Sitemap wendet einen strengen Filter an. Die URLs, die sie enthält, müssen gleichzeitig drei Bedingungen erfüllen:
- Die Seite gibt einen HTTP-Statuscode 200 zurück, ohne Weiterleitung oder Fehler. Eine in der Sitemap weitergeleitete URL in 301 verschwendet Crawl-Budget und sendet ein widersprüchliches Signal an den Roboter.
- Die Seite trägt ein Meta-Robots-Tag, das die Indizierung erlaubt. Eine noindex-URL in der Sitemap einzuschließen, bedeutet, die Suchmaschine zu bitten, eine Seite zu besuchen, um ihr zu sagen, dass sie sie nicht speichern soll.
- Die Seite enthält einen einzigartigen und nützlichen Inhalt für einen Besucher. Seiten mit facettierten Filtern, Archivseiten ohne eigenen redaktionellen Inhalt und interne Suchergebnisse haben in der Regel keinen Platz in der Sitemap.
Jede URL in der Sitemap sollte eine Seite sein, die Sie in den Suchergebnissen sehen möchten. Wenn das nicht der Fall ist, überlastet sie die Datei.
Spezialisierte Sitemaps nach Inhaltstyp: Bilder, Videos, Nachrichten
Das XML-Sitemap-Format unterstützt Erweiterungen, die bestimmten Medientypen gewidmet sind. Eine Bild-Sitemap ermöglicht es, visuelle Inhalte zu referenzieren, die durch das klassische Crawlen nicht entdeckt werden (z. B. Bilder, die in JavaScript geladen werden). Eine Video-Sitemap liefert Metadaten wie Dauer, Beschreibung und Miniaturansicht, was das Erscheinen in den erweiterten Google-Ergebnissen erleichtert.
Die Nachrichten-Sitemap betrifft hingegen Websites, die für Google Nachrichten berechtigt sind. Sie signalisiert Artikel, die in den letzten 48 Stunden veröffentlicht wurden, mit ihrem Veröffentlichungsdatum und ihrem Titel.
Diese spezialisierten Sitemaps sind nur für Websites relevant, die diese Arten von Inhalten in signifikantem Umfang produzieren. Eine Unternehmenswebsite mit zehn Seiten benötigt keine Video-Sitemap. Im Gegensatz dazu gewinnt eine E-Commerce-Website mit Tausenden von illustrierten Produktbeschreibungen, wenn sie eine separate Bild-Sitemap deklariert, um ihre Sichtbarkeit in Google Bilder zu erhöhen.
Bekannte Einschränkungen dieser Erweiterungen
Google garantiert nicht die Indizierung von Medien, die in einer spezialisierten Sitemap deklariert sind. Die Datei erleichtert die Entdeckung, nicht die Auswahl. Die Qualitätskriterien des Inhalts, die Relevanz der Hostseite und die Popularitätssignale bleiben entscheidend. Eine perfekt strukturierte Video-Sitemap reicht nicht aus, wenn die Seite, die das Video hostet, keinen eingehenden Link oder keinen Verkehr hat.
Die Wartung dieser Dateien stellt auch eine technische Belastung dar. Eine Bild-Sitemap, die nicht mit dem Produktkatalog synchronisiert ist (gelöschte Bilder, defekte URLs), mindert die Gesamtzuverlässigkeit der Sitemap in den Augen des Roboters. Besser ist eine einzige saubere XML-Sitemap als eine Sammlung schlecht gewarteter spezialisierter Dateien.
