Een sitemap is een van de eenvoudigste bestanden om te produceren op een website. De functie lijkt voor de hand liggend: URL’s opsommen zodat zoekmachines ze kunnen vinden. In de praktijk bevatten de meeste automatisch gegenereerde sitemaps door CMS-extensies nutteloze URL’s, onjuiste wijzigingsdata en geen logica voor sortering.
Het resultaat: een bestand dat Googlebot leest zonder er veel uit te halen, en een HTML-pagina van de sitemap die door bezoekers wordt genegeerd. Een sitemap optimaliseren betekent eerst begrijpen wat robots en mensen van dit bestand verwachten, en vervolgens beslissen wat er wel of niet in moet staan.
Lastmod, verouderde ping en echte signalen naar zoekmachines
De lastmod-tag in de XML-sitemap wordt vaak verkeerd gebruikt. Google geeft aan dat deze waarde alleen helpt bij het plannen van recrawls als deze een echte wijziging van de hoofdinhoud, gestructureerde gegevens of interne links weerspiegelt. Een CMS dat de sitemap regenerert en alle data bijwerkt bij elke build, stuurt een verstoord signaal: de robot kan een werkelijk bijgewerkte pagina niet onderscheiden van een onveranderde pagina.
Dit technische punt heeft directe gevolgen voor de indirecte navigatie. Een sitemap met betrouwbare data stelt zoekmachines in staat om de crawl van verse pagina’s te prioriteren. Op een redactionele of e-commerce site betekent dit dat nieuwe inhoud sneller verschijnt in de resultaten, wat de tijd tussen publicatie en de eerste organische bezoek vermindert.
Een ander signaal om te controleren: de notificatiemethode. Google heeft in juni 2023 de oude ping-eindpunt voor sitemaps verwijderd. De plugins die een verzoek naar deze URL stuurden, notificeren dus niets meer. De twee methoden die nog werken zijn de verklaring in robots.txt en het verzenden via Google Search Console. Een site die zijn configuratie sinds deze datum niet heeft bijgewerkt, kan denken dat zijn nieuwe inhoud wordt gemeld terwijl dat niet het geval is.
Voor sites die ook Bing targeten, aanvult het IndexNow-protocol de sitemap door de toegevoegde, gewijzigde of verwijderde URL’s in real-time te signaleren. Dit mechanisme vervangt de sitemap niet (die blijft een inventaris), maar versnelt de verwerking van wijzigingen door de deelnemende zoekmachines. Wanneer men de sitemap-pagina van Agri Systems bekijkt, ziet men bovendien een voorbeeld van een structuur waarbij elke vermelde URL correspondeert met een werkelijk toegankelijke en indexeerbare inhoud.
XML-sitemap en HTML-sitemap: twee bestanden, twee verschillende doelgroepen
De verwarring tussen XML-sitemap en HTML-sitemappagina blijft bestaan omdat beide dezelfde naam dragen. Hun ontvangers hebben niets met elkaar gemeen.
De XML-sitemap is gericht op crawlers. Het somt de canonieke URL’s op met hun metadata (wijzigingsdatum, eventueel de wijzigingsfrequentie, hoewel Google de priority- en changefreq-tags nu negeert). Het formaat is niet bedoeld om door een mens te worden gelezen.
De HTML-sitemap is gericht op bezoekers. Het functioneert als een visuele sitemap, georganiseerd per categorie of thema. De nuttigheid ervan hangt af van de grootte van de site en de kwaliteit van het hoofd navigatiemenu.
Op een site met minder dan vijftig pagina’s en een goed gestructureerd menu voegt deze HTML-pagina vrijwel niets toe. Op een grote site met inhoud die op verschillende niveaus is verborgen, kan het het aantal klikken dat nodig is om een specifieke pagina te bereiken verminderen.
Wat de HTML-sitemap verandert voor de interne linkstructuur
Een HTML-sitemap creëert een directe interne link naar elke URL die het opsomt. Dit vermindert de crawl-diepte van bepaalde pagina’s, wat hun ontdekking door zoekmachines kan vergemakkelijken. Maar een HTML-sitemap compenseert geen gebrekkige interne linkstructuur. Als een pagina alleen toegankelijk is via de sitemap en niet via een contextuele link in de artikelen, blijft deze zwak verbonden met de rest van de architectuur.
De HTML-sitemap functioneert beter als een vangnet dan als een linkstrategie. Het vangt vergeten pagina’s, niet de pagina’s die in de schijnwerpers moeten staan.
URL’s filteren in de sitemap: wat moet erin staan en wat moet worden uitgesloten
De meeste automatisch gegenereerde sitemaps bevatten alle openbare URL’s van de site. Dit standaardgedrag vormt een probleem: het verdrinkt strategische pagina’s in een lijst van tagpagina’s, interne zoekresultaten, pagineringen of dubbele inhoud.
Een effectieve sitemap past een strikte filter toe. De URL’s die het bevat, moeten gelijktijdig aan drie voorwaarden voldoen:
- De pagina retourneert een HTTP 200-code, zonder omleiding of fout. Een in de sitemap omgeleide URL in 301 verspilt crawlbudget en stuurt een tegenstrijdig signaal naar de robot.
- De pagina heeft een meta robots-tag die indexering toestaat. Een noindex-URL opnemen in de sitemap is alsof je de zoekmachine vraagt een pagina te bezoeken om te zeggen dat deze niet moet worden bewaard.
- De pagina bevat unieke en nuttige inhoud voor een bezoeker. Facetfilterpagina’s, archieven per datum zonder eigen redactionele inhoud en interne zoekresultaatpagina’s hebben doorgaans geen plaats in de sitemap.
Elke URL in de sitemap moet een pagina zijn die je in de zoekresultaten wilt zien. Als dat niet het geval is, verstoort het het bestand.
Gespecialiseerde sitemaps per type inhoud: afbeeldingen, video’s, nieuws
Het XML-sitemapformaat ondersteunt extensies die zijn gewijd aan bepaalde mediatypes. Een afbeeldingen-sitemap maakt het mogelijk om visuele elementen te indexeren die mogelijk niet worden ontdekt door de klassieke crawl (afbeeldingen die in JavaScript zijn geladen, bijvoorbeeld). Een video’sitemap biedt metadata zoals de duur, beschrijving en miniatuur, wat de verschijning in de verrijkte resultaten van Google vergemakkelijkt.
De nieuws-sitemap betreft sites met nieuws die in aanmerking komen voor Google Nieuws. Het signaleert artikelen die in de laatste 48 uur zijn gepubliceerd met hun publicatiedatum en titel.
Deze gespecialiseerde sitemaps zijn alleen relevant voor sites die deze soorten inhoud in significante hoeveelheden produceren. Een vitrine-site van tien pagina’s heeft geen video’sitemap nodig. Omgekeerd kan een e-commerce site met duizenden geïllustreerde productpagina’s profiteren van het aangeven van een aparte afbeeldingen-sitemap om de zichtbaarheid in Google Afbeeldingen te vergroten.
Bekende beperkingen van deze extensies
Google garandeert niet dat de media die in een gespecialiseerde sitemap zijn opgegeven, worden geïndexeerd. Het bestand vergemakkelijkt de ontdekking, niet de selectie. De kwaliteitscriteria van de inhoud, de relevantie van de hostpagina en de populariteitssignalen blijven bepalend. Een perfect gestructureerde video’sitemap is niet voldoende als de pagina die de video host geen inkomende links of verkeer heeft.
Het onderhoud van deze bestanden vormt ook een technische last. Een afbeeldingen-sitemap die niet synchroon loopt met de productcatalogus (verwijderde afbeeldingen, gebroken URL’s) vermindert de algehele betrouwbaarheid van de sitemap in de ogen van de robot. Het is beter om één schone XML-sitemap te hebben dan een set slecht onderhouden gespecialiseerde bestanden.
