Gebruik je de Web Crawler om pagina’s van je website automatisch toe te voegen aan de kennis van je AI Agent? Dan is het belangrijk om te weten hoe je dit correct doet wanneer je sitemap regelmatig wijzigt.
In dit artikel lees je wat je moet doen bij wijzigingen in je sitemap, en hoe je voorkomt dat je AI Agent verouderde informatie gebruikt.
De Web Crawler herkent geen wijzigingen in je sitemap
Wanneer je de sitemap van je website wijzigt, is het belangrijk om te begrijpen dat de Web Crawler geen eerdere versies onthoudt of vergelijkt. De tool ziet elke herhaalde toevoeging van een sitemap als een compleet nieuwe set URLs.
Wat gebeurt er als je een gewijzigde sitemap opnieuw toevoegt?
- Alle URL’s die op dat moment in de sitemap staan, worden opnieuw toegevoegd aan de AI Agent.
- URL’s die niet meer in de sitemap staan, worden niet automatisch verwijderd uit de kennis van de AI Agent.
Wat moet je doen bij een gewijzigde sitemap?
- Verwijder eerst handmatig alle bestaande URL’s uit de Web Crawler die je niet meer wilt gebruiken.
- Voeg vervolgens de nieuwe (gewijzigde) sitemap toe.
- Crawl daarna de gewenste pagina’s opnieuw.
Let op: Tijdens dit proces is er een korte periode waarin de AI Agent geen kennis uit de Web Crawler bevat. Voer dit bij voorkeur uit op een moment met weinig verkeer.
Wil je meer weten over het instellen en gebruiken van de Web Crawler in het algemeen? Lees dan het artikel Hoe gebruik je de Web Crawler?