Verwendest du den Web Crawler, um Seiten deiner Website automatisch zum Wissen deines AI Agent hinzuzufügen? Dann ist es wichtig zu wissen, wie du dabei korrekt vorgehst, wenn sich deine Sitemap regelmäßig ändert.
In diesem Artikel erfährst du, was du bei Änderungen an deiner Sitemap beachten musst und wie du vermeidest, dass dein AI Agent veraltete Informationen verwendet.
Der Web Crawler erkennt keine Änderungen in deiner Sitemap
Wenn du die Sitemap deiner Website aktualisierst, solltest du wissen, dass der Web Crawler frühere Versionen nicht speichert oder vergleicht. Das Tool behandelt jede neu hinzugefügte Sitemap als eine völlig neue Sammlung von URLs.
Was passiert, wenn du eine geänderte Sitemap erneut hinzufügst?
- Alle URLs, die zum Zeitpunkt des Hinzufügens in der Sitemap stehen, werden erneut zum AI Agent hinzugefügt.
- URLs, die nicht mehr in der Sitemap enthalten sind, werden nicht automatisch gelöscht.
Was solltest du bei einer geänderten Sitemap tun?
- Entferne zuerst manuell alle bestehenden URLs aus dem Web Crawler, die nicht mehr verwendet werden sollen.
- Füge anschließend die neue (geänderte) Sitemap hinzu.
- Crawle danach erneut die gewünschten Seiten.
Hinweis: Während dieses Prozesses enthält dein AI Agent vorübergehend kein Wissen aus dem Web Crawler. Führe diesen Schritt daher vorzugsweise zu einem Zeitpunkt mit geringem Traffic durch.
Möchtest du mehr über die Einrichtung und Nutzung des Web Crawlers erfahren? Dann lies den Artikel Wie du den Web Crawler verwendest.