Wil je webpagina’s toevoegen aan de kennis van je chatbot? In dit artikel leer je hoe je dit eenvoudig kunt doen met behulp van de Web Crawler.
Let op; De Web Crawler is alleen beschikbaar in de Premium-, Business- en Enterprise-pakketten.
Naast het toevoegen van informatie via instructies, AI-zoekopdrachten of de Document Scraper, wil je misschien ook informatie van je website aan je chatbot toevoegen. De Web Crawler doet precies dat. Het haalt eerst alle URLs op die je wilt crawlen, en crawlt vervolgens de pagina’s om de inhoud toe te voegen aan de kennis van je chatbot. Op deze manier hoef je de data niet handmatig toe te voegen, wat het onderhoud van je chatbot vereenvoudigt.
In dit artikel leer je meer over wat een Web Crawler precies is en hoe het technisch werkt.
1. De Web Crawler openen
Om te beginnen, open je je chatbot en ga je naar ‘Bronnen’ in Pulse om de Web Crawler te vinden.
2. Je website toevoegen
Binnen de Web Crawler kun je eenvoudig de URLs van je website toevoegen en beheren. Er zijn drie manieren om URLs toe te voegen. Je kunt deze opties ook combineren.
- Hele sitemap: Deze optie raden wij aan omdat dit je de meest complete lijst met URLs geeft. Lees in dit artikel hoe je een goede sitemap maakt.
- URLs ophalen via het rootdomein: Hiermee wordt geprobeerd alle URLs op de site te vinden.
- Handmatig specifieke URLs toevoegen: Deze optie gebruik je als je alleen informatie van specifieke pagina’s van je site wilt toevoegen, maar niet de hele website.
Nadat je de URL in de balk hebt ingevoerd, klik je op “Links ophalen”. De Web Crawler toont de opgehaalde URLs in een tabel, waarbij ook het tijdstip wordt weergegeven waarop de URL is toegevoegd. Afhankelijk van het aantal URLs kan het ophalen enige tijd duren.
Het ophalen van de URLs is de eerste stap. Nadat de URLs zijn opgehaald, kun je per URL beslissen of je:
- URLs wilt includeren of excluderen voor crawling (dit bepaalt of de inhoud van de pagina wordt toegevoegd aan de kennis van de chatbot).
- Kiezen of de chatbot de URL wel of niet gebruikt in zijn reacties (dit bepaalt of de chatbot de URL deelt met gebruikers tijdens gesprekken).
Zodra je deze keuzes hebt gemaakt, kun je beginnen met het crawlen. Je kunt ervoor kiezen om alle links te crawlen, een selectie van links, of een individuele link.
Let op: Als het crawlen van een rootdomein of sitemap zeer snel wordt voltooid (binnen enkele seconden), kan dit erop wijzen dat slechts een klein deel van de website is gecrawld. Dit kan gebeuren als de website technisch moeilijk te crawlen is of niet volledig toegankelijk is. Neem in dat geval gerust contact op met ons supportteam voor hulp.
Crawl statussen:
De URL's in de lijst kunnen verschillende statussen hebben. Hieronder een overzicht van de verschillende statussen:
| Status | Betekenis |
| Gecrawled | De URL is toegevoegd aan de kennis van de chatbot |
| Niet gecrawled | De URL is nog niet gecrawled |
| In wachtrij | De URL staat nog in de wachtrij om gecrawled te worden |
| Excluded | De URL is uitgesloten van crawlen |
3. URLs opnieuw crawlen
Wanneer de inhoud op je website verandert, kun je de kennis van je chatbot eenvoudig bijwerken door op ‘Crawl’ te klikken. Dit zorgt ervoor dat nieuwe of bijgewerkte inhoud wordt geïntegreerd in de kennisbasis van je chatbot. Je kunt dit per URL doen of alle URLs in één keer crawlen. Houd rekening met je crawl-limieten wanneer je ervoor kiest om alle URLs te crawlen.
De Web Crawler kan geen informatie achter knoppen of bijvoorbeeld een dropdownmenu ophalen. Deze informatie moet je handmatig toevoegen in de Instructies van je chatbot.
4. Een gecrawlde URL verwijderen
Als je een specifieke URL uit de Web Crawler wilt verwijderen, klik je eenvoudig op de knop Verwijderen naast de URL. Je kunt ook de multi-select optie gebruiken om meerdere URLs tegelijk te verwijderen.
Let op: Het verwijderen van een URL zal ook alle kennis die de chatbot van die specifieke URL heeft verkregen, wissen.
5. De chatbot testen met websitekennis
Zodra het crawlen is voltooid, kun je je chatbot testen met de nieuw verkregen kennis in de Interactive Tester. Dit stelt je in staat om te zien hoe de chatbot de van je website verzamelde inhoud gebruikt tijdens gesprekken.
Belangrijk: Als de informatie op je website conflicteert met handmatig toegevoegde instructies in je chatbot, kan de chatbot de kennis door elkaar gebruiken. Dit kan ertoe leiden dat de chatbot verschillende antwoorden geeft op dezelfde vraag, afhankelijk van welke kennisbron wordt gebruikt.
Als de resultaten van de Web Crawler niet zijn zoals verwacht, neem dan contact met ons op via support@watermelon.ai. Ons supportteam helpt je graag verder!