Breid de kennis van je chatbot uit met de Web Scraper

Wil je de kennis van je chatbot verrijken met informatie van je website? In dit artikel lees je hoe je dit eenvoudig kunt doen met de Web Scraper.

Naast het toevoegen van domeinkennis wil je wellicht nog veel meer informatie aan je chatbot toevoegen. Met behulp van de Web Scraper wordt alle relevante informatie van specifieke websites "gescraped" en geïntegreerd in de kennis van je chatbot! Hierdoor hoef je niet langer handmatig alle gegevens toe te voegen en wordt het onderhoud van je chatbot vereenvoudigd. 

In dit artikel lees je meer over wat een Web Scraper precies is en hoe dit (technisch) werkt.

1. Toegang tot de Web Scraper

Om te beginnen, creëer je een nieuwe chatbot of open je een bestaande chatbot waarin je informatie van een specifieke website wilt opnemen. Ga naar het menu-item 'Bronnen' om de Web Scraper te vinden.

 

2. Toevoegen van de website

Eenmaal in de Web Scraper omgeving kun je eenvoudig je website toevoegen en beheren. Voer de URL in van de website waarvan je informatie wilt extraheren en klik op 'Start met scrapen'. 

Als jouw website een sitemap heeft, raden we aan deze als URL toe te voegen. In dit artikel vind je meer informatie over wat een sitemap is en hoe je deze toevoegt.  

De status van het scrapen en het tijdstip van de laatste scrape van de website worden weergegeven.
Bij grote websites kan het enige tijd duren voordat de gehele website is gescraped.

Let op: Wanneer het scrapen heel snel (binnen enkele seconden) afgerond is, kan dat betekenen dat er slechts een heel klein deel van de website gescraped is, omdat de website niet of lastig te scrapen is. Neem wanneer dit gebeurt gerust contact op met onze support afdeling om te kijken of en hoe de website gescraped kan worden. 

Lees hiervoor ook dit artikel over het scrapen van de sitemap. 

Het scrapen van een pagina / link

Het scrapen van een enkele link is niet mogelijk. De scraper gebruikt het gehele domein. Het is bijvoorbeeld niet mogelijk om www.watermelon.ai/pricing te scrapen, maar wel mogelijk om www.watermelon.ai te scrapen. 

Indien je een enkele pagina wenst te scrapen, kun je deze pagina het beste omzetten in een PDF-document en deze vervolgens toevoegen via de Document Scraper (zie dit artikel). Het omzetten van een pagina in een PDF-document doe je door naar de pagina te navigeren en deze pagina op te slaan als PDF (via rechtermuisknop). 

3. Opnieuw scrapen

Wanneer de content op de website veranderd, kun je opnieuw op 'Scrape' klikken, om de website opnieuw te laten scrapen.

 

4. Verwijderen van een gescrapede URL

Als je een specifieke URL uit de Web Scraper wilt verwijderen, klik je eenvoudig op de daarvoor bestemde knop naast de URL.

Let op: Het verwijderen van een URL wist ook alle kennis die de chatbot uit die specifieke website had verworven.


5. Testen van de chatbot met website kennis

Nadat het scrapen is voltooid, test je je chatbot met de verkregen kennis uit de gescrapede website. Dit kan worden gedaan in de interactieve tester.

Belangrijk: Als de informatie op jouw website tegenstrijdig is met de handmatig toegevoegde instructies, zal de chatbot de kennis door elkaar gebruiken, wat kan resulteren in verschillende antwoorden op dezelfde vraag.

 

Indien de resultaten van de Web Scraper niet zijn zoals gewenst, neem dan gerust contact op met support via support@watermelon.ai. Wij helpen je graag verder!