Met Crawler Instructies verbeter je de zoekresultaten van de Web Crawler door natuurlijke taalvragen van gebruikers om te zetten in gerichte zoektermen. Deze zoektermen sluiten beter aan bij de structuur van je website
Let op: Crawler Instructies werken uitsluitend op basis van de URL’s van je website – niet op de daadwerkelijke inhoud van de pagina’s. De zoektermen worden dus vergeleken met de opgehaalde URL’s.
Wat zijn Crawler Instructies?
Crawler Instructies helpen je AI Agent bij het selecteren van de juiste URL’s wanneer een gebruiker een vraag stelt. Deze instructies zijn een set van zoektermen die worden gebruikt om inhoud op je website te vinden die het best aansluit bij de vraag van de gebruiker.
Wanneer een gebruiker een vraag stelt aan je AI Agent:
-
Zoektermen worden gegenereerd: De vraag wordt automatisch vertaald naar relevante zoekwoorden.
-
Vergelijking met URL’s: Deze zoekwoorden worden vergeleken met de URL’s die je eerder hebt opgehaald via de Web Crawler.
-
Selectie van relevante URL’s: URL’s die overeenkomen met een of meerdere zoekwoorden worden gekoppeld aan de vraag.
-
Antwoordvorming: De AI Agent gebruikt de inhoud van deze URL’s om een zo specifiek en relevant mogelijk antwoord te geven.
Deze methode is vooral nuttig wanneer je website veel pagina’s bevat. Het zorgt ervoor dat je AI Agent gericht informatie kan vinden en gebruiken.
Richtlijnen voor het schrijven van Crawler Instructies
Een goede set zoektermen zorgt ervoor dat je AI Agent snel de juiste pagina’s vindt. Volg deze richtlijnen:
-
Gebruik woorden die in je URL's voorkomen: Dit verhoogt de kans dat de zoekterm een match oplevert.
-
Gebruik enkelvoud én meervoud: Denk aan “Bluetooth speaker” én “Bluetooth speakers”.
-
Houd het kort en specifiek: Lange zinnen werken minder goed. Gebruik in plaats daarvan kernwoorden.
Voorbeeld
Gebruikersvraag:
"Ik zoek naar een goede, kleine bluetooth speaker, wat raad je aan?"
Geoptimaliseerde zoektermen:
-
Bluetooth speaker
-
Bluetooth speakers
-
Mini speaker
Tips voor effectieve Crawler Instructies
-
Gebruik trefwoorden die overeenkomen met termen in de URL’s van je website.
-
Gebruik zowel enkelvoud als meervoud.
-
Houd de zoektermen kort en specifiek.
Vermijd rigide instructies zoals “Geef altijd een URL terug” of “Als iemand om drie links vraagt, geef er altijd drie”. Deze houden geen rekening met hoe de Web Crawler werkt.