Vul de onderstaande gegevens in en wij nemen zo snel mogelijk contact met je op.
Iedere pagina die op een website staat moet eerst gevonden en beoordeeld worden voordat deze pagina getoond kan worden aan bezoekers. Een web crawler is een geautomatiseerd programma dat het doel heeft om alle pagina’s van het web te vinden en begrijpen.Â
Een van de bekendste crawlers is de Googlebot. Dit is de bot van Google die alle pagina’s opzoekt, informatie extraheert en vervolgens de pagina indexeert. De Googlebot is een soort crawler die ook wel spider, of spiderbot genoemd.
Een spiderbot is een veelvoorkomende crawler voor het web. Deze begint bij een URL en volgt dan hyperlinks. Door hyperlinks te volgen verkent deze spiderbot allerlei pagina’s. Als er veel hyperlinks naar dezelfde pagina of website leiden, is dit een teken dat deze pagina waarschijnlijk belangrijk is. Het domein krijgt dan een verhoogde domeinautoriteit.Â
Crawlers van zoekmachines respecteren robots.txt bestanden. Dit zijn bestanden die vertellen welke URL’s op een website niet gecrawld mogen worden. Ook is er telkens strengere regelgeving ook omtrent GDPR waardoor er een verhoogd privacy bewustzijn is met crawling.Â
Sinds 2021 gebruikt Google bijna enkel nog maar crawling voor mobiele pagina’s. Je site wordt dus vooral beoordeeld door hoe een gebruiker deze site ziet. Als de mobiele website minder content heeft, trager laadt of te erg versimpeld is dan kan dat dus een negatieve impact hebben op je SEO-rankings.