Plan gratis audit

Vul de onderstaande gegevens in en wij nemen zo snel mogelijk contact met je op.

    Wat is een web crawler?

    Iedere pagina die op een website staat moet eerst gevonden en beoordeeld worden voordat deze pagina getoond kan worden aan bezoekers. Een web crawler is een geautomatiseerd programma dat het doel heeft om alle pagina’s van het web te vinden en begrijpen. 

    Voorbeelden van web crawling zijn:

    • Googlebot & Bingbot die pagina’s indexeren
    • SEO tools zoals Semrush en Ahrefs
    • Data mining voor onderzoek

    Een van de bekendste crawlers is de Googlebot. Dit is de bot van Google die alle pagina’s opzoekt, informatie extraheert en vervolgens de pagina indexeert. De Googlebot is een soort crawler die ook wel spider, of spiderbot genoemd.

    Een spiderbot is een veelvoorkomende crawler voor het web. Deze begint bij een URL en volgt dan hyperlinks. Door hyperlinks te volgen verkent deze spiderbot allerlei pagina’s. Als er veel hyperlinks naar dezelfde pagina of website leiden, is dit een teken dat deze pagina waarschijnlijk belangrijk is. Het domein krijgt dan een verhoogde domeinautoriteit. 

    Afbeelding van een spiderbot die crawlt in het world wide web

    Waar letten web crawlers nog meer op? 

    Crawlers van zoekmachines respecteren robots.txt bestanden. Dit zijn bestanden die vertellen welke URL’s op een website niet gecrawld mogen worden. Ook is er telkens strengere regelgeving ook omtrent GDPR waardoor er een verhoogd privacy bewustzijn is met crawling. 

    Web crawling voor mobiel

    Sinds 2021 gebruikt Google bijna enkel nog maar crawling voor mobiele pagina’s. Je site wordt dus vooral beoordeeld door hoe een gebruiker deze site ziet. Als de mobiele website minder content heeft, trager laadt of te erg versimpeld is dan kan dat dus een negatieve impact hebben op je SEO-rankings.