Problemen met crawlstatistieken Googelbot

ThomThom Berichten: 12 Member
Sinds de nieuwe Google update van 27 september zien we een enorme daling in de crawlstatistieken voor Googlebot. Hier kunnen natuurlijk meerdere oorzaken voor zijn, zoals:

- Irrelevante bots/spiders die crawlbudget in beslag nemen
- Irrelevante pagina's die crawlbudget in beslag nemen
- Googelbot heeft te veel tijd nodig om de website te crawlen
- Etc. 

Nou kan ik het tweede en derde punt al uitsluiten, wat mij brengt tot de conclusie dat er crawlbudget verspild wordt aan irrelevante bots/spiders (mogelijk SPAM?). Ik krijg veel statuscode 429-foutmeldingen binnen (too many requests) omdat Googlebot de website niet kan crawlen, er is namelijk geen budget voor. 

Oplossing: 
Middels serverlogs van Lightspeed zou ik kunnen zien welke bots/spiders er crawlbudget in beslag nemen met requests die ik helemaal niet wil. Deze kan ik dan ook uitsluiten in de robots.txt of liever zelfs op serverniveau. 

(Inmiddels zijn er al veel irrelevante bots/spiders in de robots.txt geblokkeerd maar het probleem is nog niet opgelost)

Het probleem:
Lightspeed kan/wil deze serverlogs niet delen. Hierdoor kan ik geen inzage krijgen in de requests van irrelevante blogs en spiders. Dit is voor mij als SEO specialist onacceptabel.

Zijn hier mensen die hetzelfde ervaren met de crawlstatistieken en die ook graag meer medewerking vanuit Lightspeed wensen? Of suggesties hebben voor een andere oplossing? 

Toevoegingen, opmerkingen of oplossingen zijn welkom!

Gr, Thom

19 reacties

  • FOOFOO Berichten: 383 Member 
    Wat houdt die Google update precies in? We zijn hier helaas niet allemaal SEO specialisten.

    Blijkbaar ging het voor de update wel goed en nu niet meer. Waarom ligt dit dan aan het crawlbudget? Wat ik er zo over lees, hebben andere bots hier geen invloed op. Maar.......ik ben geen specialist.
    John | Fietsonderdelen Outlet
    De meeste Fietsonderdelen voor de laagste Prijzen
  • Alex LeistraAlex Leistra Berichten: 22 Member
    Er zit heel veel spam in de laatste weken , wij hebben ze in analytics wel allemaal uitgesloten , maar er wordt nog steeds bijna niets gecrawled. Kijk in je anlytics , de spamsites hebben allemaal seo-services erin staan , met allerlei varianten
  • JohanJJohanJ Berichten: 117 Member ✭
    FOO zei:
    Waarom ligt dit dan aan het crawlbudget? Wat ik er zo over lees, hebben andere bots hier geen invloed op. 
    @Thom, volgens mij heeft @FOO hier helemaal gelijk in. Andere bots en spiders hebben toch geen invloed op het crawl budget van Google?
  • ThomThom Berichten: 12 Member
    @JohanJ als andere bots/spiders je website crawlen gaat dit zeker af van het crawlbudget voor Google. Het potje (crawlbudget) gaat sneller op waardoor de belangrijkste bots (Googlebot bijvoorbeeld) minder pagina's kunnen crawlen. De statuscode 429 (too many requests) is een typerend probleem voor crawlbudget dat op is. 

    Een oplossing is het uitsluiten van irrelevante of ongewenste bots/spiders op serverniveau of in de Robots.txt.

    Middels serverlogs kan je zien welke bots/spiders voor de requests zorgen zodat je ook meteen weet welke uit te sluiten. Helaas werkt Lightspeed hier niet echt prettig mee.

    @FOO de update op 27 september zou de medical update moeten versterken voor andere branches. Helaas zie ik sinds dien een enorme daling in crawlstatistieken van Google en dat kan ik niet helemaal verklaren. Ik zie het echter bij meer Lightspeed websites. De update zou eigenlijk alleen invloed moeten hebben op websites met slechte content. 

  • ThomThom Berichten: 12 Member
    Er zit heel veel spam in de laatste weken , wij hebben ze in analytics wel allemaal uitgesloten , maar er wordt nog steeds bijna niets gecrawled. Kijk in je anlytics , de spamsites hebben allemaal seo-services erin staan , met allerlei varianten
    @Alex Leistra uitgesloten in Analytics? Dan worden ze niet gemeten maar komt het SPAM verkeer nog wel op je website. Misschien is het een idee om deze IP-adressen eens na te kijken en dan te blokkeren in de robots.txt (server kan helaas niet met Lightspeed). 
  • FOOFOO Berichten: 383 Member 
    @Thom, als niet SEO-specialist is dit veel abracadabra. Probeer het eens in ABN, je zit tenslotte op een gebruikersforum.  :pensive:

    • Wat houdt het crawlbudget voor Google precies in? Als dit voor Google is, hoe kan een andere bot/spider dit dan opmaken?
    • Medical update? Wat houdt die dan in en wat is er dan veranderd met de nieuwe update?  

    Zelf zie ik geen verschillen in de crawlstatistieken. Statuscodes kom ik niet tegen, weet ook niet waar ik die zou moeten zien. Onze site wordt nog prima geindexeerd door Google......voor zover ik het kan zien.
    John | Fietsonderdelen Outlet
    De meeste Fietsonderdelen voor de laagste Prijzen
  • RrrRrr Berichten: 5 Member, Beta tester
    @FOO ik denk dat het crawl budget van website(server) geldt voor alle crawlers. Dit om te voorkomen dat bij wijze van spreken je website door 1000 crawlers tegelijk wordt gecrawld en je klanten je website niet kunnen bezoeken omdat de server overbelast wordt door de crawlers.
  • kielenkielen Berichten: 81 Member ✭
    @Thom, ik heb de laatste dagen veel crawlfouten zichtbaar op het merchant-dashboard. Allemaal pagina's die niet bereikbaar zouden zijn en statussen die er niet zouden zijn. Hierdoor bleven er nauwelijks werkende advertenties over. Kan dit er ook mee te maken hebben?
    Kees Kielen

    www.manivivendi.nl
  • YibYib Berichten: 31 Member
    oktober 2018 aangepast
    Gek genoeg hier precies zelfde probleem... meerdere malen Lightspeed gevraagd om server log, als shop eigenaar zou je wel recht hebben om deze log te krijgen, maar ze kunnen/willen ons niet helpen.

    @Nynke of andere Lightspeed team, Is er misschien een andere manier om aan server log te komen?
    LittleWonderland.nl
    Unlock Your Beauty | Korean Skincare & Make-up
  • ThomThom Berichten: 12 Member
    kielen zei:
    @Thom, ik heb de laatste dagen veel crawlfouten zichtbaar op het merchant-dashboard. Allemaal pagina's die niet bereikbaar zouden zijn en statussen die er niet zouden zijn. Hierdoor bleven er nauwelijks werkende advertenties over. Kan dit er ook mee te maken hebben?
    @kielen Waarom worden in het Merchant center producten afgekeurd? Kan je zien wat er als reden bij staat? Als het komt door een statuscode 429 heb je hier last van hetzelfde probleem. Googlebot kan je website niet crawlen (lezen) omdat het crawlbudget door andere bots/spiders al op is gemaakt. 
  • ThomThom Berichten: 12 Member
    FOO zei:
    @Thom, als niet SEO-specialist is dit veel abracadabra. Probeer het eens in ABN, je zit tenslotte op een gebruikersforum.  :pensive:

    • Wat houdt het crawlbudget voor Google precies in? Als dit voor Google is, hoe kan een andere bot/spider dit dan opmaken?
    • Medical update? Wat houdt die dan in en wat is er dan veranderd met de nieuwe update?  

    Zelf zie ik geen verschillen in de crawlstatistieken. Statuscodes kom ik niet tegen, weet ook niet waar ik die zou moeten zien. Onze site wordt nog prima geindexeerd door Google......voor zover ik het kan zien.
    @FOO Het crawlbudget is een potje die bots/spiders mogen gebruiken om je website te lezen (crawlen). Als dit potje op is en bots/spiders je website toch willen lezen (crawlen), krijg je een statuscode 429 (too many requests). Dat is voor Googlebot dus echt onwenselijk omdat zij simpelweg je website niet goed kunnen crawlen. Dit gaat ten koste van je rankings en hierdoor zie je in Google Search Console minder pagina's gecrawld worden onder het tabblad 'Crawlstatistieken'. 

    De update van Google heeft de zoekmachine nog gevoeliger gemaakt voor (ir)relevante content. Autoritaire websites met content die niet goed aansluit bij de zoekintentie van de bezoeker zijn hierdoor sterk gedaald in rankings. Helaas heeft Google dit nu ook verder uitgerold binnen de E-commerce branche. De hoeveelheid content maakt niet meer uit, de relevantie bij de zoekintentie van de bezoeker wel. 

    Ik kan daar meer informatie over bieden voor geïnteresseerden: [email protected] 
  • FOOFOO Berichten: 383 Member 
    Het is dus 1 grote pot en niet enkel een budget voor Google alleen. Ik zie alleen de koppeling dan niet met de update. Waarom zou het potje na de update ineens sneller op zijn? Of is de site gewoon minder interessant voor Google, waardoor deze minder vaak komt en dan "te laat" is? 

    Waarom helaas dat Google dit ook voor E-commerce heeft gedaan? Alleen maar goed volgens mij dat irrelevante content daalt in de resultaten. Er zijn zoveel sites die maar een bult info bij een artikel zetten puur en alleen voor de content. Ook veel affiliatesites, die zo de content uniek proberen te houden.
    Dit biedt naar mijn idee juist weer kansen voor de kleinere webshops om hoger te komen. Onze shop scoort op diverse producten ontzettend goed in Google. 
    John | Fietsonderdelen Outlet
    De meeste Fietsonderdelen voor de laagste Prijzen
  • ThomThom Berichten: 12 Member
    FOO zei:
    Het is dus 1 grote pot en niet enkel een budget voor Google alleen. Ik zie alleen de koppeling dan niet met de update. Waarom zou het potje na de update ineens sneller op zijn? Of is de site gewoon minder interessant voor Google, waardoor deze minder vaak komt en dan "te laat" is? 

    Waarom helaas dat Google dit ook voor E-commerce heeft gedaan? Alleen maar goed volgens mij dat irrelevante content daalt in de resultaten. Er zijn zoveel sites die maar een bult info bij een artikel zetten puur en alleen voor de content. Ook veel affiliatesites, die zo de content uniek proberen te houden.
    Dit biedt naar mijn idee juist weer kansen voor de kleinere webshops om hoger te komen. Onze shop scoort op diverse producten ontzettend goed in Google. 
    @FOO ;
    "Ik zie alleen de koppeling dan niet met de update. Waarom zou het potje na de update ineens sneller op zijn?"

    Dat is dus ook wat ik me af vraag. Daarom wil ik graag de serverlogs in zien om te kunnen zien welke bots/spiders er sinds 27 september voor requests hebben gezorgd. Helaas geeft Lightspeed deze dus niet weg.

    "Waarom helaas dat Google dit ook voor E-commerce heeft gedaan? Alleen maar goed volgens mij dat irrelevante content daalt in de resultaten. Er zijn zoveel sites die maar een bult info bij een artikel zetten puur en alleen voor de content. Ook veel affiliatesites, die zo de content uniek proberen te houden. 
    Dit biedt naar mijn idee juist weer kansen voor de kleinere webshops om hoger te komen. Onze shop scoort op diverse producten ontzettend goed in Google."

    Eens! Maar ook websites met hele relevante content worden hierdoor getroffen en duurt het even voordat deze weer terugkomen op het oude niveau. Voor kleine bedrijven kan deze update heel erg schadelijk zijn voor de inkomsten. Zij hebben vaak niet het budget, de tijd of de mankracht om de daling te analyseren en de content aan te passen waar nodig. 
  • kielenkielen Berichten: 81 Member ✭
    @Thom, ik denk dat het dan toch net een ander probleem is geweest. Vooral afkeur door het niet kunnen vinden van pagina's die er wel zijn. Ook een aantal niet aanwezige statussen die er wel waren. Na een 4 tal dagen staat alles normaal, zonder dat ik er iets aan gedaan heb. 
    Kees Kielen

    www.manivivendi.nl
  • ThomThom Berichten: 12 Member
    kielen zei:
    @Thom, ik denk dat het dan toch net een ander probleem is geweest. Vooral afkeur door het niet kunnen vinden van pagina's die er wel zijn. Ook een aantal niet aanwezige statussen die er wel waren. Na een 4 tal dagen staat alles normaal, zonder dat ik er iets aan gedaan heb. 
    @kielen qua indexatie waren er geen problemen. De pagina's die voorheen geïndexeerd stonden, waren nu nog steeds geïndexeerd. Ook staan alle pagina's correct in de XML-sitemap. 

    Wat bedoel je met "Vooral afkeur door het niet kunnen vinden van pagina's die er wel zijn."? 
  • kielenkielen Berichten: 81 Member ✭
    @Thom. Google heeft de advertenties in het merchant-centre afgekeurd omdat ze van mening was dat de pagina's waar de advertenties naar verwijzen niet bestaan. (hun crawler kon ze niet vinden). Ik had wel 18 advertenties afgekeurd gekregen omdat de productpagina's voor desktops niet bereikbaar zouden zijn. Een ongeveer gelijk aantal (maar andere advertenties) zouden niet bereikbaar zijn voor telefoons. Een stuk of 10 advertenties waren afgekeurd omdat de status (nieuw of gebruikt product) niet zo zijn ingevuld in de feed. Kortom in het weekeinde had ik bijna geen shoppingadvertenties meer over. Dat was ook aardig in de omzet te merken.  
    Kees Kielen

    www.manivivendi.nl
  • ThomThom Berichten: 12 Member
    @kielen en zijn de pagina's in werkelijkheid wel bereikbaar? Mogelijk wordt dit ook veroorzaakt door het probleem dat Google de pagina's niet kan crawlen (statuscode 429). Heb je de statuscodes in Google Search Console al eens nagekeken? 
  • kielenkielen Berichten: 81 Member ✭
    @thom Ja die was ik al weer een tijdje vergeten. Laatste update 13 oktober. Daar is dus nog niets te zien. 
    Kees Kielen

    www.manivivendi.nl
  • ThomThom Berichten: 12 Member
    @kielen ook bij jouw website zie ik veel statuscode 429 voorbij komen. Bij ruim 28% van alle pagina's om exact te zijn. Dit is erg veel en kan dus een negatief effect hebben op de beoordeling van producten in zowel SEO als SEA.
Log In of Registreer om te reageren.