Cum interpretați raportul Crawl Stats din Google Search Console

Raportul Crawl Stats este una dintre cele mai valoroase, dar și mai puțin cunoscute secțiuni din Google Search Console. Spre deosebire de rapoartele de performanță pe care le verificați zilnic, Crawl Stats se găsește ascuns în meniul Settings și oferă o perspectivă directă asupra modului în care Googlebot interacționează cu serverul dvs. pe o perioadă de 90 de zile. Ignorarea acestui raport înseamnă să lăsați probleme tehnice să afecteze indexarea și pozițiile site-ului fără să știți de ele.

Datele din Crawl Stats sunt ușor întârziate față de momentul real al crawl-ului, de regulă cu câteva zile. Este recomandat să verificați raportul cel puțin o dată la două săptămâni, nu zilnic, pentru a observa tendințe și nu variații normale de la o zi la alta.

Cum interpretați raportul Crawl Stats din Google Search Console

Accesul la raport se face din Google Search Console, secțiunea Settings din bara de navigare din stânga, apoi butonul Open Report din secțiunea Crawling. Raportul este disponibil numai pentru proprietățile verificate de tip domain sau URL-prefix cu suficiente date de crawl acumulate.

Cele trei metrici principale

Raportul Crawl Stats prezintă trei grafice principale care trebuie interpretate împreună, nu izolat.

Prima metrică este numărul total de cereri de crawl pe zi. Aceasta arată de câte ori a solicitat Googlebot pagini de pe site-ul dvs. într-o perioadă dată. O scădere bruscă a numărului de cereri este de regulă semnalul că Googlebot a întâlnit erori grave de server și a redus ritmul de crawlare în mod automat, ceea ce va afecta ulterior și viteza de indexare a conținutului nou.

A doua metrică este dimensiunea totală descărcată în kilobytes pe zi. Valori constant ridicate pot indica fișiere neoptimizate, imagini mari sau resurse JavaScript și CSS excesive pe care Googlebot le descarcă inutil. Deși Googlebot nu penalizează direct dimensiunile fișierelor, resursele grele consumă crawl budget fără să contribuie la indexarea conținutului textual.

A treia metrică este timpul mediu de răspuns al serverului în milisecunde. Google consideră un timp de răspuns de peste 200 ms ca valoare de atenție. Un server care răspunde în 800-1000 ms forțează Googlebot să crawleze mai puține pagini pe unitate de timp, ceea ce înseamnă că paginile noi sau actualizate sunt descoperite mai lent. Dacă observați o creștere treptată a timpului de răspuns în timp, cauza este de regulă creșterea bazei de date fără optimizare sau cod aplicație care devine mai lent pe măsură ce volumul de date crește.

Tabelul de răspunsuri: ce coduri HTTP trebuie să urmăriți

Sub graficele principale, raportul afișează un tabel cu distribuția codurilor HTTP din cererile Googlebot. Distribuția ideală înseamnă că marea majoritate a răspunsurilor sunt de tip 200 (OK). Iată ce semnifică celelalte coduri:

• 301 Moved Permanently. Un procentaj ridicat de redirecționări 301 înseamnă că Googlebot urmărește constant linkuri interne vechi spre URL-uri noi. Fiecare redirecționare dublează efortul de crawl pentru acea pagină. Soluția este actualizarea linkurilor interne și a sitemap-ului pentru a indica direct URL-urile finale.
• 404 Not Found. O creștere bruscă a răspunsurilor 404 indică fie pagini șterse fără redirecționare, fie o restructurare de URL-uri care a lăsat linkuri vechi active. Descărcați lista URL-urilor cu erori 404 din raport și configurați redirecționări 301 spre conținut relevant.
• 500 Server Error. Erorile de server sunt critice. Googlebot înregistrează aceste erori și, dacă sunt frecvente, reduce semnificativ ritmul de crawlare. Verificați jurnalele serverului imediat după ce observați erori 5XX în Crawl Stats.
• Robots.txt not available. Dacă fișierul robots.txt returnează o eroare de server, Googlebot oprește complet crawlarea site-ului până când poate accesa fișierul cu succes.

Tabelul de tipuri de fișiere

Raportul arată și ce tipuri de fișiere descarcă Googlebot: HTML, JavaScript, CSS, imagini și altele. Dacă observați că un procent neașteptat de mare din cererile de crawl vizează fișiere JavaScript sau CSS, înseamnă că Googlebot alocă resurse semnificative renderizării paginilor, în detrimentul descoperirii de conținut nou. Această situație apare frecvent pe site-urile WordPress cu multe plugin-uri care încarcă scripturi și stiluri pe toate paginile, inclusiv pe cele unde nu sunt necesare.

Secțiunea Host Status: starea de sănătate a serverului

Secțiunea Host Status din josul raportului este adesea ignorată, dar oferă informații critice. Aceasta arată disponibilitatea serverului dvs. din perspectiva Googlebot, grupată în trei categorii: disponibilitatea fișierului robots.txt, rezoluția DNS și conectivitatea serverului.

Un status roșu în oricare dintre aceste categorii indică faptul că Googlebot a întâmpinat probleme semnificative de acces la site-ul dvs. în ultimele 90 de zile. Dacă serverul a fost inaccesibil pentru Googlebot chiar și câteva ore în mod repetat, impactul asupra crawlării și indexării poate fi semnificativ și poate persista câteva săptămâni după rezolvarea problemei.

Cum folosiți datele din Crawl Stats pentru îmbunătățiri concrete

Corelați datele din Crawl Stats cu alte rapoarte din Search Console. Dacă numărul de cereri de crawl a scăzut în aceeași perioadă în care ați observat o reducere a paginilor indexate în raportul Pages, există o legătură directă pe care trebuie să o investigați.

Verificați Crawl Stats după fiecare modificare majoră a site-ului: restructurare de URL-uri, migrare pe server nou, actualizare majoră de WordPress sau schimbare a temei. Aceste modificări pot afecta temporar comportamentul de crawlare, iar Crawl Stats este instrumentul prin care confirmați că Googlebot s-a adaptat corect.

Concluzie

Raportul Crawl Stats din Google Search Console este un instrument de diagnostic tehnic de primă clasă, disponibil gratuit, pe care mulți proprietari de site-uri îl ignoră complet. Verificarea regulată a celor trei metrici principale, a distribuției codurilor HTTP și a statusului serverului vă permite să depistați și să rezolvați problemele de crawlare înainte ca acestea să afecteze vizibil pozițiile în Google. Specialiștii de la Cisnet vă pot ajuta cu analiza și interpretarea rapoartelor tehnice din Google Search Console pentru site-ul dvs.