Su un eCommerce i bot non sono tutti uguali. Alcuni servono, altri consumano risorse, altri ancora raccolgono prezzi e catalogo per alimentare competitor, comparatori o sistemi automatici.
Il problema e che non puoi semplicemente bloccare tutto. Googlebot deve poter scansionare le pagine importanti. I servizi legittimi devono funzionare. Gli utenti reali non devono trovare captcha continui. E il sito deve restare veloce anche quando qualcuno prova a scaricare migliaia di prodotti.
Difendere il catalogo significa distinguere: crawler utili, crawler tollerabili, bot aggressivi, scraping prezzi, attacchi applicativi e traffico umano.
Perche lo scraping prezzi e un problema reale
Chi vende online sa che i prezzi vengono confrontati. Il monitoraggio competitor e normale. Ma quando lo scraping diventa aggressivo, puo creare danni concreti.
- consuma risorse server e rallenta il sito;
- scarica catalogo, prezzi, disponibilita e varianti in massa;
- alimenta sistemi automatici di repricing dei competitor;
- aumenta traffico finto e log inutili;
- puo colpire pagine filtro e ricerca interna generando carico;
- puo aggirare cache e colpire endpoint costosi;
- puo confondersi con traffico organico se non viene classificato.
Il punto non e rendere impossibile qualsiasi raccolta dati. Il punto e non regalare il catalogo in modo facile, illimitato e dannoso per performance e margini.
Non bloccare Googlebot per sbaglio
Il rischio piu grande di una difesa fatta male e colpire i crawler giusti.
Se blocchi Googlebot, o gli servi pagine incomplete, puoi danneggiare indicizzazione, aggiornamento prezzi, snippet, immagini e pagine categoria. Su un eCommerce questo puo costare traffico e vendite.
Per questo una regola del tipo "blocca tutti i bot" e pericolosa. Serve classificazione.
- Googlebot deve essere riconosciuto e verificato correttamente.
- I crawler SEO legittimi possono essere limitati, non sempre bloccati.
- I bot aggressivi vanno rallentati o bloccati.
- Gli utenti reali non devono pagare il prezzo della protezione.
- Le API devono avere regole diverse dalle pagine pubbliche.
Robots.txt non e una barriera di sicurezza
Il file robots.txt e utile per dare indicazioni ai crawler collaborativi, ma non protegge il sito da chi vuole fare scraping.
Uno scraper malevolo puo ignorarlo completamente. Peggio: se scrivi nel robots.txt tutte le aree sensibili, stai anche lasciando una mappa interessante a chi vuole curiosare.
Usalo per gestire la scansione dei crawler legittimi, non come firewall.
Come riconoscere uno scraper prezzi
Nei log, gli scraper spesso mostrano pattern diversi dagli utenti reali.
- migliaia di richieste in poco tempo;
- visita sequenziale di pagine prodotto;
- richieste concentrate su prezzo, disponibilita o endpoint JSON;
- User-Agent generici o falsificati;
- assenza di asset normali come CSS, JS o immagini;
- navigazione senza carrello, senza scroll, senza sessioni reali;
- IP distribuiti ma comportamento identico;
- richieste su combinazioni filtro poco plausibili;
- picchi sempre agli stessi orari.
Un singolo segnale non basta. Serve guardare comportamento, frequenza, endpoint, IP, ASN, User-Agent, sessione, cookie e impatto sulle risorse.
Rate limiting intelligente
Il rate limiting e una delle prime difese, ma va configurato con criterio.
Non tutte le pagine hanno lo stesso costo:
- homepage e pagine statiche possono essere servite da cache;
- ricerca interna e filtri possono pesare molto;
- endpoint prezzo e disponibilita sono sensibili;
- carrello e checkout non devono essere disturbati;
- API e feed devono avere autenticazione e limiti dedicati.
Un buon sistema non blocca solo per numero di richieste. Considera anche la qualita del comportamento.
WAF, cache e regole per endpoint sensibili
Un Web Application Firewall puo aiutare a ridurre traffico malevolo e pattern sospetti, ma non sostituisce l'architettura.
Per un eCommerce conviene proteggere in modo specifico:
- ricerca interna;
- pagine filtro con molte combinazioni;
- endpoint di prezzo e disponibilita;
- API catalogo;
- feed privati;
- login e area account;
- carrello e checkout;
- export e import amministrativi.
Cache e CDN possono ridurre carico, ma se lo scraper colpisce endpoint dinamici o combinazioni infinite di filtri, serve controllo applicativo.
Bot buoni, bot cattivi e bot ambigui
La classificazione deve essere graduale.
- Consentiti: Googlebot verificato, crawler necessari, monitor interni.
- Limitati: crawler SEO, comparatori autorizzati, partner, sistemi di monitoring.
- Sospetti: traffico anomalo, User-Agent falsi, richieste ripetitive.
- Bloccati: scraper aggressivi, bot che ignorano limiti, attacchi noti.
Non tutto va bloccato subito. A volte e meglio rallentare, servire cache, chiedere una verifica o limitare solo alcune aree.
Attenzione alle pagine filtro SEO
Le pagine filtro possono essere un enorme vantaggio SEO, ma anche un punto sensibile per bot e scraping.
Se hai migliaia di combinazioni inutili, uno scraper puo generare carico esplorando URL con parametri o combinazioni vuote. Se invece i filtri sono gestiti come pagine reali e controllate, puoi proteggere meglio la struttura.
Questo si collega al lavoro sui filtri eCommerce SEO e sulle pagine senza risultati nei filtri.
Cosa monitorare ogni settimana
- top IP e ASN per richieste;
- User-Agent piu frequenti;
- pagine prodotto piu scaricate;
- endpoint con piu errori 403, 404, 429 e 500;
- picchi su ricerca interna e filtri;
- traffico Googlebot verificato;
- variazioni crawl su Search Console;
- impatto su performance server e cache hit ratio;
- richieste anomale su prezzo e disponibilita.
Il monitoraggio serve a evitare due errori opposti: lasciare tutto aperto o bloccare troppo.
Come lo gestiamo in BitHub
Per gli eCommerce lavoriamo su piu livelli: log, CDN, WAF, applicazione, API, cache, Search Console e regole sui percorsi piu sensibili.
L'obiettivo non e "nascondere il sito", ma proteggerlo senza sacrificare SEO, utenti reali e campagne.
Questo tema si collega a cyber security per siti web, eCommerce custom e monitoraggio prezzi competitor.
Fonti utili
Per impostare una protezione SEO-friendly abbiamo considerato la documentazione Google Search Central su Googlebot, la guida su come verificare Googlebot e l'introduzione al robots.txt.
FAQ
Posso bloccare tutti i bot?
No. Bloccheresti anche crawler utili e potresti danneggiare SEO, monitoraggio e servizi legittimi. Serve distinguere.
Robots.txt blocca lo scraping prezzi?
No. Aiuta con crawler collaborativi, ma uno scraper malevolo puo ignorarlo. La protezione reale passa da log, rate limiting, WAF e regole applicative.
Come evito di bloccare Googlebot?
Verifica Googlebot correttamente, monitora Search Console e applica regole diverse ai crawler legittimi rispetto ai bot sospetti.
Lo scraping prezzi e sempre illegale?
Dipende da contesto, modalita e giurisdizione. Dal punto di vista tecnico, pero, puoi ridurre abuso, carico e accesso massivo al catalogo.
Serve un WAF?
Aiuta, ma deve essere configurato insieme a cache, log, regole applicative e monitoraggio SEO. Un WAF messo male puo creare falsi positivi.
Vuoi proteggere catalogo e prezzi senza perdere SEO?
Possiamo analizzare log, traffico bot, pagine filtro, API e Search Console per costruire una protezione equilibrata.