Un nostro cliente al quale forniamo servizi SEO ha chiesto espressamente di usare un determinata suite di programmi per l’analisi SEO. Tuttavia tra questi non figura Semrush. Inoltre ha notato nei Log del file che il bit di Semrush puntualmente torna a mostrarsi, segno che i suoi competitori lo studiano. La decisione condivisa è stata di escludere il bot di Semrush dal sito web. Ma facciamo un po’ di chiarezza.
Se hai un sito web, probabilmente hai notato nel file di log la presenza di numerosi bot che scansionano le tue pagine. Tra questi, il bot di Semrush è uno dei più attivi. Ma a cosa serve realmente? E soprattutto, ha senso bloccare SemrushBot per proteggere il proprio sito o migliorare la SEO?
In questo articolo vedremo nel dettaglio cosa fa il bot di Semrush, quali sono i motivi per cui potresti volerlo bloccare e come farlo in modo efficace, con esempi pratici e codice.
SemrushBot è il crawler ufficiale di Semrush, una delle più potenti piattaforme SEO utilizzate per analizzare siti web e fornire dati dettagliati agli esperti del settore. Il suo obiettivo è raccogliere informazioni sulle pagine web che poi vengono utilizzate per diversi scopi, come l’analisi dei backlink, il monitoraggio delle parole chiave e l’identificazione di problemi tecnici.
Vediamo nel dettaglio come funziona e quali dati raccoglie.
Uno degli usi principali di SemrushBot è la scansione dei backlink, ossia i link che un sito riceve da altri siti web. Questo è fondamentale per la SEO off-page, in quanto i backlink sono uno dei fattori di ranking più importanti per Google.
Esempio pratico:
Se il tuo sito ha ricevuto un backlink da un blog di settore autorevole, SemrushBot visiterà entrambe le pagine (quella del blog e quella del tuo sito) per registrare il collegamento. Queste informazioni verranno poi rese disponibili su Semrush, consentendo agli utenti di:
Ad esempio, se hai un sito di e-commerce che vende scarpe da corsa e ottieni un backlink da Runner’s World, il bot di Semrush lo rileverà e mostrerà agli utenti Semrush il link nel profilo backlink del tuo sito.
Perché questo potrebbe essere un problema?
Se vuoi mantenere private le tue strategie SEO e i tuoi backlink, potresti voler impedire a SemrushBot di accedere al tuo sito, altrimenti i tuoi concorrenti potrebbero facilmente vedere da dove provengono i tuoi link migliori.
SemrushBot raccoglie dati sulle parole chiave per le quali il tuo sito è visibile nei motori di ricerca. Questo significa che analizza il contenuto delle tue pagine e il loro posizionamento su Google per determinare quali termini di ricerca generano traffico.
Esempio pratico:
Supponiamo che tu abbia un blog che parla di alimentazione vegana e che un tuo articolo sia ben posizionato per la parola chiave “migliori ricette vegane”. SemrushBot visiterà la tua pagina, analizzerà il testo, il titolo, gli heading e altre informazioni per capire:
Questi dati vengono poi utilizzati per le funzionalità di Keyword Research di Semrush, che permettono agli utenti di vedere per quali parole chiave è posizionato un sito.
Perché questo potrebbe essere un problema?
Se i tuoi competitor usano Semrush, potrebbero vedere facilmente le parole chiave che ti portano più traffico e ottimizzare i loro contenuti per competere con te.
SemrushBot aiuta a raccogliere dati relativi alla SEO on-page, fornendo informazioni su elementi tecnici e di contenuto delle pagine. Questo include aspetti come:
Esempio pratico:
Se hai una pagina che carica lentamente, il bot di Semrush può rilevarlo e segnalare agli utenti della piattaforma che il tuo sito potrebbe avere problemi di performance.
Un altro esempio: se una tua pagina non ha una meta description, SemrushBot lo rileverà e mostrerà l’errore nella sezione “Site Audit” di Semrush.
Perché questo potrebbe essere un problema?
Se non vuoi che queste informazioni siano accessibili pubblicamente, potresti considerare di bloccare il bot per impedire a Semrush di registrare questi dati.
SemrushBot esegue anche controlli tecnici per individuare errori SEO comuni che potrebbero penalizzare il ranking del tuo sito. Tra i problemi più rilevati ci sono:
Esempio pratico:
Se il tuo sito ha molte pagine con errori 404, SemrushBot le individuerà e mostrerà l’elenco nella sezione “Site Audit” della piattaforma. Questo può essere utile per correggere i problemi, ma allo stesso tempo rende pubblicamente visibili agli utenti Semrush tutti i difetti tecnici del tuo sito.
Perché questo potrebbe essere un problema?
Se non vuoi che eventuali problemi tecnici del tuo sito siano visibili a chiunque abbia un account Semrush, bloccare SemrushBot potrebbe essere una soluzione.
Ci sono diversi motivi per cui potresti voler impedire al bot di Semrush di accedere al tuo sito:
Se hai una strategia SEO avanzata e non vuoi che i tuoi concorrenti vedano il tuo profilo di backlink, le tue parole chiave e altre informazioni, bloccare Semrush può essere una soluzione.
Ogni bot che scansiona il tuo sito utilizza risorse del server. Se hai un sito con molte pagine e ricevi visite da vari crawler, il tuo server potrebbe rallentare. Bloccare SemrushBot può ridurre il numero di richieste inutili.
Non tutti vogliono che i dati del proprio sito siano accessibili su strumenti di analisi SEO. Se preferisci mantenere privati certi aspetti della tua strategia, impedire l’accesso a Semrush è un’opzione da considerare.
Alcuni webmaster segnalano che un numero eccessivo di scansioni da parte di bot SEO può creare problemi di indicizzazione o influenzare la velocità del sito. Sebbene non sia sempre il caso, ridurre il numero di crawler esterni può migliorare le prestazioni generali.
Bloccare SemrushBot è abbastanza semplice e ci sono diversi metodi per farlo. Vediamo le soluzioni più efficaci.
Il metodo più comune per impedire a un bot di accedere al tuo sito è utilizzare il file robots.txt. Aggiungi queste righe al file situato nella root del tuo sito:
User-agent: SemrushBot
Disallow: /
Questo dirà al bot di non scansionare nessuna pagina del tuo sito. Tuttavia, robots.txt è solo una richiesta e alcuni bot potrebbero ignorarlo.
Se il tuo sito è su un server Apache, puoi bloccare SemrushBot direttamente dal file .htaccess con questa regola:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} SemrushBot [NC]
RewriteRule .* - [F,L]
Questa configurazione impedirà a SemrushBot di accedere al sito, restituendogli un errore 403 Forbidden.
Se il tuo server utilizza Nginx, puoi aggiungere questa configurazione nel file nginx.conf:
if ($http_user_agent ~* "SemrushBot") {
return 403;
}
Questo impedirà al bot di Semrush di accedere al tuo sito, restituendo un errore 403 Forbidden.
Se hai accesso alle impostazioni avanzate del tuo server, puoi bloccare SemrushBot tramite firewall. Ad esempio, con iptables puoi usare questo comando:
iptables -A INPUT -p tcp --dport 80 -m string --algo bm --string "SemrushBot" -j DROP
Questa configurazione rifiuterà le richieste provenienti dal bot.
Se il tuo sito utilizza Cloudflare, puoi bloccare SemrushBot direttamente dal pannello di amministrazione. Basta creare una regola nel firewall e impostarla in modo che blocchi il traffico da user-agent contenente “SemrushBot”.
Prima di bloccare SemrushBot, è importante valutare se è davvero necessario. Se il tuo obiettivo è proteggere le informazioni SEO o ridurre il carico del server, può essere utile. Tuttavia, se utilizzi Semrush per analizzare il tuo stesso sito, bloccare il bot potrebbe impedirti di ottenere dati utili.
Ogni sito ha esigenze diverse: la scelta dipende dalle tue strategie e priorità. Se decidi di bloccare il bot, assicurati di farlo nel modo corretto per evitare problemi di accesso al sito o penalizzazioni indesiderate.
1. Cosa fa esattamente SemrushBot?
SemrushBot è il crawler di Semrush che analizza i siti web per raccogliere dati su backlink, parole chiave e performance SEO.
2. Bloccare SemrushBot può influire sulla SEO?
No, bloccare SemrushBot non influisce direttamente sul ranking nei motori di ricerca, ma impedisce a Semrush di raccogliere dati sul tuo sito.
3. Come faccio a sapere se SemrushBot sta scansionando il mio sito?
Puoi controllare i log del server o utilizzare strumenti come Google Search Console e software di analisi dei log.
4. Robots.txt basta per bloccare SemrushBot?
No, robots.txt è solo una richiesta. Per un blocco sicuro, usa .htaccess, Nginx, firewall o Cloudflare.
5. Qual è il miglior metodo per bloccare SemrushBot?
Il metodo più efficace è bloccare il bot tramite .htaccess o regole del firewall, poiché impediscono l’accesso diretto al sito.
6. I concorrenti possono vedere il mio sito su Semrush se blocco il bot?
Se il bot è bloccato, Semrush non può raccogliere dati dal tuo sito, quindi le informazioni non saranno disponibili nella piattaforma.
7. Bloccare SemrushBot riduce il carico del server?
Sì, meno bot scansionano il tuo sito, meno risorse vengono utilizzate.
8. SemrushBot ignora il file robots.txt?
Generalmente no, ma alcuni bot potrebbero comunque accedere al sito.
9. Posso bloccare solo alcune pagine invece dell’intero sito?
Sì, con robots.txt o regole nel server puoi limitare l’accesso solo a specifiche pagine.
10. Bloccare SemrushBot è legale?
Sì, hai il diritto di controllare chi può accedere al tuo sito.
Te la invieremo periodicamente per comunicazioni importanti e news sul mondo digitale. Potrai disiscriverti in ogni momento cliccando l'apposito link in calce alla newsletter.
La nostra Agenzia SEO raramente ha richieste per ottimizzare siti fatti con Google Blogger. Tuttavia…
Ci sono arrivate diverse segnalazioni di problemi di dominio Godaddy collegato a Blogger. In questo…
Abstract Il typosquatting è una minaccia pervasiva nel panorama digitale, che sfrutta semplici errori di…
Unificazione sotto Google Cloud per una sicurezza avanzata e una gestione semplificata Introduzione: un cambiamento…
Il digital marketing offre diverse strade per migliorare la visibilità online e attirare clienti. Tra le soluzioni…
https://youtu.be/Dfmo97-BEAQ La Search Intent, o "intento di ricerca," è uno degli aspetti più importanti da…