Il file Robots.txt non va confuso con il tag Meta Robots.
CHE COS’È UN TAG META ROBOTS?
Il tag Meta Robots comunica ai crawler come analizzare, indicizzare e far visualizzare il contenuto di una pagina.
Le indicazioni più conosciute
Viene inserito nella sezione <head> del codice html e può presentarsi in questo modo.
<meta name=”robots” content=”noindex”>
In questo caso, abbiamo detto a tutti i robot dei motori di ricerca di non indicizzare la pagina in questione. Avremmo anche potuto indicarne uno specifico. Per esempio, Googlebot-Image.
- Invece, oltre a “noindex” possiamo dare altre indicazioni. Ecco le principali:
- Noarchive: non mostrare il link copia cache nei risultati di ricerca.
- Nocache: equivale a Noarchive. Lo utilizzano Bing e gli mdr che usano i suoi crawler.
- Nofollow: non seguire i link su questa pagina.
- None: Noindex + Nofollow.
- Nosnippet: non creare uno snippet di testo o un’anteprima video.
Con Yoast
Possiamo dare questi comandi anche con Yoast. Dobbiamo cliccare su Avanzate e poi selezionare le voci che c’interessano.
- Vuoi permettere ai motori di ricerca di mostrare questi contenuti nei risultati di ricerca? Optare per il no equivale a scrivere noindex.
- I motori di ricerca dovrebbero seguire i link collegati a questo contenuto? Optare per il no equivale a scrivere nofollow.
Meta Robots avanzate
Nessuna immagine indice: non indicizzare le immagini di questa pagina.
Nessun archivio: nocache, noarchive.
ALTRE INDICAZIONI CHE POSSIAMO DARE NEL TAG META ROBOTS
Max-image-preview: [impostazione]
Serve a indicare quanto deve essere grande (al massimo) un’immagine-anteprima nella serp.
Valori accettati
- [impostazione]: il valore espresso;
- none: non mostrare nessuna anteprima;
- standard: mostrar un’anteprima predefinita;
- large: mostrare un’anteprima larga al massimo quanto l’area visibile.
Attenzione
- Queste indicazioni sono nulle se un publisher ha dato separatamente l’autorizzazione a usare i contenuti. Ad esempio, se il publisher fornisce i contenuti sotto forma di dati strutturati in-page (ad esempio, le versioni AMP e/o quella canonica di un articolo) o se ha un contratto di licenza con Google, questa impostazione non interrompe gli usi consentiti più specifici.
- Se non vogliamo che Google usi delle miniature più grandi quando le pagine AMP e la versione canonica di un articolo vengono mostrate nella Ricerca o in Discover, dobbiamo indicare: max-image-preview= standard oppure max-image-preview=none.
Max-snippet: [numero]
Ecco quello che dice Google Search Central
[Questo comando equivale a dire ai motori di ricerca] usa un massimo di [tot] caratteri per lo snippet testuale di questo risultato di ricerca. Senza questa indicazione, Google sceglierà la lunghezza dello snippet.
Valori speciali
0: non deve essere mostrato nessuno snippet. Equivale a nosnippet.
-1: Google sceglierà la lunghezza dello snippet che ritiene più efficace per aiutare gli utenti a scoprire i tuoi contenuti e indirizzarli al tuo sito.
Attenzione
- All’interno di una pagina dei risultati di ricerca un URL potrebbe comparire per più risultati di ricerca. Questa istruzione non influisce sulle anteprime di immagini o video Questo si applica a tutti i tipi di risultati di ricerca (ad esempio Ricerca Google, Google Immagini, Discover, assistente, riepiloghi dell’AI) e limiterà la quantità di contenuti che possono essere utilizzati come input diretto per i riepiloghi dell’IA.
- Tuttavia, il limite non si applica nei casi in cui un publisher ha concesso separatamente l’autorizzazione a usare i contenuti. Ad esempio, se il publisher fornisce contenuti in forma di dati strutturati in-page o se ha un contratto di licenza con Google, questa impostazione non interrompe gli usi consentiti più specifici. Questa regola viene ignorata se non viene specificato un valore [numero] analizzabile.
Nositelinkssearchbox
Non mostrare i sitelink nei risultati di ricerca per questa pagina.
Notranslate
Non mostrare la traduzione di questa pagina nella serp.
Max-video-preview [valore]
Usa solo fino a tot secondi (valore indicato) se devi mostrare questo video nella serp.
Valori speciali
0: mostra un’immagine statica (in base all’impostazione max-image-preview).
-1: nessun limite.
Questa indica viene ignorata se non viene specificato un valore [numero] analizzabile.
Noimageindex
Non indicizzare nessuna immagine di questa pagina.
NOTE SU NOSNIPPET
Qualora fosse disponibile e lo ritenessero utile per i navigatori, motori di ricerca potrebbero mostrare la miniatura statica di un’immagine.
Per evitare che alcune sezioni della pagina vengano utilizzati lo stesso come snippet, dobbiamo utilizzare l’attributo HTML data-nosnippet.
NOTE SU NO INDEX
Con Indexifembedded diciamo a Google d’indicizzare una pagina se è incorporata in un’altra per la quale abbiamo dato l’indicazione noindex. Capita soprattutto quando la seconda è di terze parti.
Google Search Central fa questo esempio
Se podcast.host.example/playpage?podcast=12345 ha sia il tag noindex che indexifembedded, Google può incorporare i contenuti ospitati su quella pagina in recipe.site.example/my-recipes.html durante l’indicizzazione.
Ecco la sintassi corretta
<meta name=”googlebot” content=”noindex” />
<meta name=”googlebot” content=”indexifembedded” />
<!– OR –>
<meta name=”googlebot” content=”noindex,indexifembedded” />
Oppure
X-Robots-Tag: googlebot:noindex
X-Robots-Tag: googlebot:indexifembedded
Oppure
X-Robots-Tag: googlebot:noindex,indexifembedded
QUAL È LA DIFFERENZA TRA META ROBOTS E ROBOTS.TXT?
Sebbene il tag Meta Robots e il file robots.txt abbiano scopi simili, svolgono funzioni differenti. Il file robots.txt è un file di testo che regola l’intera scansione del sito, indicando ai motori di ricerca quali pagine esplorare. Al contrario, il tag Meta Robots si applica unicamente alla pagina che lo contiene, fornendo istruzioni precise su come i motori di ricerca dovrebbero scansionarla, indicizzarla e visualizzarla.
Inoltre, i comandi Meta Robots devono essere messi in un solo tag.
LA CACHE DEL SITO: COS’È E COME FUNZIONA
La cache del sito è una tecnica di memorizzazione temporanea che migliora le prestazioni di un sito conservando versioni statiche di pagine dinamiche. Questa cache può essere implementata a livello di applicazione web o CMS, e può essere memorizzata sia lato client (nel browser dell’utente) sia lato server. Il suo scopo è ridurre i tempi di caricamento delle pagine e ottimizzare le risorse per rendere l’esperienza dell’utente più fluida.
A seconda della configurazione, la cache del sito può essere archiviata in diversi luoghi: su file locali del server, in sistemi di cache come Redis o Memcached o su server distribuiti tramite una CDN (Content Delivery Network).
Gestione della cache del sito
La gestione della cache varia in base alla piattaforma utilizzata. Per esempio, su WordPress esistono plugin dedicati come W3 Total Cache o WP Super Cache, che offrono un’interfaccia semplice per configurare e controllare la cache del sito. Questi strumenti permettono di svuotare e rigenerare la cache, impostare la durata della memorizzazione e definire regole specifiche per determinate pagine o sezioni del sito.
Un aspetto chiave nella gestione della cache è comprendere le tecniche di cache invalidation e cache expiration, necessarie per mantenere i contenuti sempre aggiornati. In alcuni casi, può essere utile implementare il cache-busting, aggiungendo query string uniche alle risorse statiche per forzare il caricamento delle versioni più recenti.
Cache del sito: obiettivi e benefici
La corretta gestione della cache è essenziale per bilanciare le performance e l’accuratezza dei dati, migliorando sia l’esperienza dell’utente che l’efficienza complessiva del sito. Ecco alcuni dei principali vantaggi:
1. Miglioramento delle prestazioni: riducendo il tempo di caricamento delle pagine, la cache permette un accesso più rapido ai contenuti già memorizzati.
2. Riduzione del carico sul server: parte delle richieste vengono soddisfatte dalla cache, liberando risorse del server e migliorandone la stabilità.
3. Risparmio di banda: la cache riduce la quantità di dati che devono essere scaricati dai visitatori, diminuendo i costi di banda e migliorando la velocità di navigazione.
Nota no-cache e no-archive
o non essere sufficiente per tutti i browser. Pertanto, è consigliabile gestire anche le politiche di cache attraverso le intestazioni HTTP “Cache-Control” inviate dal server.
L’importanza della cache per la SEO
La gestione della cache gioca un ruolo cruciale per il posizionamento sui motori di ricerca. Un sito che carica rapidamente ha maggiori possibilità di ottenere un buon ranking, offrendo un’esperienza utente superiore e riducendo il tasso di abbandono.
L’ottimizzazione della cache include tecniche come la configurazione di file .htaccess, l’utilizzo di CDN per distribuire contenuti statici e la compressione delle risorse per velocizzare il caricamento.
Un altro aspetto fondamentale riguarda la gestione della scadenza della cache. Impostare correttamente i tempi di scadenza garantisce che i contenuti siano sempre aggiornati, evitando problemi di obsolescenza. Questo permette a Google di indicizzare il sito in modo più efficiente, mantenendo una copia cache aggiornata delle pagine.
Problemi comuni e best practice nella gestione della cache
Nonostante i tanti benefici, la gestione della cache può talvolta creare problemi, tra cui:
- Contenuti obsoleti: se la cache non viene aggiornata correttamente, i visitatori potrebbero visualizzare versioni vecchie delle pagine.
- Problemi di compatibilità: alcuni plugin o temi potrebbero non essere compatibili con le impostazioni di cache.
- Sicurezza e privacy: memorizzare dati sensibili nella cache potrebbe esporre il sito a rischi di sicurezza.
Per evitare questi problemi, è importante configurare correttamente i tempi di scadenza della cache e utilizzare strumenti di cache invalidation per mantenere i contenuti sempre aggiornati.
Come si trova?
Quasi tutte le pagine che compaiono nella serp hanno una copia cache. Per visualizzarla dobbiamo cliccare prima sulla freccia rivolta verso il basso che si trova a destra dell’URL del sito e poi su Copia cache.
Utilità
Pertanto, la gestione efficace della cache è fondamentale per migliorare le performance di un sito, ridurre i tempi di caricamento e ottimizzare l’esperienza utente. Con un approccio corretto, non solo potrete garantire una navigazione più fluida per i vostri visitatori, ma migliorerete anche il posizionamento del sito sui motori di ricerca, assicurandovi di mantenere un vantaggio competitivo nel panorama digitale.
Google e la Cache
Google ha deciso di dire addio a una delle sue funzionalità più longeve: il salvataggio e la visualizzazione delle copie cache delle pagine web indicizzate. Danny Sullivan, Search Liaison di Google, ha confermato che l’azienda ha valutato non più necessario continuare a mantenere backup di una parte così consistente del web.
La funzione di memorizzazione nella cache era stata introdotta anni fa, in un periodo in cui i siti web potevano essere offline per lunghi periodi. Accedere a una copia cache, salvata da Google durante la scansione e l’indicizzazione del web, era spesso l’unico modo per consultare i contenuti di un sito temporaneamente non disponibile. Oggi, con un’infrastruttura internet decisamente più stabile, i siti web professionali risultano accessibili quasi senza interruzioni. Da qui la decisione di Google: eliminare una funzione ormai superata e onerosa da mantenere.
Google saluta ufficialmente la Cache In pratica, Google non salverà più copie cache delle pagine web analizzate dal suo web crawler, il software automatico che esplora la rete alla ricerca di nuovi contenuti. Gestire i backup di queste pagine comporta infatti l’archiviazione e la manutenzione di una quantità impressionante di dati, stimati in diversi petabyte, con costi operativi non indifferenti. Negli ultimi tempi, la funzione della cache era già stata gradualmente ridotta, e ora Google ha confermato ufficialmente la sua eliminazione, rimuovendo anche le pagine di supporto che ne descrivevano il funzionamento.
Attualmente, è ancora possibile visualizzare alcune copie cache presenti sui server di Google inserendo manualmente l’URL “https://webcache.googleusercontent.com/search?q=cache:” seguito dall’indirizzo del sito, oppure scrivendo “cache:” all’inizio di una query su Google Search. Tuttavia, anche questa possibilità sarà presto disabilitata, man mano che Google completerà la rimozione dei dati accumulati. Finisce così una funzione storica, che permetteva anche di osservare come Google visualizzava e salvava le pagine web, spesso in modo diverso rispetto a come apparivano agli utenti.
Le conseguenze di questa decisione potrebbero essere significative per l’archiviazione dei contenuti presenti su internet. Con l’uscita di scena di Google in questo ambito, il compito di conservare periodicamente snapshot del web per preservarne la memoria sarà sempre più affidato a progetti come Internet Archive.
DATI STRUTTURATI
Per quanto concerne i dati strutturati, le indicazioni dei meta tag Robots hanno effetti solo sui valori article.description e description (per quelli specificati per altre opere creative). Possiamo specificare la lunghezza massima di un’anteprima in base a questi valori con un max-snippet.
