Meta name robots content

Per dare istruzioni agli spider dei motori di ricerca su cosa possono e non possono fare, possiamo utilizzare non solo il file robots.txt ma anche il meta tag robots.
Questo metatag si distingue innanzitutto dal file robots.txt perché si riferisce alla singola pagina in cui è presente, e non al sito nel suo complesso.
Come il robots.txt segue sempre il Robots Exclusion Protocol (REP).

Questo meta tag, inserito nella head della pagina HTML, è dato dal seguente codice:

<meta name="robots" content="...">

Il valore per l'attributo content definisce l'istruzione relativa alla pagina per gli spider:

  • index - si richiede di indicizzare la pagina (di inserirla cioè nell'archivio del motore di ricerca)
  • noindex - si richiede di non includere la pagina negli archivi del motore di ricerca
  • follow - si richiede che tutti i link presenti nella pagina vengano seguiti; questo consente anche il passaggio di valore da una pagina all'altra, come avremo modo di vedere in modo molto ampio
  • nofollow - si richiede di non seguire i link che da quella pagina puntano verso altre pagine

I valori relativi all'indicizzazione (index/noindex) e quelli relativi ai link (follow/nofollow) vengono combinati tra loro.

Ci sono quindi quattro alternative:

<meta name="robots" content="index, follow">
Si richiede di indicizzare la pagine e seguire tutti i link.

<meta name="robots" content="index, nofollow">
Si richiede di indicizzare la pagina ma non seguire i link.

<meta name="robots" content="noindex, follow">
Si richiede di non indicizzare la pagina, ma di seguire i link che da quella pagina portano ad altre pagine.

<meta name="robots" content="noindex, nofollow">
Si richiede allo spider di non indicizzare e non seguire i link di quella pagina.

Lasciando come name="robots" stiamo fornendo un'istruzione a tutti gli spider. Possiamo però restringere le istruzioni anche a singoli spider.

<meta name="googlebot" content="index, follow">
In questo caso l'istruzione riguarda specificatamente lo spider Googlebot.

Perché usare anche il meta tag robots, oltre al file robots.txt?

  • Il file robots.txt impedisce del tutto l'accesso dello spider a determinate cartelle e file tramite l'istruzione Disallow, mentre il meta tag robots permette in ogni caso l'accesso alla pagina, istruendo lo spider sulla fase successiva: se indicizzare o meno la pagina, se deve seguire o meno i link; si tratta di un metodo che permette di istruire in modo ancora più preciso e specifico lo spider.
  • Può essere utile in particolare per i contenuti duplicati: ad esempio per le versioni in PDF o quelle stampabili, e in tutte quelle situazioni nelle quali preferiamo non mostrare una pagina specifica al motore di ricerca (anche se è consigliabile un altro metodo, la cosiddetta canonicalizzazione).

In assenza di istruzioni robots tutti gli spider tenderanno a indicizzare le pagine che incontrano e a seguire i link.

Non è quindi obbligatorio l'utilizzo di queste istruzioni, ma certamente migliorano la resa della scansione degli spider sulle nostre pagine del sito web/blog.


Ritieni il contenuto di questa pagina incompleto, non attendibile oppure oggetto di altre problematiche? INVIA UNA SEGNALAZIONE Grazie!

Tags cloud

Fanerozoico Tomboli trasparenza Cybill Shepherd cielo DNA supporto Rolling In The Deep blog ottimizzazione ponti radio raggiera ghiaccio ottici frequenza File System Baldissera tenda Chris Rock decoupage fiocchi elettromagnetica Buisson QSL Grecale Moneta Recco Meteo luogo Joel Coen beacon cassetta Documentario acquariofilia 1980 Premium notturno radionavigazione Satelliti Polari John Adams Jetstream Yasser Arafat Ian McShane pupilla cielo stellato pittura corpo ARI lesioni fagioli Menu Start patente atmosferica conducente Fibra Risorse Radioamatore anticiclone sitebook Samantha Cristoforetti Gressoney Mugnaia Incrociatore Circo Massimo mons Vigili del fuoco DNS 443 prezzi Adam Sandler UEFA rai 3 malta invernale Capitanerie industriali Fabrizio Bentivoglio 1952 Marco Giallini DB-32 Riccardo De Filippis rivista Democratico Paolo Lodi Erg vendita 187 etichetta strada Callichthyidae nutrice LEMM Hyphessobrycon Proserpina Willow Shields fata Monferrato Mosca Carnaria Blogger pianeta spettroscopio Capodanno Petrus Theodorus acceleratore Cedric the Entertainer ENAV Marco Masini zecca ricetrasmittente iris Diane Kruger energia elettrica caccia Staphylococcus aureus giglio candido vendere Cagliari RadioDue bottiglia Scarlett Johansson Joaquin Phoenix connettori vodafone crono Spiaggie Castelli Orlando Bloom Kim Neve acquistare 10Base-T mod_rewrite.c ballerina fuoristrada spettacolo Diluvio universale Perielio Bufalo Nero K1RFD Napoleone zucchero cioccolato vba hello Chamois Gerusalemme PSD terremoti Zanzariere statunitense Mare donne carta lunare