Creare un file robots.txt per WordPress è estremamente importante per garantire una corretta indicizzazione di un Blog e per prevenire possibili penalizzazioni da parte dei Motori di Ricerca, a causa della presenza di Contenuti Duplicati . Vedremo come con poche istruzioni, sia possibile definire ed ottimizzare un file robots. continua

Per chiunque di voi si recasse nel forum per Webmaster di Bing, si renderà subito conto che sta succedendo il putiferio. Non si capisce perchè ma Bing non rispetta le regole d’ esclusione delle pagine, scritte nei file Robots.txt, e capirete da voi che questo è un grave danno per molti webmaster, che quindi di conseguenza continua

I più conosceranno l'importanza e l'utilizzo del robots.txt . Si tratta di un file necessario per indicare agli spider dei motori di ricerca cosa indicizzare e cosa non . Il file robots.txt nasce esclusivamente per indicare le aree di un sito da non indicizzare. continua

Sono file di testo utilizzati per comunicare ai motori di ricerca quali pagine all'interno del vostro sito dovranno essere indicizzate e quali file od intere directory non dovranno essere prese in considerazione. continua