Traductions, Articles, Forum, Galerie Multimédia, Jeux.


Le fichier "robots.txt" est un fichier texte ASCII contenant des commandes à destination des robots d'indexation des moteurs de recherche afin de leur préciser les pages
qui peuvent ou ne peuvent pas être indexées. Ainsi tout moteur de recherche commence l'exploration d'un site web en cherchant le fichier "robots.txt" à la racine du site, si le fichier n'est pas trouvé, le robot considèrera que
tout lui est permis. Contrairement au fichier ".htaccess" qui agit au niveau du serveur et dispose d'un niveau d'autorité supérieur, le fichier "robots.txt" a un rôle purement consultatif et ne peut être placé uniquement qu'à la racine du site pour pouvoir être pris en compte par les robots d'indexation. Il ne peut exister qu'un seul fichier "robots.txt" sur un site. |
|
Créer un fichier pour contrôler le comportement des moteurs de recherche sur votre site internet.
|

Format du fichier robots.txt
- User-Agent: Permet de préciser le robot concerné par les directives suivantes.La valeur * signifie "tous les moteurs de recherche".
|