vendredi 20 janvier 2017 - 2 Utilisateur(s) en ligne.
Google Traduction

Interface

Sélectionnez la langue de l'interface:

Anglais Français

Calendrier

Vendredi  20  janvier 2017 C'est l'hiver en ce moment
Fête de:
Saint Sébastien
Lever de Soleil08:36 Coucher de Soleil17:27

Index

Partenaires



Challenger Systems
 
 
Gravure & Traductions
 
 
Colok Traductions
 
 
ToutFr
 
 
Web4All
 
 

 

Recherches

Rechercher

Démineur

Pour baliser une case, appuyez sur CTRL et cliquez sur la case à baliser.
La case devient inactive et vous ne pouvez plus cliquer dessus.
Refaites CTRL+clic pour la rendre à nouveau active.

Pied à Coulisse

Texte aléatoire

Rafraichir la page.
“Les femmes ont, à leur disposition, deux armes terribles:
Le fard et les larmes.
Heureusement pour les hommes, elles ne peuvent pas servir en même temps.”
Marylin Monroe

Calculatrice

Fichiers

Identification


Votre Adresse IP:
54.211.112.177
Votre Fournisseur d'Accés Internet:
ec2-54-211-112-177.compute-1.amazonaws.com
Spam Venin
Générateur de fichiers "robots.txt".
Générateur de fichiers robots


Le fichier "robots.txt" est un fichier texte ASCII contenant des commandes à destination des robots d'indexation des moteurs de recherche afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Ainsi tout moteur de recherche commence l'exploration d'un site web en cherchant le fichier "robots.txt" à la racine du site, si le fichier n'est pas trouvé, le robot considèrera que tout lui est permis.
Contrairement au fichier ".htaccess" qui agit au niveau du serveur et dispose d'un niveau d'autorité supérieur, le fichier "robots.txt" a un rôle purement consultatif et ne peut être placé uniquement qu'à la racine du site pour pouvoir être pris en compte par les robots d'indexation. Il ne peut exister qu'un seul fichier "robots.txt" sur un site.



Créer un fichier pour contrôler le comportement des moteurs de recherche sur votre site internet.

Par défaut -  Chaque robot est:  
Délai minimum de revisite à respecter:
Sitemap: (Laissez vide pour aucun Sitemap)
     
Robots de recherche: Google  googlebot
  MSN Search   msnbot
  Yahoo   yahoo-slurp
  Ask/Teoma   teoma
  Cuil   twiceler
  GigaBlast   gigabot
  Scrub The Web   scrubby
  DMOZ Checker   robozilla
  Nutch   nutch
  Alexa/Wayback   ia_archiver
  Baidu   baiduspider
  Naver   naverbot, yeti
  Exalead   exabot
  Lycos spider   t-rex
  Alta Vista   scooter
  AOL/Excite   architextspider
  HotBot   slurp
  Voilà   echo
  UnderscoreBot   underscorebot
  InfoSeek   sidewinder
  AllTheWeb   fast
  WebCrawler   webcrawler
  DeepIndex   deepindex
   
Robots spéciaux: Google Image   googlebot-image
  Google Mobile   googlebot-mobile
  Yahoo MM   yahoo-mmcrawler
  MSN PicSearch   psbot
  SingingFish   asterias
  Yahoo Blogs   yahoo-blogs/v3.9
   
Répertoires à interdire: Le chemin est relatif à la racine et doit contenir le caractère "/"
 
 
 
 
 
   
 

Ensuite, copiez-collez le texte obtenu ci-dessus dans un fichier "robots.txt" vierge, n'oubliez pas le "s" a la fin du nom du fichier.
Si nécéssaire, vous pouvez éditer le texte en vous servant de l'aide fournie ci-dessous.
Puis placez ce fichier à la racine de votre site et vérifiez que les permissions de votre serveur autorisent l'accés à ce dernier par les moteurs de recherche.

Générateur de fichiers robots

Format du fichier robots.txt

- User-Agent: Permet de préciser le robot concerné par les directives suivantes.La valeur * signifie "tous les moteurs de recherche".
- Disallow: Permet d'indiquer les pages à exclure de l'indexation. Chaque page ou chemin à exclure doit être sur une ligne à part et doit commencer par /.La valeur / seule signifie "toutes les pages du site".
- Crawl-delay: Cette directive définit un temps d’attente minimum entre deux accés successifs du robot au site. Elle permet d’éviter toute surcharge en espaçant les visites du robot.
- Le fichier "robots.txt" ne doit contenir aucune ligne vide.
- L'étoile (*) n'est acceptée que dans le champ User-agent. Elle ne peut servir de joker (ou d'opérateur de troncature) comme dans l'exemple : Disallow: /entravaux/*.
- Il n'existe pas de champ correspondant à la permission, de type Allow:.
- Le champ de description (User-agent, Disallow) peut être indifféremment saisi en minuscules ou en majuscules.
- Les lignes qui commencent par un signe dièse (#), ou plus exactement tout ce qui se trouve à droite de ce signe sur une ligne, est considéré comme étant un commentaire.
- Chaque répertoire/fichier à exclure de l'aspiration du spider doit faire l'objet d'une ligne Disallow: spécifique. Cette commande permet d'indiquer que tout ce qui commence par cette directive ne doit pas être indexé.

Exemples de fichier "robots.txt":

  • Exclusion de toutes les pages :
    User-Agent: *
    Disallow: /
  • Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) :
    User-Agent: *
    Disallow:
  • Autorisation d'un seul robot  :
    User-Agent: nomDuRobot
    Disallow :
    User-Agent: *
    Disallow: /
  • Exclusion d'un robot :
    User-Agent: NomDuRobot
    Disallow: /
    User-Agent: *
    Disallow:
  • Exclusion d'une page :
    User-Agent: *
    Disallow: /repertoire/chemin/page.html
  • Exclusion de plusieurs page :
    User-Agent: *
    Disallow: /repertoire/chemin/page.html
    Disallow: /repertoire/chemin/page.php
    Disallow: /repertoire/chemin/page.asp
  • Exclusion de toutes les pages d'un répertoire et ses sous-dossiers :
    User-Agent: *
    Disallow: /repertoire/
  • Non-indexation des pages, mais identification des liens qu'elles contiennent:
    Noindex:/repertoire/