Forum Archive-Host

Vous n'êtes pas identifié.

#1 03-09-2015 13:56:41

le_courlis
Membre
Date d'inscription: 01-09-2015
Messages: 84

la bonne place pour robots.txt

Bonjour,

j'avais placé le fichier robots.txt ainsi
/racine/public_html/robots.txt.

Or, dans les traces de visite, je constate que des bots ne le trouvent pas.
Le lien ciblé par les bots est /racine/robots.txt

J'ai donc tenté /racine/robots.txt

Est-ce la bonne méthode ? Peut-il être en double ou faut-il éviter ?

Merci

Hors ligne

 

#2 03-09-2015 14:44:15

Cristal
Administrateur
Lieu: Dijon
Date d'inscription: 24-09-2006
Messages: 5072
Site web

Re: la bonne place pour robots.txt

Bonjour,

Le nom de domaine est lié au dossier public_html.
Vous ne devez interagir qu'avec ce dossier.

Le fichier robots.txt doit donc bien être mis dans public_html.

Après, cela peut venir de votre redirection .htaccess. Il faudrait ne pas la faire pour le fichier robots.txt.


Cristal
Directeur d'Archive-Host

État du Reseau

Hors ligne

 

#3 03-09-2015 16:26:37

le_courlis
Membre
Date d'inscription: 01-09-2015
Messages: 84

Re: la bonne place pour robots.txt

Merci, je comprends.

Du coup, je teste une autorisation explicite sur robots.txt pour les crawlers. La syntaxe est un peu "au doigt mouillé".

Code:

<files robots.txt>
order allow,deny
#allow from all
allow from *bot*
</files>

Hors ligne

 

Pied de page des forums

Propulsé par FluxBB
Traduction par FluxBB.fr