Optimisation de sites web

Mal compris de la plupart des gens, inconnu par beaucoup de propriétaires de sites et enfin souvent mal écrit dans la plupart des cas, si le fichier robots.txt pouvait parler, il en aurait sûrement long à dire! Pour la plupart des gens, ll est difficile de comprendre comment un fichier si petit et innocent peu causer tant d'ennuis!

Pourtant, chez Optimisation.ca nous en sommes témoins presque à chaque jour. Dans cette section, nous allons tenter de démystifier le fichier robots.txt et d'offir un peu de lumière sur ce sujet controversé.

D'une façon presque universelle, la plupart des moteurs de recherche sur le web utilisent des techniques de saisies de données similaires. Si on prends l'exemple de Google, Alta Vista et Fast (All the Web), ces trois engins ont ce que l'on appelle des robots qui effectuent des recherches sur les sites.

Ces robots automatisés sont programmés à visiter les sites web à intervales régulières. Le travail de ces robots est donc de visiter régulièrement les sites web de tout l'Internet et de transmettre ces données à leurs bases de données dans les centres de traitement des engins.

Or, il arrive assez fréquemmement que, pour des raisons de confidentialité ou autres, les webmaîtres (webmasters) ou propriétaires de certains sites ne veulent pas que les robots visitent certaines parties de leur site, ces sections étant réservées à leurs besoins internes.

C'est exactement le travail du fichier robots.txt que de défendre aux robots de visiter et d'indexer ces endroits et, lorsque bien programmé, il fait bien son travail. Cependant, une récente étude menée par Google démontre que plus de 70% des fichiers robots.txt sont mal écrits, mal programmés ou sinon complètement absents des serveurs! Il est alors impossible dans ce cas d'empêcher les robots de visiter ces sections qui sont, à prime abord défendues!

Mail il y a pire encore! Optimisation.ca rencontre presque à chaque jour des quantités de sites dans lesquels les fichiers robots.txt ont été écrits d'une façon que, lorsque les robots viennent pour visiter le site en question, ils sont ordonnés de faire demi-tour et de repartir! Ce qui a pour effet que ces sites ne seront jamais indexés dans les engins et donc, n'offriront aucune visibilité dans les moteurs de recherche.

Que doit-on faire dans un cas semblable? La programmation des fichiers robots.txt est relativement complexe et critique au bon fonctionnement d'un site et aussi en fonction des moteurs de recherche. Pour ces raisons, il est fortement conseillé de faire appel à une entreprise de référencement professionel afin de vous assurer que le travail sera fait selon les normes de l'industrie. Pour votre propre protection, contactez Optimisation.ca aujourd'hui même.

Article par Serge Thibodeau
Copyright © Serge Thibodeau 2003. Tous droits réservés.

Il est strictement défendu de copier, de reproduire ou de republier, outre que pour des fins personnelles, tout article contenu dans ce site, sans avoir obtenu une autorisation écrite de Serge Thibodeau.

Soyez toujours au courant des dernières nouvelles dans le monde des engins et des moteurs de recherche. Cliquez ici afin d'inscrire Optimisation.ca dans la liste de vos favoris.