Index

Les limitations des moteurs sont multiples et même le meilleur d'entre eux n'indexe qu'environ 1/4 de la totalité du web, on appelle généralement la partie cachée de cet iceberg le " web invisible ". Il est facile d'imaginer qu'un spider qui arrive sur un champ de formulaire d'une base de données ne va pas entrer tous les mots existants pour générer et indexer toutes les pages dynamiques possibles. De même un code Javascript ou autre langage de programmation générant des pages flottantes posera un problème aux robots indexateurs. Les limitations les plus importantes sont pourtant celles que le programmateur impose à son spider. Le temps est compté et pour que ce dernier ne se perde pas dans les limbes du réseau , il est parametré pour n'indexer les sites qu'a un certain niveau de largeur et de profondeur et d'y suivre qu'une partie des liens externe. De même les pages pesant plus d'un certain poids (100 ko pour Altavista) seront ignorées, et la liste est encore longue...
Si tout cela ne suffisait pas, un concepteur web peut enfin refuser l'indexation de pages en insérant une balise meta <no robots>.
Pour chercher efficacement sur ce qu'il reste du web, il faut bien connaître les spécificités de chaque outil et utiliser les bons formats d'interrogations pour restreindre sa recherche. Les tableaux en pdf de ce site vous donnent toutes les indications nécessaires à la bonne optimisation des outils de recherche.