A la question: "Googlebot utilise-t-il la déduction quand il parcours le web? S'il a rencontré les pages site.com/article/page1.htm et site.com/article/page2.htm, peut il deviner l'existence d'une page 3 et s'y rendre? Ou s'en tient-il à ce qu'il trouve via le réseau de lien et/ou les Sitemaps/feeds?"

Matt cutts réponds:

Google prend aussi en compte les adresses similaires, c'est une façon supplémentaire de crawler.

Google utilise la déduction. Par exemple s'il trouve une URL avec 3 ou 4 paramètres, il essaye d'en enlever un pour voir s'il retombe sur la même page, si c'est la cas il estime que peut-être ce paramètre n'est pas utile, et retiendra l'URL la plus "propre" et "jolie" en en enlevant tous les paramètres inutiles.

Le crawl se fait de plus en plus intelligent, le robot peut maintenant parcourir les formulaires. Bien sûr si le formulaire est interdit par le robots.txt il n'y ira pas, ce n'est pas comme s'il allait chercher les numéros de carte de crédit sur un site de e-commerce. Mais s'il s'agit par exemple d'une simple liste déroulante, il va voir où il arrive si il sélectionne une valeur.

Google cherche les voies sans issue du web, et essaye de les contourner pour pouvoir crawler la totalité d'un site et en faire part aux utilisateurs, mais bien sûr dès que l'on veut bloquer l'accès au robot il suffit de le préciser dans robots.txt et les pages ne seront jamais crawlées.