Les fichiers robots.txt sont référencés par les moteurs de recherche pour indexer le contenu de votre site web. Il peut être utile d'empêcher que certains contenus, tels qu'une offre de contenu cachée derrière un formulaire, soient renvoyés par les résultats des moteurs de recherche.
Remarque : Google et d'autres moteurs de recherche ne suppriment pas rétroactivement les pages des résultats de recherche après la mise en œuvre de la méthode robots.txt. Ce fichier indique aux robots de ne pas analyser une page, mais les moteurs de recherche peuvent toujours indexer votre contenu si, par exemple, des liens entrants mènent à cette page depuis d'autres sites. Si votre page a déjà été indexée et que vous aimeriez la supprimer rétroactivement des moteurs de recherche, il vous faudra utiliser la méthode du meta-tag « No index ».
Votre fichier robots.txt indique aux moteurs de recherche comment indexer les pages hébergées sur votre site web. Les deux principaux composants de votre fichier robots.txt sont les suivants :
Pour en savoir plus sur la configuration des fichiers robots.txt pour les résultats de recherche Google, consultez la documentation de Google pour les développeurs. Vous pouvez également utiliser un générateur de fichiers robots.txt pour créer votre fichier.
Remarque : Pour bloquer un fichier dans votre gestionnaire de fichiers, personnalisez le fichier afin qu'il soit hébergé sur l'un de vos domaines. Vous pourrez ensuite ajouter l'URL du fichier à votre fichier robots.txt.
Depuis votre compte HubSpot, accédez à l'icône Paramètres settings dans l'angle supérieur droit.
Dans le menu latéral de gauche, accédez à Site web > Pages.
Utilisez le menu déroulant Modifier pour sélectionner un domaine à mettre à jour.