Par défaut, Xenu utilise comme proxy la configuration d’Internet Explorer.
Voici un exemple de manip pour modifier le user-agent de Xenu :
1) Installer Fiddler.
2) Modifier dans Fiddler le user-agent que vous voulez utiliser.
3) Modifier les options du Proxy d’Internet Explorer. Les données à utiliser sont 127.0.0.1:8888.
4) Lancer Xenu et vérifier dans vos logs si la manip a bien fonctionné 😉
Cas d’utilisation
- Effectuer le crawl d’un site avec Xenu même quand son user-agent est bloqué.
- Vérifier le comportement d’une page pour un utilisateur mobile : crawl d’un site avec le user-agent Googlebot-Mobile.
Note : Cette astuce est tirée d’ici.
C’ est déja une bonne première étape de changer l’ UA de Xenu ou tout autre soft de scrapping.
Cependant si le site en face souhaite réellement vérifier quel UA il a en face (vérifier si c’ est bien un GoogleBog par exemple) il peut faire une requête de reverse ip.
C’ est la qu’ il devient interessant de paramétrer son reverse avec le mot Google dedans, Free notamment permet cette modif.
cdt
Merci pour ce complément d’informations 😉
Je n’ai effectivement pas abordé la notion de sécurité dans l’article, j’ai juste mentionné une petite astuce qui peut parfois s’avérer utile.
Pour ce qui est du reverse, il me semble que ça n’est faisable que sur serveur dédié… et qui concerne donc des gens qui maîtrisent déjà un minimum en terme de sécurité (enfin espérons) 😉