My bookmark
1106 shaares
3 results
tagged
wget
Pas bête...
wget -U "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"; "url"
wget -U "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"; "url"
wget --content-disposition --trust-server-names -i list_of_urls
+ voir le script dans le topic quand le résultat reste dégueulasse
+ voir le script dans le topic quand le résultat reste dégueulasse
Petit mémo qui va bien pour crawler un sites avec wget et ré-écrire les liens locaux: wget -rkpE <uri>