wget のオプションでいろいろゴニョゴニョする。

要件

PC/携帯振り分けサイトの「携帯用」ページを一括ダウンロードする

というわけで、wgetのオプション設定で、いろいろと試す。

必要なのは、

  1. 再帰的にページをダウンロードする (例:3回)
  2. UserAgentの設定

こんな感じかなぁ。

wget -r -l 3 http://www.example.com --user-agent="ユーザーエージェント"

追記. ユーザーエージェントの指定は、−UでもOKみたい。

wget -r -l 2 http://m.forexample.com/ -U=iPhone

なお、ベーシック認証がかかっている場合でもオプションを使えば、
ファイルは落とせます。
また、ダウンロードする拡張子を指定することも可能です。

wget -r -A .html http://www.samp.com/ --user-agent=iPhone --http-user=username --http-password=hoge


via.
wget で認証付きサイトをダウンロードする - WebOS Goodies
wget tips
wgetでの一括ダウンロードが便利な件 – taichino.com
http://www.hoge256.net/2007/08/69.html
wget の使い方