url2bmpを使って、アートカテゴリー(http://sozai.picolix.jp/dmoz/)の登録サイト10,000のトップページのサムネイル画像を１２時間かかって取得しました。。
当初は、thumbshots.orgを使っていたのですが、相手サーバが過負荷状態だとなかなかデータを取得できず、ページを表示するのにロック状態となってしまっていました。
ということで、自分でサムネイル画像を保存しておくしかないということで、ちょうどurl2bmpを見つけました。url2bmpはコマンドラインから実行できるので、perlでスクリプトを組んでみたのですが、時々
ＪＡＶＡＳＣＲＩＰＴエラーしたページがあるとそこでロック状態となってしまい次に進めません。
そこで、vcでスレッドを作って、そこからCreateProcessで、url2bmpを呼び出し、１分のタイムアウト
処理で、url2bmpをスレッドごと強制終了させるようにした。
->で、流すこと１２時間１０、０００サイトの画像が取得できた。
で、結果はご覧のとおりです。http://sozai.picolix.jp/dmoz/77596/902594/1127321/
※ url2bmpは、アクセス先にポップアップウィンドウがあると、別窓で表示します。
したがって、１０,０００サイトもアクセスすると、画面がポップアップウィンドウやら認証ページやら
JAVASCRPITの入力ウィンドウで埋め尽くされます。（笑う）
こういう場合は、kill iexplore でばっさり落とします。
url2bmpでは、画像を１対１のサイズで保存する時は、右のスクロールバーを保存なしに
できるのですが、それ以外だと、右のスクロールバーなし設定にもかかわらず表示されてしみます。（バグ？）
しょうがないので、800×600をそのまま保存して、ShukuSen.exeにて120×90に縮小しました。
ShukuSen.exeもコマンドラインにて動作できるので、これもスクリプトに組み入れました。