wget｜サイバーセキュリティ.com

  1. ホーム /
  2. セキュリティ用語集 /
  3. wget
             

wget

wgetは、Unix系OS（LinuxやmacOSなど）で広く利用されるコマンドラインツールで、インターネット上のWebページやファイルをダウンロードするために使用されます。wgetは、HTTP、HTTPS、FTPなどのプロトコルをサポートし、ファイルの自動ダウンロードや大規模なWebサイトの一括ダウンロード、リモートサーバーのデータ取得など、多岐にわたる用途で利用されます。また、コマンドラインから操作できるため、スクリプトや自動化システムに組み込むことが容易です。

wgetの名前は、「World Wide Web」と「Get」を組み合わせたもので、もともとはGNUプロジェクトの一部として開発されました。ネットワークの接続状態に依存せず、途中で通信が途絶えても再接続してダウンロードを続行する「レジューム機能」を備えており、堅牢なツールとして知られています。

wgetの主な機能

  1. 単一ファイルのダウンロード
    指定されたURLからファイルをダウンロードするシンプルなコマンドで、ファイルの取得に用いられます。
  2. 再帰的ダウンロード
    特定のWebサイト全体やディレクトリ構造を再帰的にたどり、一括でダウンロードできます。リンクをたどって複数のページを収集できるため、オフラインでの閲覧用にサイトを保存する際に便利です。
  3. ダウンロードの再開
    通信エラーやネットワーク切断が発生しても、中断した位置からダウンロードを再開できます。長時間のダウンロード時に便利です。
  4. ユーザーエージェントの設定
    --user-agentオプションを使って、リクエスト時のユーザーエージェントをカスタマイズできます。サイトによっては特定のユーザーエージェントに対してダウンロードを制限しているため、アクセス対策に利用可能です。
  5. 認証のサポート
    ユーザー名とパスワードが必要なサイトに対しても、基本認証やクッキー情報を使ってアクセスできます。

wgetの基本的な使い方

1. 単一ファイルのダウンロード

単純に指定URLのファイルをダウンロードするには、次のコマンドを使用します。

wget https://example.com/samplefile.txt

このコマンドは、指定URLのファイル（samplefile.txt）をカレントディレクトリに保存します。

2. ファイルを別名で保存

ダウンロードしたファイルの名前を変更して保存したい場合、-Oオプションを使用します。

wget -O newname.txt https://example.com/samplefile.txt

3. 再帰的ダウンロード

Webサイト全体をダウンロードするには、-rオプション（再帰的ダウンロード）を使用します。

wget -r https://example.com/

このコマンドで、example.comのWebサイト全体をディレクトリ構造ごとにダウンロードします。

4. 中断したダウンロードの再開

ダウンロードが途中で中断された場合に再開するには、-cオプションを使用します。

wget -c https://example.com/largefile.zip

このオプションを使用すると、既にダウンロードされた部分から続きが再開されます。

5. 制限速度を設定したダウンロード

帯域幅を抑えてダウンロードするには、--limit-rateオプションを使用します。

wget --limit-rate=100k https://example.com/largefile.zip

この例では、ダウンロード速度が100 KB/sに制限されます。

6. ユーザーエージェントを変更してダウンロード

Webサーバーに対して、異なるユーザーエージェントでアクセスするには、--user-agentオプションを使います。

wget --user-agent="Mozilla/5.0" https://example.com/samplefile.txt

7. クッキー情報を使用してダウンロード

ログイン状態などを維持するため、クッキー情報を利用するには、次のようにクッキーファイルを指定します。

wget --load-cookies=cookies.txt https://example.com/protectedfile.txt

8. 特定のファイルタイプだけをダウンロード

特定のファイル拡張子（例：画像ファイルなど）だけをダウンロードする場合、-Aオプションを使用します。

wget -r -A jpg,png,gif https://example.com/

この例では、画像ファイルのみがダウンロードされます。

wgetのメリット

  • 堅牢なダウンロード：エラー発生時の自動再試行やダウンロードの再開に対応しており、大量のファイルをダウンロードする際にも安定しています。
  • 軽量で効率的：コマンドラインからの操作が可能で、スクリプトや自動化タスクに容易に組み込むことができます。
  • 再帰的なダウンロード：サイト全体のデータ取得が可能なため、データ収集やオフラインでのコンテンツ閲覧に便利です。
  • 豊富なオプション：帯域制限、ユーザーエージェント変更、クッキー使用など、柔軟にカスタマイズできます。

wgetのデメリットと課題

  • 動的コンテンツへの非対応：JavaScriptによる動的コンテンツの取得には対応しておらず、ページ内容がJavaScriptで生成される場合には不向きです。
  • セキュリティの配慮が必要：認証情報をコマンドラインに直接入力すると、セキュリティリスクが発生するため、扱いには注意が必要です。
  • 一部のサイトでの制限：サーバー管理者がwgetによるアクセスを禁止している場合があり、その場合はwgetでのデータ取得がブロックされます。

まとめ

wgetは、シンプルで強力なコマンドラインツールとして、インターネット上のデータ収集やダウンロードの自動化に広く使用されています。特に、安定したダウンロード機能と多様なオプションによって、ファイルのダウンロードやWebサイト全体のバックアップ、オフライン閲覧に非常に便利です。とはいえ、動的コンテンツへの非対応や、利用におけるセキュリティリスクには注意が必要です。

関連コラム（あわせて、以下の記事もよく読まれています）

製品・サービス（当該コラムの内容に関連する製品・サービスはこちら）


SNSでもご購読できます。