本文讲述了如何利用Linux下载工具wget根据链接批量下载文件或者目录。
wget 为Linux自带的下载工具，windows下也可以安装
一：windows下安装wget：
- 安装Chocolatey
方案A：以管理员身份运行cmd.exe
输入：
1 | @"%SystemRoot%\System32\WindowsPowerShell\v1.0\powershell.exe" -NoProfile -InputFormat None -ExecutionPolicy Bypass -Command "iex ((New-Object System.Net.WebClient).DownloadString('https://chocolatey.org/install.ps1'))" && SET "PATH=%PATH%;%ALLUSERSPROFILE%\chocolatey\bin" |
回车等待安装完成。
方案B：PowerShell用户输入：
1 | Set-ExecutionPolicy Bypass -Scope Process -Force; iex ((New-Object System.Net.WebClient).DownloadString('https://chocolatey.org/install.ps1')) |
测试是否安装成功，在命令行中输入“choco”看到help信息表明安装成功。
- 安装wget
1 | choco install wget |
升级wget
1 | choco upgrade wget |
二、用wget下载数据
1 | wget -r -c -nH -nc --cut-dirs=3 -i file_contain_url_lists |
-i file_contain_url_lists：含有文件/目录链接的文件，每个链接一行
-nc：不覆盖已下载的文件
-c：断点续传
–cut-dirs=3：忽略 NUMBER层远程目录
-nH：不创建主机目录
-r：递归下载
