linux命令行环境下下载cityscapes数据集

官网地址:https://www.cityscapes-dataset.com/downloads/

下载数据前需要注册登录,必须使用企业或教育邮箱。未登录状态下点击下载链接会跳转到登录页面。这使得若直接在命令行环境下用wget下载只会下载一个html文件(即登录页面)。解决办法就是在wget中添加已登录的cookie信息。

1. 先去官网注册登录

2. 打开浏览器控制台(一般为 f12 键)

3. 进入官网的下载页面,点击你要下载的数据集链接。此时浏览器就会开始下载数据或者询问下载位置,直接取消下载即可。同时网络监控器下会显示本次的请求,点开即可看到如下信息

4. 复制请求URL和cookie,转到linux命令行,使用如下命令进行下载

wget --header="Cookie: <你复制过来的cookie>" --content-disposition <你的请求URL>

回车即可开始下载

当然,由于大文件通常会下载几个小时,故推荐使用 nohup 和 & 进行后台下载(添加–no-verbose 参数避免频繁输出下载进度)

nohup wget --no-verbose --header="Cookie: <你复制过来的cookie>" --content-disposition <你的请求URL> &

下载过程中,可以使用 ps -aux | grep wget 找到该后台任务id,使用 kill -9 <id> 即可停止下载

使用 tail -f nohup.out 即可查看下载过程中的输出内容

Leave a Comment