Linuxでは、wgetを使用してサイト全体をクロールします。

 wget -r -p -np -k http://example.com/ -r 遞歸-p, --page-requisites（頁面必需元素） -np, --no-parent（不追溯至父級） -k 將下載的HTML頁面中的鏈接轉換為相對鏈接即本地鏈接

wget のヒントをいくつか見つけたので、皆さんと共有します。

 $ wget -r -np -nd http://example.com/packages/這條命令可以下載http://example.com 網站上packages 目錄中的所有文件。其中，-np的作用是不遍歷父目錄，-nd 表示不在本機重新創建目錄結構。 $ wget -r -np -nd --accept=iso http://example.com/centos-5/i386/與上一條命令相似，但多加了一個--accept=iso 選項，這指示wget 僅下載i386目錄中所有擴展名為iso 的文件。你也可以指定多個擴展名，只需用逗號分隔即可。 $ wget -i filename.txt此命令常用于批量下載的情形，把所有需要下載文件的地址放到filename.txt 中，然后wget 就會自動為你下載所有文件了。 $ wget -c http://example.com/really-big-file.iso這里所指定的-c 選項的作用為斷點續傳。 $ wget -m -k (-H) http://www.example.com/該命令可用來鏡像一個網站，wget 將對鏈接進行轉換。如果網站中的圖像是放在另外的站點，那么可以使用-H 選項