Tumblrクローラーとh5aiを使用してプライベートビデオと写真ライブラリを作成します

Tumblr には、特に写真や動画などのコンテンツが豊富にあります。次に、Tumblr クローラーを h5ai ディレクトリ直接読み取りプログラムまたはその他の画像保存プログラムと組み合わせて使用​​し、ギャラリーを作成します。
CentOS 7 には Python 2.7 が付属しています。以下では、CentOS 7 と Python 2.7 を lamp と組み合わせて、h5ai を使用してギャラリーを作成します。

1. h5aiをインストールして使用する
1.ランプのワンクリックインストールパッケージをインストールする

yum -y install wget screen wget http://mirrors.linuxeye.com/lnmp-full.tar.gz tar xzf lnmp-full.tar.gz cd lnmp screen -S lnmp ./install.sh

インストール プロセス中に、Apache、PHP、Mysql などを選択します。その他はオプションです。

2. サイトを作成する

./vhost.sh

指示に従ってください。たとえば、最後に作成されたサイトはt.sib8.netです。
詳細なチュートリアルについては、以下を参照してください: OneinStack: lnmp、lamp、lnmpa ワンクリック インストール パッケージ (HHVM をサポート)

3. h5aiをインストールする
t.sib8.netディレクトリに入る

cd /data/wwwroot/t.sib8.net/ wget https://down.zhujiwiki.com/code/h5ai-0.29-mod.zip unzip h5ai-0.29-mod.zip

4. 設定ファイルを変更する

vi /usr/local/apache/conf/vhost/t.sib8.net.conf

バンドル

DirectoryIndex index.html index.php

変更する

DirectoryIndex index.html index.php /_h5ai/server/php/index.php

Apacheを再起動する

service httpd restart

5. ffmpegをインストールしてビデオをプレビューし、epel拡張ソースをインストールします。

 yum -y install epel-release

拡張機能ソースをインストールします。

 su -c 'yum localinstall --nogpgcheck https://download1.rpmfusion.org/free/el/rpmfusion-free-release-7.noarch.rpm https://download1.rpmfusion.org/nonfree/el/rpmfusion-nonfree-release-7.noarch.rpm' rpm --import http://li.nux.ro/download/nux/RPM-GPG-KEY-nux.ro rpm -Uvh http://li.nux.ro/download/nux/dextop/el7/x86_64/nux-dextop-release-0-1.el7.nux.noarch.rpm

インストールを開始

yum -y install ffmpeg ffmpeg-devel

2. tumblr-crawlerを使用する
1. 依存関係をインストールする

yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel yum -y install gcc automake autoconf libtool make yum install gcc gcc-c++ yum -y install readline-devel

2. tumblr-crawlerをインストールする

cd /data/wwwroot/t.sib8.net/ git clone https://github.com/dixudx/tumblr-crawler.git cd tumblr-crawler pip install -r requirements.txt

3. tumblr-crawlerを使用して写真や動画をダウンロードする
a. sites.txtにwanimal1983.tumblr.comやma-tro.tumblr.comなどのTumblrサイトを追加します。
wanimal1983、cncn88
保存後、実行

python tumblr-photo-video-ripper.py

b. 直接ダウンロード

python tumblr-photo-video-ripper.py wanimal1983,ma-tro

4. すべての写真とビデオは、現在のパスにあるTumblrブログと同じ名前のフォルダに保存されます。

5. tumblr_spiderを組み合わせて複数のユーザーとビデオアドレスを取得する

3. スケジュールされたタスクを使用してビデオと写真を自動的に更新する

crontab -e

に追加

0 */6 * * * python /data/wwwroot/t.sib8.net/tumblr-crawler/tumblr-photo-video-ripper.py

つまり、6 時間ごとに更新されます。