Centos 7 に Baidu Cloud Crawler をインストールする

クローラーは MySQL、Python 2.7、Mysql-python で実行されるため、最初に MySQL と MySQL-python をインストールします。

1. MySQLをインストールする
依存関係をインストールする

yum install libaio

MySQLをインストールする

wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm yum localinstall mysql-community-release-el7-5.noarch.rpm yum install mysql-community-server

MySQLを起動する

systemctl start mysqld

MySQLパスワードを設定する

mysql_secure_installation;

2. ファイアウォールの設定<br />iptablesをインストールする

yum install iptables-services

ポート3306を開く

vi /etc/sysconfig/iptables

に追加

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 3306 -j ACCEPT -A RH-Firewall-1-INPUT -m state –state NEW -m udp -p udp –dport 3306 -j ACCEPT

iptablesを再起動する

service iptables restart

3. MySQL-pythonをインストールする

yum install MySQL-python

4. プログラムを設定する

wget https://github.com/x-spiders/baiduyun-spider/archive/master.zip unzip master.zip cd baiduyun-spider-master

データベースに接続するためのアカウントとパスワードを設定する

打開bin/spider.py ，修改DB_HOST、DB_PORT、DB_USER、DB_PASS

クローラーを初めて実行する

python bin/spider.py --seed-user

クローラーを実行する

python bin/spider.py

ソースコード: https://geekspider.org/senior/215.html