CentOS 7 に owllook オンライン小説検索エンジンをインストールする

1. owllookの紹介

Owlook は、他の検索エンジンを基盤として構築された垂直小説検索エンジンです。Owlook は、書籍の検索、閲覧、コレクション、フォローアップ、推奨などの機能により、すべての読者が快適な読書体験を得られるように、読書をよりシンプルでエレガントにすることを目指しています。

owllook 、登録情報、小説検索情報、小説収集データなど、ユーザーの使用中に生成される基本情報をMongoDBに保存します。一部の必要なキャッシュについては、小説キャッシュやセッションキャッシュなどのキャッシュ処理にredisが使用されます。制限されたデータについては、すべて24時間以内に削除されます。

異なるウェブサイトの小説の場合、ページルールは同じではありません。対応するウェブサイトにジャンプするのではなく、コード分析後に統一的に表示できるようにし、便利で美しくしたいと考えています。新鮮で簡潔な読書体験が最も重要です。

現在、検索エンジンを使用して直接結果を取得しています。分析を完了するために、少数のルールを記述するようにしています。詳細については、ルール定義を参照してください。気に入った新しいWebサイトに遭遇した場合は、独自の分析を追加することもできます。Owlook owllook現在、 200を超えるWebサイトと50を超える追跡Webサイトを分析しています。

ランキングや書籍情報など、クローラーが必要な場所がいくつかあります。重いクローラーフレームワークを使用して記述したくないので、これを行うためにowllookで非常に軽量なクローラーフレームワークを作成しました。ruiaを参照してください。

2. CentOS 7 システムへの owllook のインストール

まずシステムを更新します:

 yum -yアップデート

EPEL リポジトリをインストールします。

 yum -yインストール epel -リリース

Redis といくつかの基本コンポーネントをインストールします。

 yum -y redisをインストール git curl screen

次に実行し、起動時に Redis が自動的に起動するように設定します。

 systemctl redis を起動します
systemctl で Redis を有効にする

mongodb をインストールするための新しいリポジトリ ソースを作成します。

 mongodb-org-4.0.repo を/etc/yum.repos.d/mongodb-org-4.0.repoに追加します。

書く：

 [ mongodb - org - 4.0 ]
name = MongoDBリポジトリ
ベース URL = https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/4.0/x86_64/
gpgチェック= 1
有効= 1
gpgkey = https://www.mongodb.org/static/pgp/server-4.0.asc

次に、yum を使用して直接インストールします。

 yum -y mongodb をインストール- org

mongodb を起動し、起動時に起動するように設定します。

 systemctl mongod を起動します
systemctl mongod を有効にする

Python3 をコンパイルしてインストールするために必要な依存関係をインストールします。

 yum - y gcc をインストールして、zlib を作成します。zlib - devel readline readline - devel readline - static openssl openssl - devel openssl - static sqlite - devel bzip2 - devel bzip2 - libs libffi - devel

pyenv をインストールするには、次のスクリプトを実行します。

 curl -L https://github.com/pyenv/pyenv-installer/raw/master/bin/pyenv-installer | bash

アカウント構成ファイルを編集するには:

 vi ~/ .bash_profile

次の環境変数を追加します。

 PATHをエクスポート= "/root/.pyenv/bin:$PATH"
"$(pyenv init -)"を評価する
"$(pyenv virtualenv-init -)"を評価する

効果を上げるには:

ソース~/ .bash_profile

pyenv を使用して python3.6.7 をインストールします。

 pyenv 3.6.7をインストールします

完了したら、3.6.7 仮想オペレーティング環境を作成します。

 pyenv仮想環境3.6.7 owllook

環境パスを次のように覚えておいてください。

 /root/.pyenv/versions/3.6.7/envs/owllook/bin/python3

次に、プロジェクトをプルしてプロジェクト ディレクトリに移動します。

 gitクローンhttps://github.com/howie6879/owllook
cd アウルック

プロジェクト ディレクトリの Python 環境を、先ほど作成したものに設定します。

 pyenvローカルowllook

pip を使用して pipenv をインストールします。

 pip インストール pipenv

次に、pipenv を使用してプロジェクトに必要な依存関係をインストールします。

 pipenvインストール--python / root / .pyenv /バージョン/ 3.6.7 / envs / owllook / bin / python3

図に示すように依存関係のインストールが完了しました。プロセス中にエラーがないことを確認してください。

完了したら、owllook ディレクトリに入ります。

 cd アウルック

設定ファイルを編集します。

 vi config / config .py

次のコードを見つけます。

 VAL_HOST = os.getenv ( 'VAL_HOST' , ' true ' )

に：

 VAL_HOST = os.getenv ( 'VAL_HOST' , 'false' )です。

次に、screen を使用して新しいシェルを作成します。

スクリーン- S owllook

新しいシェルでプログラムを実行します。

 Pythonサーバー.py

予期しない事態が発生しない場合は、次のような画面が表示され、プロジェクトが実行中であることがわかります。

次に、リバース プロキシ用に Nginx をインストールします。

 yum -y nginxをインストール

新しい Nginx サイト構成ファイルを作成します。

 vi /etc/nginx/conf.d/book.conf

書く：

サーバー{
    聞く80 ;
    server_name example.com www.example.com ;​​​​

位置/ {
    proxy_set_header X -実数- IP $remote_addr ;
    proxy_set_header X -転送済み- For $proxy_add_x_forwarded_for ;
    proxy_set_header X -転送- Proto $scheme ;
    proxy_set_headerホスト$http_host ;
    proxy_set_header X - NginX -プロキシtrue ;

    プロキシパスhttp://0.0.0.0:8001 ;
    proxy_redirect オフ;

    プロキシhttpバージョン1.1 ;
    proxy_set_headerアップグレード$http_upgrade ;
    proxy_set_header接続「アップグレード」 ;
    }
}

Nginxを再起動します。

 systemctl nginx を再起動します

ファイアウォールと SElinux を無効にします。

 systemctl stopファイアウォールサービス
systemctl は、firewalldサービスを無効にします。
vi / etc / selinux / config で
SELINUX =無効
強制0を設定する

サイトのドメイン名を開くと、このプログラムに通常どおりアクセスできるようになります。

リーダーボードを表示:

spider_console.pyを実行します:

 cd owllook / owllook /クモ

次に、screen を使用して新しいシェルを作成します。

画面- S spider_console

新しいシェルで実行します:

 python spider_console.py

Owlook プロジェクト アドレス: https://github.com/howie6879/owllook

完全なインストールチュートリアルは、https://lala.im/4538.html から転送されます。