narou-scraping

djangoで小説家になろうのスクレイピングをする

init

動かすにはsettings.pyの秘密鍵を生成する必要がある(ここの受け売り)
ルートディレクトリで以下を実行

python gen_secretkey.py > narou_scraping/local_settings.py

また、scrapy用にtwistd.pidという名前の空ファイルをルートディレクトリに作る必要がある(初回のみ)

deploy(raspi)

nginx

インストール ここの通りにやる 設定

sudo ln -sfv ~/narou-scraping/deploy/nginx.conf /etc/nginx/nginx.conf

ddclient

ここの通りにやる

certbot

インストール＆設定

sudo apt install certbot
sudo certbot certonly --standalone --agree-tos -d narou.chinokafu.dev -d scrapy.chinokafu.dev

更新テスト

sudo certbot renew --dry-run

環境変数

vim ~/.profile

以下を追記

BASE_URL="https://narou.chinokafu.dev/"

再読み込み

source ~/.profile

django

インストール

pip install -r requirements.txt

本番用に書き換え

vim narou_scraping/local_settings.py
vim narou_scraping/settings.py

narou_scraping/local_settings.py の設定例

DATABASES = {
    'default': {
        # 'ENGINE': 'django.db.backends.sqlite3',
        # 'NAME': os.path.join(BASE_DIR, 'db.sqlite3'),
        'ENGINE': 'django.db.backends.mysql',
        'NAME': '######',
        'USER': '######',
        'PASSWORD': '######',
        'HOST': '######',
        'PORT': '######',
    }
}

PYTHON_PATH = '/home/chino/.pyenv/shims/python'

TWITTER_USER_ID = '######'
TWITTER_CK = '######'
TWITTER_CS = '######'
TWITTER_AT = '######'
TWITTER_AS = '######'

実行

python manage.py collectstatic --noinput
python manage.py makemigrations
python manage.py migrate

sudo ln -sfv ~/narou-scraping/deploy/django.service /etc/systemd/system/django.service
sudo systemctl enable django
sudo systemctl start django

scrapy

sudo ln -sfv ~/narou-scraping/deploy/scrapyd.service /etc/systemd/system/scrapyd.service
sudo systemctl enable scrapyd
sudo systemctl start scrapyd
scrapyd-deploy

node

インストール
ここの通りにやる

npm install
npm run build