今更ですがScrapyのインストールについて詳しめに。
Scrapyの動作環境
Scrapy runs on Python 2.7 and Python 3.4 or above under CPython (default Python implementation) and PyPy (starting with PyPy 5.9).
ScrapyはPython2.7、若しくはPython>=3.4のもとで動作します。
インストール
pip install Scrapy
PyPIで公開されているため、pipコマンドでインストールすることが可能です。
Scrapyに必要なライブラリ
Ubuntu では以下のようなライブラリのインストールが必要になります。
Python3の場合、
sudo apt-get install python3 python-dev python3-dev \ build-essential libssl-dev libffi-dev \ libxml2-dev libxslt1-dev zlib1g-dev \ python-pip
Python2の場合、
sudo apt-get install python-dev \ build-essential libssl-dev libffi-dev \ libxml2-dev libxslt1-dev zlib1g-dev \ python-pip
これらをインストールしてないと。。
error: command 'x86_64-linux-gnu-gcc' failed with exit status 1
とかいうエラーに当たります。お気を付けください。
Anaconda若しくはMinicondaを使用している場合
conda環境を使用している場合は、 下記コマンドにて一発インストールできます。
conda install -c conda-forge scrapy
