wangfengchao / epoch Goto Github PK

基于Python2.7.13的Scrapy爬虫框架。

依赖安装好，修改settings.py文件中相关目录配置， 本地启动就可以。。。 相关依赖请看Linux部署。

下载：https://www.python.org/ftp/python/2.7.13/Python-2.7.13.tgz

解压到服务器目录： tar -zxf Python-2.7.13.tgz

进入Python-2.7.13目录： cd Python-2.7.13

编译&安装：
./configure --enable-shared --enable-loadable-sqlite-extensions --with-zlib 其中--enable-loadable-sqlite-extensions是sqlite的扩展

vi ./Modules/Setup
找到#zlib zlibmodule.c -I$(prefix)/include -L$(exec_prefix)/lib -lz去掉注释并保存
make && make install

验证：
使用 python -V 命令 查看python版本。

步骤：http://blog.csdn.net/xxwang6276/article/details/45745181

下载：https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2
解压到服务器目录： tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
修改目录名称： mv phantomjs-2.1.1-linux-x86_64 phantomjs-2.1.1

pip install scrapyd-client：部署Scrapy到Scrapyd-client中
pip install pymysql： python MySql
pip install sqlalchemy： Python Mysql 依赖注入框架
pip install Twisted
pip install Scrapy： 爬虫框架

本地运行 scrapy crawl spiders名称