scrapy
Проект сбора данных с сайта при помощи фреймворка scrapy
Автор: Цымай Дмитрий
email: [email protected]
Подробнее здесь: https://habrahabr.ru/post/308660/
Требует установки python 2, scrapy, sqlalchemy, sqlite3
Чтобы запустить проект:
-
Установите все необходимое,
-
Скачайте проект на локальную машину,
-
Зайдите в каталог gtudata (там находится файл scrapy.cfg) и запустите команды из консоли:
scrapy crawl speclist scrapy crawl abiturlist
Результат будет записан в базу данных sqlite: data_scraped