Project stack
- Python 3.10
- Scrapy
- GitHub Actions
Данный код представляет собой асинхронный парсер документации Python при помощи библиотеки scrapy. Он предоставляет возможность получить информацию о PEP (Python Enhancement Proposal) и их статусах.
Клонируйте репозиторий:
git clone [email protected]:ThatCoderMan/scrapy_parser_pep.git
Установите и активируйте виртуальное окружение:
- для MacOS:
python3 -m venv venv
- для Windows:
python -m venv venv source venv/bin/activate source venv/Scripts/activate
Установите зависимости из файла requirements.txt:
pip install -r requirements.txt
Для запуска парсера необходимо перейти в папку pep_parse:
cd pep_parse
И выполнить команду:
scrapy crawl pep
Результаты будут сохранены в папке results
- в файле pep_.csv находится информация по всем PEP (их номер, название и статус)
- в файле status_summary_.csv находится информация о колличестве статусов PEP