Необходимо:
- Python3.7
- установка зависимостей
pip install -r requirements.txt
python all_categories.py
По ссылкам из меню ищутся все подкатегории сайта, страницы пейджинга. Обходятся и собираются ссылки на все товары.
Собранные ссылки сохраняются в файле data/all_item_urls_flat.txt
Содает CSV файл с данными со страниц подкатегорий. (title, breadcrumnbs и ключевые зарактеристики по которым происходит фильтрация)
python parse_all_items.py
или
python parse_all_items.py 1000
- с указанием количества ссылок для парсинга
Парсинг страниц товаров и сохранение данных в CSV items.csv
.
Для парсинга используются ссылки из файла data/all_item_urls_flat.txt
.
При запуске выбираются ссылки, которые еще не были спарсены.
python postprocess_csv.py
python postprocess_csv.py split
- разделить на файлы по субкатегориям, папка items_ext
Модификация CSV файла с товарами. Изменение формата данных. Требуется для преобразования данных в нужный формат, без повторного парсинга. В частности:
- создание колонок с ключевыми характеристиками.
- Создание колонки category_name
Данные берутся из файла data/items.csv
и сохраняются в файл data/items_ext.csv
python download_img.py