Необходимо:

• Python3.7
• установка зависимостей pip install -r requirements.txt

python all_categories.py

По ссылкам из меню ищутся все подкатегории сайта, страницы пейджинга. Обходятся и собираются ссылки на все товары. Собранные ссылки сохраняются в файле data/all_item_urls_flat.txt

Содает CSV файл с данными со страниц подкатегорий. (title, breadcrumnbs и ключевые зарактеристики по которым происходит фильтрация)

python parse_all_items.py

или

python parse_all_items.py 1000 - с указанием количества ссылок для парсинга

Парсинг страниц товаров и сохранение данных в CSV items.csv. Для парсинга используются ссылки из файла data/all_item_urls_flat.txt.

При запуске выбираются ссылки, которые еще не были спарсены.

python postprocess_csv.py

python postprocess_csv.py split - разделить на файлы по субкатегориям, папка items_ext

Модификация CSV файла с товарами. Изменение формата данных. Требуется для преобразования данных в нужный формат, без повторного парсинга. В частности:

• создание колонок с ключевыми характеристиками.
• Создание колонки category_name

Данные берутся из файла data/items.csv и сохраняются в файл data/items_ext.csv

python download_img.py