Giter VIP home page Giter VIP logo

parseavipublic's Introduction

Проект системы мониторинга объявлений


Основное назначение проекта - обеспечение более подробной и углубленной информации об объектах продаж и услуг на торговых площадках (в основном Авито, но предусмотрена возможность масштабирования для других сервисов, в частности, протестирована Юла)

Подразумевается применение программы в различных сферах: в маркетинговых исследованиях для сбора данных и статистики, выявления трендов и факторов спроса; для бизнеса в поиске необходимых товаров, поставщиков, сотрудников и т.д. в соответствии с различными критериями, которые отсутствуют в основном сервисе; для частных лиц - уведомление новых объявлений, соответствующих стоимости и т.п.

Принцип использования системы:


Работа с необходимыми данными ведется с помощью конкретных исследований, 
каждое из которых представляет собой определенный раздел (результат, запрос) поиска в основном сервисе (Авито).
Для каждого исследования планируется периодическое выполнение краулинга (скрепинга, парсинга) сервиса:
получение новых и обновление уже имеющихся данных. 

Некоторые особенности программы:

✔️ планировщик задач для планирования периодического обновления данных
✔️ страница прогресса обновления данных
✔️ наличие различных статистических показателей исследования, хронологии цен и просмотров по объектам
✔️ возможность географического анализа объектов с помощью цифровой карты
✔️ возможность привязки бота в телеграм для получения новых объявлений
✔️ возможность выгрузки данных в различных форматах: html, csv, xlsx
✔️ возможность исследования закрытых объектов, выявления факторов спроса, в т.ч. географически\

Примеры работы с системой:

Использование карты

Использование карты

Изучение хронологий объектов

Изучение хронологии объектов

Использование планировщика

Использование планировщика

Используемые технологии:

  • Flask - веб-фрейвормк
  • Flask-RESTful - расширение flask для создания REST API, используется для взаимодействия с ботом
  • APScheduler - планировщик задач для запусков парсера
  • Selenium (Selenium-wire), Requests - для получения данных страниц
  • Beautiful soup - для обработки html страниц и извлечения структурированных данных
  • threading - для работы с потоками задач
  • logging - для ведения логов работы системы
  • Postgres (postgis) - в качестве основной СУБД для хранения данных
  • Redis - в качестве хранения статусов задач
  • JS, Chart.js, ProgressBar.js, Leaflet, Bootstrap в качестве отображения различных компонентов клиентской части
  • Colorama, Queue, SQLAlchemy и т.п.

  • Большая часть исходного кода и модулей скрыта

    parseavipublic's People

    Contributors

    ownax-vit avatar

    Watchers

     avatar

    Recommend Projects

    • React photo React

      A declarative, efficient, and flexible JavaScript library for building user interfaces.

    • Vue.js photo Vue.js

      🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

    • Typescript photo Typescript

      TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

    • TensorFlow photo TensorFlow

      An Open Source Machine Learning Framework for Everyone

    • Django photo Django

      The Web framework for perfectionists with deadlines.

    • D3 photo D3

      Bring data to life with SVG, Canvas and HTML. 📊📈🎉

    Recommend Topics

    • javascript

      JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

    • web

      Some thing interesting about web. New door for the world.

    • server

      A server is a program made to process requests and deliver data to clients.

    • Machine learning

      Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

    • Game

      Some thing interesting about game, make everyone happy.

    Recommend Org

    • Facebook photo Facebook

      We are working to build community through open source technology. NB: members must have two-factor auth.

    • Microsoft photo Microsoft

      Open source projects and samples from Microsoft.

    • Google photo Google

      Google ❤️ Open Source for everyone.

    • D3 photo D3

      Data-Driven Documents codes.