Ревью

Привет!
В следующий раз лучше писать в чат, когда понимаешь что не можешь сдвинуться с мёртвой точки.

Помечу главные моменты, которые помогут тебе сдвинуться, после того как сделаешь можешь заняться более мелкими правками.

Основные моменты

• Используешь @coroutine прямо в планировщике. Получается, асинхронно забираешь список задач. В данном случае, это не имеет смысла, так как это не улучшает производительность. Нужно запускать задачи асинхронно. Чтобы это работало, нужно использовать @coroutine внутри Job.

• Дальше, используешь multiprocessing. Решение должно основываться на корутинах, так что предлагаю сделать в три этапа:

1. Создать стандартный планировщик без корутин, многопроцессорности и много поточности. (Пример). Также использовать pythontutor.com для понимания того, как идёт процесс выполнения задач.
2. Переделать задачи в корутины и вызывать их в планировщике
3. Добавить запуск корутин в multiprocessing
   (Пример 1,
   Пример 2)

• Также, лучше не использовать while True, а явно идти по всем задачам.
  Как раз для таких задач есть очередь, дек, а также очередь в модуле multiprocessing.

Использование multiprocessing

Из-за отсутствия синхронизации не всегда задачи выполняются правильно. Так как они связаны между собой. При не связанных задачах, например расчёт чего-то будет проходить нормально

С использованием condition, лучше вызываешь методы notify и notify_all или указывать Lock.
Статья о том, как использовать condition
https://superfastpython.com/multiprocessing-condition-variable-in-python/

Статья с примерами разных задач в multiprocessing.
https://zetcode.com/python/multiprocessing/

Для запуска

• Нет файла или модуля "logger"
  • Добавить файл с конфигурацией логгера

Очень неприятная вещь

Задача с копированием файла и удалением перепутаны в названии. Это очень сильно может запутать при отладке.

Мелкие правки

• Не отформатировано по PEP8.
  • Можно установить black - это форматтер, с которым не придётся постоянно править код руками (https://semakin.dev/2020/05/black/)
• Декоратор два раза определён в файлах job и scheduler. Это нарушает принцип DRY (https://blog.vverh.digital/2022/dont-repeat-yourself-or-dry/). Повторяющиеся части кода можно вынести в отдельный файл и импортировать из него.
• Где-то используется print, где-то логирование. Все выводы лучше именно логировать, они будут в едином формате, также будут в одном месте, если например захочешь писать в файл.
• В контейнерах (list, dict) указывай какие типы данных будет. Подсказки типов будут лучше и писать код можно писать без очевидных ошибок

Вместо

    def schedule(self):
        processes = []

Надо

    def schedule(self):
        processes: list[YourType] = []

• Класс Scheduler явно наследуется от object, с 3 версии Python это не нужно делать. Аналогично с super().init()
  

  yandex-async-python-review/scheduler.py

  Lines 20 to 28 in 625032e

  	class Scheduler(object): # с 3 версии Python не нужно наследовать от класса
  	def __init__(
  	self,
  	max_working_time=1,
  	tries=0,
  	dependencies=(),
  	start_at=None,
  	):
  	super().__init__() # лишнее действие

• В методах copy_file и delete_file используется параметр x=None. Он нужен для универсальности использования методов. Лучше явно назвать что это за метод, либо использовать args и kwargs.
• Не обработана ситуация, что ключ не найден. Можно при первоначальной обработке запроса это сделать либо в этом же месте.
  

  yandex-async-python-review/job.py

  Lines 33 to 34 in 625032e

  	setup = data['setup']
  	punchline = data['punchline']

• Название файла можно вынести начало файла и использовать в каждом Job. Также сразу преобразовать в Path
  

  yandex-async-python-review/job.py

  Lines 17 to 19 in 625032e

  	def get_and_write_data(condition, url):
  	context = ssl._create_unverified_context()
  	file = 'punchline.txt'

  
  

  yandex-async-python-review/job.py

  Lines 46 to 47 in 625032e

  	def copy_file(condition, x=None):
  	file = 'punchline.txt' # файл не создан / не приложен к задаче

  
  

  yandex-async-python-review/job.py

  Lines 57 to 58 in 625032e

  	def delete_file(condition, x=None):
  	file = 'punchline.txt'

Итого

1. Используйте корутины и генераторы при решении. Использование потоков и процессов не запрещено, но база решения должна строиться на использовании корутин. (+-)
2. Использовать встроенные библиотеки и модули языка. (+)
3. Используйте концепции ООП. (+)
4. Используйте аннотацию типов. (-)
5. Логируйте результаты действий. (+-)
6. Покройте написанный код тестами. (-)
7. Предусмотрите обработку исключительных ситуаций. (+-)
8. Приведите стиль кода в соответствие pep8, flake8, mypy. (-)