Стратегия выборки в get_all() about fast_bitrix24 HOT 3 CLOSED

• Сначала малой кровью проверить, что паджинация через ID действительно быстрее - на списках в 30+К, с большой выборкой полей, со сложными фильтрациями.

Если такая паджинация действительно в разы быстрее, то:

• Переписать mult_request.py - запускать внутри run параллельно создателя задач и воркера.
• Воркер одновременно будет выполнять столько задач из очереди, сколько srh может выполнять одновременно (srh.max_concurrent_requests). Выполнение будет происходить через wait_for, перемежаясь с опросом очереди задач на предмет появления новых задач и добавления их в набор выполняемых задач, если этот набор не заполнен до конца.
• Создателей задач будет 2 типа - один с классической стратегией с батчами с увеличивающимся start, а другой - с двумя потоками запросов со start = -1 (с начала списка и с конца), базирующимися на паджинации через фильтр по ID.
• Паджинация через фильтр по ID будет подразумевать в создателе задач в каждом потоке (с начала и с конца) ожидание события о том, что очередной результат от сервера получен, нахождение крайнего значения ID в нем и формирование новой задачи на базе этого значения ID. Когда потоки встречаются (крайний ID потока сначала становится больше крайнего ID потока с конца), генерация задач прекращается.
• Выбор стратегии паджинации будет происходить через передачу параметра ID_pagination конструктору.
• Альтернативно можно делать два запроса по двум стратегиям, таймить их и выбирать стратегию, сравнив тайминг двух первых запросов.

from fast_bitrix24.

См. результаты теста: #113

from fast_bitrix24.

В итоге все закончилось созданием метода list_and_get(): #118

from fast_bitrix24.