kismuz / crypto_spread_test Goto Github PK

• успешное обучениe на OU-синтетических данных (исправленная reward_fn): crypto_spread_4_synthetic_ou_data_guided_working_reward_fn_wb.ipynb:

• без экспертных демонтраций:

• с экспертом:

• добавлен crypto_spread_3_synthetic_ou_data_wb: первая [и пока безуспешная] попытка обучения на синтетических данных, являющихся реализациями OU процесса с фиксированными параметрами.

Papers:

• Autoencoders and Probabilistic Inference with Missing Data: An Exact Solution for The Factor Analysis Case: https://arxiv.org/pdf/1801.03851.pdf
• β-VAE: LEARNING BASIC VISUAL CONCEPTS WITH A CONSTRAINED VARIATIONAL FRAMEWORK: https://openreview.net/references/pdf?id=Sy2fzU9gl
• Hidden Talents of the Variational Autoencoder: https://arxiv.org/pdf/1706.05148.pdf

+++

• Auto-Encoding Variational Bayes (VAE orig.paper, 2014): https://arxiv.org/pdf/1312.6114.pdf

• Tensor Analyzers as a multilinear generalization of Factor Analyzers (2012): http://www.cs.toronto.edu/~fritz/absps/ta.pdf

• Representation Learning: A Review and New Perspectives (Bengio, 2013): https://arxiv.org/pdf/1206.5538.pdf

• The Ornstein-Uhlenbeck Process as a Model of Volatility: http://stat.math.uregina.ca/~kozdron/Teaching/Regina/441Fall14/Notes/L31-32-Nov19.pdf

• утечку нашел. Картинка сразу поменялась:

• first commit:

1. Необходимо обновить btgym, там исправлены небольшие ошибки::

   cd btgym

   git pull

   pip install --upgrade -e .

2. Вспомогательный ноутбук data_sampling_consistency.ipynb: можно посмотреть временнЫе границы сэмплирования обучающей и тестовой выборки при заданной длительности эпизода (22 часа в нашем случае), размер тестовой выборки - последние 24 часа данных (это все настраиваеммые параметры). Цель тестов - убедится в отсутствии "утечки" тестовых данных в обучающую выборку и посмотреть границы сэмплирования;

3. Данные рассматриваются как инструмент; [Не сразу] выяснилось, что смулятор брокера в backtrader некорректно работает с данными, если цена отрицательна, поэтому ряд был смещен наверх на 1е-5 в положительную область;

4. Условия:

• начальная сумма на счете 1000 ед.
• максимальная просадка 5% от первоначальной суммы
• максимальный доход 5%
• маркет-ордеры с фиксированного размера 400 * 1e5 ед. (исходя из средней цены 1е-5, см. п.3)
• плечо 1
• комиссия 0.2%
• у агента есть четрые возможных действия: ничего не делать, выдать ордер на покупку, ордер на продажу, закрыть позицию
• использован параметр skip_frame=4, что означает что агент может действовать только один раз в 4 шага среды (4 минуты в нашем случае)
• эпизод длится 22 часа, время начала выбрается случайно как в обучающей так и в тестовой выборке
• в конце эпизода позиция принудительно закрывется
• эпизод заканчивается досрочно если достигнута либо максимальная просадка, либо макс. заработок
• задача агента максимизировать средний доход от каждой индивидуальной сделки по всем эпизодам
• через каждые 10 эпизодов обучения агент тестируется на одном эпизоде из тестовой выборки (градиенты при этом не считаются, обновления policy не происходит)

5. Основной ноутбук crypto_spread_training_1.ipynb: задает все параметры и запускает распределенню сессию TF (1 сервер параметров, четрые рабочих процесса (по числу ядрер), каждый работает со своей копией среды). Результаты нужно смотреть tensorboard. Для чистоты эксперимента используется vanilla A3C и сетевая архитектрура c минимальным количеством примочек (обычный conv encoder + 2x256 LSTM cells). В первую очередь нужно смотреть на динамику показателя episode train/ final value и, соотвественно, episode test/ final value которые соответствуют счету брокера после окончания эпизода
6. [Предварительные] выводы:

• алгоритм уверенно находит оптимальную политику (говорим: сходится) при значениях комиссии брокера < 0.3% . При 0.3 и выше - сходится к субоптимальному (нулевому) решению (агент перестает что либо-делать)

• данные, конечно, резко отличаются по стат. характеристикам от тех же валютных курсов; возможно это одна из причин того что

• показатели на тестовой выборке слишком хороши; вероятнее всего где-то есть утечка, или какие-то еще элементарные ошибки в арифметике; две уже выловил (на тестовой сразу стало чуть хуже), ищу остальное