neer201 / practical_rl_public Goto Github PK

1. Softmax в базовую часть.. Большинство студентов делает этот бонус, предлагаю его сделать основным. Многие студенты ошибаются в нем, реализуя только метод get_value.

2. Добавить метод get_policy в QLearningAgent возвращающий распределение вероятностей на действия при выбранной политике (softmax, $\epsilon$ greedy, их комбинацию)

3. Графики с различными epsilon и tau. Студенты пытаются сравнить агентов при разных параметрах, в книге Sutton Barto приводятся красивые графики в зависимости от этих параметров.

4. Сравнение exploration стратегий в бонусе их предлагается сравнить, но у студентов возникают трудности с подбором epsilon и tau. Надо добавить заметку или код, который указывает какими они должны быть.

5. Бинаризация - задание интересно тем что показывает как использовать wrapper для observation, что в свою очередь очень крутой практичный скилл. Но большинство студентов им не заинтересовывается и сдает работу с np.round(1). Так же непонятна интерпретация разброса reward на графике.

6. Exp replay- похожая ситуация что и с бинаризацией.

7. Опять графики - может добавить график параметра стратегии?

8. Recap лекции. Осветить on/off policy, \epsilon greedy и softmax. Как анализировать? Regret

9. Опять графики - 5000 итераций многовато. Может лучше 2000

10. Распределить задание между ноутбуками. Есть 2 стула:

    1. сделать как в курсере
    2. слить все в один ноутбук - мотивация: проверять 2 ноутбука у студента дольше чем 1 ноутбук (правда проверка носит скорее механический характер)

11. Добавить тест в лекцию по принципу как вот здесь

Disclaimer - эти заметки надо поревьювить.