pasus / reinforcement-learning-book Goto Github PK

안녕하세요.

챕터 3의 코드를 tensorflow 2 로 상당 시간을 몇 번씩 학습을 시켜도 (학습 파라메터를 재로드하는 식으로) 학습이 잘 안되어서 문의드립니다.

챕터 3의 policy gradient 는 학습이 되어 워킹하는 코드인지 궁금합니다.

요 예제를 다운받아 테스트해보는데 파이썬 환경이 맞지않아 계속 에러가 나는데요

테스트했던 개발환경을 알수있나요?

테스트했던 환경을 다음과 같습니다
requirements.txt

"수학으로 풀어보는 강화학습 원리와 알고리즘" 서적을 구매해서 읽고 있습니다.
정오표는 어디에서 확인할 수 있는지 궁금합니다.

관련 서적 잘 보고 있습니다.

코드 실행 관련하여, 2가지 질문 드립니다.

Q1. tensorflow 2 로 변환해서, 똑같은 실행 코드를 돌리고 A2C 의 경우라도 약 600 번 정도면 좋은 결과에 도달한다고 나와있는데, 실제로 돌려보면 천 번의 학습으로도 학습이 부족한 경우가 발생하고 있고, 책의 학습 결과보다 보통 더 오래 걸립니다. 똑같은 코드를 돌리는데, 학습 성능에서 많은 차이가 발생하는 이유가 궁금합니다.

Q2. chapter 3 코드를 tensorflow 2 로 변환해서, 돌려보고 있는데, 전혀 학습이 되지 않고 있습니다. 하이퍼 파라메터 문제거나, 무엇인가가 잘못된 것이 아닌가 체크 중인데, 혹시라도 학습이 안되는 이유에 대해서 의견 등을 주시면 감사하겠습니다.