reinforcement-learning-kr / unity_ml_agents_2.0 Goto Github PK

안녕하세요 책에서 GrideAgent.cs와 GirdArea.cs 모두 같게 수정하고, github에서 코드 복사해봤는데도
space_size가 6이 아닌 0으로 뜹니다 그대로 진행해도 상관없나요?

gail 부분만 지우고 cmd를 통해 학습을 진행했습니다.

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ
behaviors:
ArcadeDriver:
trainer_type: ppo
hyperparameters:
batch_size: 256
buffer_size: 2048
learning_rate: 0.0003
beta: 0.01
epsilon: 0.2
lambd: 0.95
num_epoch: 3
learning_rate_schedule: linear
network_settings:
normalize: false
hidden_units: 128
num_layers: 2
vis_encode_type: simple
reward_signals:
extrinsic:
gamma: 0.99
strength: 1.0
network_settings:
normalize: False
hidden_units: 128
num_layers: 2
vis_encode_type: simple
memory: None
goal_conditioning_type: hyper
deterministic: False
init_path: None
keep_checkpoints: 5
checkpoint_interval: 500000
max_steps: 500000
time_horizon: 64
summary_freq: 50000
threaded: False
self_play: None

behavioral_cloning:
  demo_path: C:\envs\Kart_Windows\KART_Data\Demonstrations/Kart.demo
  steps: 0
  strength: 0.3
  samples_per_update: 0

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ
(+ 위 코드가 bc부분은 제대로 나오는데 그 위 부분들은 작성할 떄는 정상적으로 들여쓰기가 다 돼있는데,
Update comment 하고 나면 들어쓰기가 다 풀려있네요.)

Gail 알고리즘이 포함됐을 때는 텐서보드에 gail이 떴는데
gail만 지우고 하니 ppo인지 bc인지 뜨지가 않습니다.

뭔가 잘 못 사용하는 것 같은데 이거 맞나요?
어떤 알고리즘으로 학습되고 있는건지 모르겠네요.

training type이 ppo이긴 한데 저기는 gail이 있을 때도
그대로 였어서 그럼 여태까지 ppo 알고리즘 이였냐고 하면
텐서보드엔 gail로 떠서...

BC스크립트가 어떤것을 말하는건가요?
C# .cs 확장자중에 bc라는 파일이 있는건가요?
아니면 유니티 내에 다른 기능인가요?
찾기가 힘드네요 ㅠㅠ\

299쪽 입니다.

waypoint를 28개로 늘리고 KartAgent 오브젝트의 collider에도 waypoint 1~28 까지 다 집어넣었고

KartAgent.cs 코드도

if (way_point_passing_count >= 28) // 웨이포인트가 28이 되면
{
way_point_passing_count = 0;
m_EndEpisode = true; // 에피소드 초기화
}

로 수정 했는데 웨이포인트를 16개 정도 지날무렵 자꾸 에피소드가 초기화 되더라구요.
그래서 max step을 늘려놨는데도 똑같아서 어떻게 해결해야할지 모르겠습니다.

트랙을 책과 다르게 커스텀 했는데요.
주행 중에 벽과 부딪히지 않는게 거의 불가능에 가까운 상태라
에피소드가 초기화 되지 않는 상태로 상,벌을 받게하고 싶은데,

if (hit) 아래에

if (hitInfo.distance < current.HitValidationDistance - 1) // - 뒤의 값으로 벽과 충돌 판정 범위 조절 가능
{
m_LastAccumulatedReward += HitPenalty;
m_EndEpisode = true;
}

여기서 m_EndEpiosde 만 false로 바꾸고 빌드 해도 똑같이 학습 파일이 남나요?

안녕하세요 유니티 심층 강화 학습 교재를 보고 공부하고 있습니다
cmd에서 py를 실행하였을 때 오류가 이렇게 뜨는데
환경에서 문제가 발생하는 거 같습니다
그런 게 어떻게 해결해야 할지 잘 몰라서 질문 남겨봅니다
좋은 교재 감사합니다.

load_model = False
train_mode = True

... Save Model to ./saved_models/Kart/BC/20230731164421/ckpt ...
410 Epoch / Loss: 0.00209520
420 Epoch / Loss: 0.00184623
430 Epoch / Loss: 0.00186352
440 Epoch / Loss: 0.00186342
450 Epoch / Loss: 0.00183344
460 Epoch / Loss: 0.00179485
470 Epoch / Loss: 0.00177195
480 Epoch / Loss: 0.00185431
490 Epoch / Loss: 0.00167553
500 Epoch / Loss: 0.00171051
... Save Model to ./saved_models/Kart/BC/20230731164421/ckpt ...
PLAY START
Traceback (most recent call last):
File "Kart.py", line 169, in
env.set_actions(behavior_name, action_tuple)
File "C:\Users\sehi\AppData\Local\Programs\Python\Python38\lib\site-packages\mlagents_envs\environment.py", line 358, in set_actions
action = action_spec._validate_action(action, num_agents, behavior_name)
File "C:\Users\sehi\AppData\Local\Programs\Python\Python38\lib\site-packages\mlagents_envs\base_env.py", line 428, in _validate_action
raise UnityActionException(
mlagents_envs.exception.UnityActionException: The behavior ArcadeDriver?team=0 needs a discrete input of dimension (1, 2) for (, ) but received input of dimension (1, 0)

load_model = True
train_mode = False

Traceback (most recent call last):
File "Kart.py", line 169, in
env.set_actions(behavior_name, action_tuple)
File "C:\Users\sehi\AppData\Local\Programs\Python\Python38\lib\site-packages\mlagents_envs\environment.py", line 358, in set_actions
action = action_spec._validate_action(action, num_agents, behavior_name)
File "C:\Users\sehi\AppData\Local\Programs\Python\Python38\lib\site-packages\mlagents_envs\base_env.py", line 428, in _validate_action
raise UnityActionException(
mlagents_envs.exception.UnityActionException: The behavior ArcadeDriver?team=0 needs a discrete input of dimension (1, 2) for (, ) but received input of dimension (1, 0)

안녕하세요!
DQN.py 파일 경로를 어디다가 설정해야할지 잘 모르겠어서 질문드립니다.

현재 Desktop/ML-Agent_Project/Env/GridWorld 폴더안에 이전의 환경을 빌드한 파일들이 있는데 DQN.py파일은 어떤 경로에 넣으면 될까요??

벽 오브젝트가 카트가 주행하는 트랙 부분과 벽 부분이 합쳐져 있잖아요?
이게 코드로 바닥이랑 벽면을 따로 구분해둔건가요?

점프 오브젝트를 불러왔는데 벽 판정이 나는지 계속 게임 에피소드가 초기화 되더라구요.
혹시 이 부분을 어디서 건들면 될까요? Layer 설정을 Track으로 해도 게임이 초기화 되네요 ㅠㅠ...

설마 raycast가 카트에이전트 기준 전방에 있는 모든 사물을 장애물로 인식하는건가요?

mlagents-learn [trainer-path] --env=[env-path]/build_name --run-id==[run-id]

trainer-path에 Kart.yaml
env-path에 Kart.exe 빌드 폴더 위치
run-id는 모르겠네요.
제가 말씀드린게 맞나요?

각 괄호 안에 어떤 명령어들이 들어가야 하나요??

안녕하세요, 파이토치와 유니티ML-agents로 배우는 강화학습_책에서 질문 드립니다.
DQN이나 A2C 알고리즘 내용을 보면 전처리 과정이 있는데 전처리가 어떨때 필요하며(목적지 관측정보가 있을 때만 필요한 것인지, 알고리즘에 따라 다른 것인지..) 책에는 Gridworld 환경에서의 예만 있어서, 일반적으로 어떻게 하는지 좀더 설명해주실 수 있을까요?

그리고 state의 관측정보는 환경의 dec.obs에서 가져오는 것 같은데 VISUAL_OBS=0, GOAL_OBS=1, VECTOR_OBS=2 이면 이러한 배열의 인덱스는 유니티 환경에서 어떻게 정해지는 것일까요? (다른 관측정보가 있는 경우 포함)

마지막으로 Gridworld 환경을 A2C로 학습할때 score는 -0.7정도에서 시작해 조금씩 올라가는데 비해 Actor loss 나 Critic loss는 크게 거의 변화가 없는 것으로 보입니다. loss값이 작아져야 학습이 잘 된것이라고 할 수 있을까요? 학습이 잘되기 위해 살펴봐야 하는 부분은 어떤 것일까요?