Nstepで数回に1回NaNが出て学習が終了してしまう
実行時の警告
[TRAINING] Epi 50, Total Steps 10000, Epi Steps = 200, Return = 195.1646, FPS : 292.6950
/Users/keiohta/anaconda3/lib/python3.6/site-packages/numpy/core/fromnumeric.py:51: RuntimeWarning: invalid value encountered in minimum
return getattr(obj, method)(*args, **kwds)
/Users/keiohta/anaconda3/lib/python3.6/site-packages/numpy/core/fromnumeric.py:51: RuntimeWarning: invalid value encountered in maximum
return getattr(obj, method)(*args, **kwds)
[TRAINING] Epi 51, Total Steps 10200, Epi Steps = 200, Return = nan, FPS : 294.0548
また、bufferサイズ10000に対して、10000回目で死んでおり、bufferの回り込み関連であると推測される