Closed
Milestone
Selevtive Replay Bufferの実装
#10 (closed) の提案に基づく
【前提】
通常のReplayBufferでは、内部にリングバッファを用い、古いものから順番に上書きしてきた。
【今回】
Selective Replay Buffer では、どのエピソードをバッファ内に残すかをアルゴリズムによって決定する。(エピソード単位での管理)
- 内部バッファは、 「最大エピソード長 × 保存エピソード数」で固定
- 溢れる前に消すのでリングバッファのように回り込み処理は不要
- エピソード長が、最大エピソード長よりも短いデータも許可される
Loading
Loading
Loading
Loading