Closed
Milestone

Selevtive Replay Bufferの実装

#10 (closed) の提案に基づく


【前提】

通常のReplayBufferでは、内部にリングバッファを用い、古いものから順番に上書きしてきた。


【今回】

Selective Replay Buffer では、どのエピソードをバッファ内に残すかをアルゴリズムによって決定する。(エピソード単位での管理)

  • 内部バッファは、 「最大エピソード長 × 保存エピソード数」で固定
  • 溢れる前に消すのでリングバッファのように回り込み処理は不要
  • エピソード長が、最大エピソード長よりも短いデータも許可される
  • Work items 2
  • Merge requests 0
  • Participants 2
  • Labels 2
Loading
Loading
Loading
Loading
100% complete
100%
Start date
No start date
None
Due date
No due date
2
Work items 2 New issue
Open: 0 Closed: 2
0
Merge requests 0
Open: 0 Closed: 0 Merged: 0
0
Releases
None
Reference: ymd_h/cpprb%"Selevtive Replay Bufferの実装"