https://vividian.net/tag/ppo/ Recent content in PPO on Vividian Repository Hugo -- gohugo.io ko Thu, 27 Nov 2025 09:31:00 +0900 https://vividian.net/notes/ppo-action-std-parameter-analysis/ Thu, 27 Nov 2025 09:31:00 +0900 https://vividian.net/notes/ppo-action-std-parameter-analysis/ <div class="page-toc"> <div class="page-toc__title">글 목록</div> <nav id="TableOfContents"> <ul> <li> <ul> <li><a href="#action_std">action_std</a> <ul> <li><a href="#action_std_mean">action_std_mean</a></li> <li><a href="#action_std_max-action_std_min">action_std_max, action_std_min</a></li> </ul> </li> <li><a href="#entropy">Entropy</a></li> <li><a href="#결론">결론</a> <ul> <li></li> </ul> </li> </ul> </li> </ul> </nav> </div> <h2 id="action_std">action_std</h2> <p>PPO 알고리즘에서 탐색의 정도를 결정하는 파라미터이다. 에이전트가 행동(action)을 결정할 때, 네트워크의 출력 평균값(action_mean)을 중심으로 얼마나 무작위성을 섞을지 결정하는 표준편차.</p> <ul> <li> <p>action_std 가 크면</p> <ul> <li>에이전트가 평균값을 많이 벗어난 행동 시도 가능</li> <li>초기에 유리, 동작 불안, 떨림 등 있을 수 잇음</li> </ul> </li> <li> <p>action_std 가 작으면</p> <ul> <li>에이전트가 평균값에 아주 가까운 행동</li> <li>학습 후반부에 동작 정교하게 다듬는 과정</li> </ul> </li> </ul> <p>코드에서 아래처럼 사용 가능하다.</p> <div class="highlight"><pre tabindex="0" style="color:#e2e4e5;background-color:#282a36;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-python" data-lang="python"><span style="display:flex;"><span>action <span style="color:#ff6ac1">=</span> action_mean <span style="color:#ff6ac1">+</span> (noise <span style="color:#ff6ac1">*</span> action_std) </span></span></code></pre></div><h3 id="action_std_mean">action_std_mean</h3> <p>![[../images/notes_251127_PPO_알고리즘에서_action_std_1.webp]]</p>