どこから見てもメンダコ

軟体動物門頭足綱八腕類メンダコ科

LLMチューニングのための強化学習①：GRPO（Group Relative Policy Optimization）

DeepSeek-R1にも採用されたLLMチューニングのための強化学習手法 GRPO（Group Relative Policy Optimization）について考えたことをまとめます。

arxiv.org

GRPO: DeepSeek-R1の強化学習ファインチューニング手法

GPT-o1モデルに匹敵する性能を示す DeepSeek-R1 が話題となっています。DeepSeek-R1は商用可能なオープンウェイトモデルかつ破壊的に安価なAPIを利用可能であるため、様々なLLMユースケースにおいて大きな影響が予想されます。

テクニカルな観点では、DeepSeek-R1のRLチューニングではGRPO（Group Relative Policy Optimization）というPPOをLLMチューニングに特化させた強化学習手法が提案されていることが興味深い点となっています*1。

DeepSeek-R1論文より

DeepSeek-Math論文より

GRPOについて、PPOからの最大の変更点はアドバンテージ（A）をエピソード報酬（r）から直接算出することにより状態価値V(s)の関数近似を不要としたことです。この変更により、従来のPPOではRLチューニング時に方策関数（＝LLM）と状態価値関数V(s)の２つのネットワークを同時訓練する必要があったところを、GRPOでは方策関数（＝LLM）の訓練だけを行えばよくなりました。訓練すべきネットワークが一つになったことは要求計算量の減少はもちろん、学習の安定性向上にも大きく寄与していると考えられます。

さらに、学習が安定していると大きなモデルと大量データでの訓練が容易になるため、おそらくは間接的に性能向上にも寄与していると思われます。


前提手法：TRPO/PPO

GRPOの前提手法であるTRPOとPPOについて John Schulmanの講義資料 から抜粋して簡単に説明します。

TRPO: Trust Region Policy Optimization

TRPO

方策勾配定理は報酬を最大化するための方策パラメータの勾配方向を教えてくれますが、適切な更新サイズについては何も教えてくれないためしばしば学習が不安定化します。そこでTRPOでは方策更新において、更新後方策πθと更新前方策πθ_oldにKL距離を制約項として与えることで極端なパラメータ更新を回避します。

ここで、目的関数 \displaystyle \hat{\mathbb{E}}_t \lbrack { \frac{\pi_\theta(a_t \mid s_t)}{\pi_{\theta_{\text{old}}}(a_t \mid s_t)} \hat{A}_t } \rbrack は 重点サンプリング法 によって導出されます。

TRPOの目的関数

TRPOではサンプル収集→ 複数回の勾配更新 → サンプル収集→ 複数回の勾配更新 を繰り返すため、データ収集を行った方策πθ_old と現在方策πθが必ずしも一致しません。 そこで上記のように重点サンプリングによって目的関数の補正を行う必要があります。

[1502.05477] Trust Region Policy Optimization

PPO: Proximal Policy Optimization

TRPOは毎回の勾配更新ごとにラグランジュ乗数法で制約付き最適化問題をまじめに解くので計算量が非常に大きくなってしまうため、大規模なニューラルネットワークに適用することができません。この問題の解決のために簡易化されたTRPOとして提案された後継手法がPPOです。

PPOではimportance ratioが大きくなりすぎた（あるいは小さくなりすぎた）場合にはクリップしてしまうというアルゴリズムで暗黙的なKL距離制約を与えことで、TRPOの目的である極端なパラメータ更新防止を実現します。

PPOの目的関数

[1707.06347] Proximal Policy Optimization Algorithms

その他参考資料：
Introduction - Hugging Face Deep RL Course
ハムスターでもわかるTRPO ①基本編 - どこから見てもメンダコ
ハムスターでもわかるProximal Policy Optimization （PPO）①基本編 - どこから見てもメンダコ


GRPOとPPOの差分：①アドバンテージ算出と②参照モデルからのKL距離制約

[2402.03300] DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models

目的関数を見ると、GRPOとPPOの主要な差分は2点のみであることがわかります。

PPOの目的関数：

PPOの目的関数

GRPOの目的関数：

GRPOの目的関数

① アドバンテージAの算出方法：
従来のPPOでは方策関数（＝LLM）とは別に訓練される状態価値V(s)の関数近似を用いてアドバンテージを算出していましたが、GRPOでは報酬rのみでアドバンテージを算出するため状態価値V(s)の関数近似が不要となっています。

② 参照モデル（SFTモデル）からのKL距離制約の置き場所：
従来のPPOでは参照モデル（SFTモデル）からのKL距離制約は報酬rに含められていましたが、GRPOでは明示的に目的関数内にペナルティ項として追加されています。

言い換えると上記2点以外はPPOと全く変わらないのですが、それでも①のアドバンテージ算出方法変更についてはシンプルながら強い納得感と高い実用性を備えたエレガントなアイデアであると感じます。②は計算量減ってうれしいくらい。


変更点①： アドバンテージAの算出方法

強化学習（第2版）第13章 方策勾配法

森村強化学習 6章3節

REINFORCE： 価値関数近似なし方策勾配法

方策勾配定理より、行動選択が方策関数πθに従うときに期待される累積報酬 J(θ) の勾配を次式よりモンテカルロ推定することができる。

\displaystyle{ \nabla_\theta J(\theta) = {\mathbb{E}}_{\pi} \left[{ (Q^{\pi}(s_t, a_t) - b(s_t)) \nabla\ln\pi_{\theta}(a_t \mid s_t) }\right] }

ここで、Q(s_t, a_t)は状態行動価値であり、状態s_tにおける行動選択a_tの良さを表す指標である。また、b(s_t)はaに依存しない任意の関数でありベースライン関数と呼称される。ベースライン関数は勾配推定（∇J）の期待値には影響しないが適切に設定することで勾配推定の分散を低減することができる。任意関数であるので例えば一様にb(s)=0 とすることもできるが、E[Q(s, a) - b(s)] = 0となるようb(s)を設計できると勾配推定の分散が低減され収束性が向上する。

Qは様々な方法で推定することができるが、もっとも単純なのは時刻t以降の報酬和（ G_t = \sum_{k=t}^{T} r_k ）を状態行動価値Qの推定値とする方法である。この方法は一般にREINFORCEと呼称される。

\displaystyle{ \nabla_\theta J(\theta) = {\mathbb{E}}_{\pi} \left[{ (\sum_{k=t}^{T} r_k - b(s_t)) \nabla\ln\pi_{\theta}(a_t \mid s_t) }\right] }

ベースライン関数b(s)としては計算の容易さからリターン（エピソード合計報酬）の推定平均値が採用されることが多い。しかしこの方法は（重要）報酬がエピソードの最終ステップにのみ発生する特殊な環境を除き、時刻t=0以外ではE[Q(s, a) - 平均リターン] ≠ 0 であるためそれほど良いベースライン設計ではない。

このようにREINFORCEでは状態行動価値Q(s, a)の算出においてもベースライン関数b(s)においても価値の関数近似を行わず報酬から直接推定するため、訓練するネットワークは方策関数のみとなる。

PPO（Actor-Critic）： 価値関数近似あり方策勾配法

ベースライン関数の自然な選択肢の一つは状態価値V(s)の関数近似である。

\displaystyle{ \nabla_\theta J(\theta) = {\mathbb{E}}_{\pi} \left[{ (Q^{\pi}(s_t, a_t) - V^{\pi}_\theta(s_t)) \nabla\ln\pi_{\theta}(a_t \mid s_t) }\right] }

最適方策において E[Q(s, a) - V(s)] = 0となるため、V(s)は良いベースライン関数となる。

Q(s, a) - V(s)は一般にアドバンテージ関数Aと呼称される。直感的にはアドバンテージ関数は状態sにおける行動aの相対的な価値を表現していると理解できる。価値を相対化することにより、ある状況Sでどの行動Aを選ぶべきなのかを強調することが可能となる。

V(s)の関数近似を用いたアドバンテージ関数に基づく方策勾配法アーキテクチャは一般にActor-Criticと呼称される。PPOもまたActor-Critic系手法の一つである。

Actor-Criticでは方策関数と価値関数の２つのネットワークを共進化的に訓練する必要から学習不安定性の課題があるものの、多くの場合ではそれに優る性能向上が得られるため、さまざまな強化学習タスクにおいて方策勾配系手法の主流アーキテクチャとなっている。

なお、Ｑ(s, a)をどのように推定するかによりアドバンテージ関数にバリエーションが存在する。たとえば Q(s, a) = r_t + V(s_t+1)より状態行動価値Qを状態価値Vから推定する方法があり、これは1ステップアドバンテージと呼称される（たぶん）。

\displaystyle{ \nabla_\theta J(\theta) = {\mathbb{E}}_{\pi} \left[{ (r_{t} + V^{\pi}_\theta(s_{t+1}) - V^{\pi}_\theta(s_t)) \nabla\ln\pi_{\theta}(a_t \mid s_t) }\right] }

PPOではGAE(Generalized Advantage Estimation) という、より精緻なアドバンテージ計算手法が採用されているが上記の1ステップアドバンテージと本質的な違いはない。

GRPO： スケーリングされたREINFORCE

「回答完了時に初めて報酬が発生する」というLLM報酬モデルの特性を鑑みると、価値の関数近似はやめてREINFORCEに近い方法でアドバンテージ算出するのが効率良いのでは？と提案しているのがGRPOであると個人的に理解しています。

まずはREINFORCEの更新式に立ち戻ります。

\displaystyle{ \nabla_\theta J(\theta) = {\mathbb{E}}_{\pi} \left[{ (\sum_{k=t}^{T} r_k - b(s_t)) \nabla\ln\pi_{\theta}(a_t \mid s_t) }\right] }

LLMの報酬モデルのように、報酬が最終ステップ（回答完了時）のみで発生する場合には時刻T以外での報酬r_tが0となるため、時刻t以降の報酬和は開始時刻tに依存せずr_Tとなります。すなわち、

\displaystyle{ \sum_{k=t}^{T} r_k = r_t + r_{t+1} + ... + r_{T-1} + r_{T} = 0 + 0 + ... + 0 + r_{T} = r_{T} }

ここで最終ステップの即時報酬r_Tは与えられた質問(question)への回答完了(output)に対する報酬モデルの出力であるので、 \displaystyle{ r_T = r_{\text{out | question}} } と表記してREINFORCEの更新式を書き直します。

\displaystyle{ \nabla_\theta J(\theta) = {\mathbb{E}}_{\pi} \left[{( r_{{\text{out | question}}} - b(s_t)) \nabla\ln\pi_{\theta}(a_t \mid s_t) }\right] }

次にベースライン関数b(s_t)の設計を考えます。

前述したとおり、 \displaystyle{ {\mathbb{E}}_{\pi} \left[{ r_{{\text{out | question}}} - b(s_t) }\right] =0 } となるようにb(s)を設計することができれば勾配推定の分散が低減され学習が安定化されるため、b(s)として推定すべきは \displaystyle{ r_{{\text{out | question}}} } の期待値であり、そのためのもっとも簡単な方法はモンテカルロ推定です。すなわち、1つの質問(question)について多数の回答(output)のサンプリングを行い、シンプルに平均値をとることでr_out|questionの期待値を推定することができます。

一つの質問について多数の回答をサンプリングし報酬を評価

ある質問qからG個の回答グループ（o1, o2 ... oG）がサンプリングされたとき、各回答についての報酬r_iを用いてREINFORCEを次のように書き直すことができます。

\displaystyle{ \nabla_\theta J(\theta) = {\mathbb{E}}_{\pi} \left[{( r_{{\text{out | question}}} - \text{mean}(r_1, r_2, ... , r_G) ) \nabla\ln\pi_{\theta}(a_t \mid s_t) }\right] }

当然、E[r - mean(r1, ... , rG)]=0であるのでこれはよいベースライン関数設計であると言えます。さらに、回答グループの報酬についての標準偏差を用いてスケーリングすることでGRPOのアドバンテージ関数を得ることができます。

\displaystyle{ \nabla_\theta J(\theta) = {\mathbb{E}}_{\pi} \left[{\frac{r_{{\text{out | question}}} - \text{mean}(r_1, r_2, ... , r_G)}{\text{std}(r_1, r_2, ... , r_G) } \nabla\ln\pi_{\theta}(a_t \mid s_t) }\right] }

このように、LLM報酬モデルの性質を鑑みてベースライン関数b(s)として状態価値V(s)の関数近似ではなく、報酬期待値のモンテカルロ推定を採用したのがGRPOです。ベースライン関数の設計という観点からシンプルかつ納得感のあるエレガントな設計となっていることがわかります。ポイントはランダムな質問群に対して多数の回答をサンプリングするのではなく、一つの質問に対して多数の回答をサンプリングすることにより、高い精度での期待値推定が可能となることです。これがGroup Relative Policy Optimizationたる所以となっています。

GRPOのアドバンテージ算出方法であれば従来のPPOとは異なり状態価値V(s)の関数近似が不要であるため、２つのネットワークを共進化させる必要性ゆえに学習が不安定なActor-Criticアーキテクチャを回避することができます。


変更点 ②： 参照モデル（SFTモデル）からのKL距離制約

DeepSeekMath論文より

従来は参照モデル制約は報酬に含められていた

LLMの強化学習チューニングではモデルがpretraining時の記憶を失うことを防ぐため、訓練前モデル（pretrainedモデル / SFTモデル）とのKL距離が離れすぎないように制約を与えることが一般的です。このKL距離制約は従来（Instruct-GPTなど）は報酬の一部として暗黙的に埋め込まれていました。

　　

一方、GRPOでは制約項D_klが目的関数に明示的に組み込まれています。

　　　

この変更理由の一つは、アドバンテージ関数の計算グラフをシンプルにして計算量を減らすことを狙ったのだと思われます。また、上述したようにGRPOのベースライン関数は「回答完了時に初めて報酬が発生する」というLLM報酬モデル特有の性質を前提にしているため、報酬にKL制約ペナルティを含めることで途中報酬が発生するのを嫌ったのではないかと思います。

KL距離のモンテカルロ推定

KL距離はモンテカルロ推定によりサンプリングベースで算出するのですが、論文の式が見慣れない感じになっています。

　　　

前提として、πθとπrefのKL距離はもっとも単純には以下の式に従いサンプリングベースで推定することができます。

\displaystyle{ \mathbb{D}_{KL}(\pi_\theta |\pi_{\text{ref}}) = {\mathbb{E}}_{\pi} \left[ \log \frac{\pi_{\theta}(o_i \mid q)}{\pi_\text{ref}(o_i \mid q)} \right] }

しかし、この推定値は不偏ではあるものの分散が大きく安定しません。そこで 制御変量法 というトリックを用いると分散を減らすことができます。制御変量法を用いたKL距離のモンテカルロ推定について結論だけ述べると、以下の算出式によって良好な推定値を得ることができます。

　

詳細はJohn Schulmanの記事 ”Approximating KL Divergence”を参照。


まとめ

  • GRPOは「回答完了時にのみ報酬が発生する」というLLM報酬モデル特有の性質を前提に、REINFORCEのベースライン関数b(s)をうまく設計することでPPOにおいて状態価値V(s)の関数近似を不要とした
  • 状態価値V(s)の関数近似が不要となったことで計算量が減るのはもちろん、学習の安定性が向上し結果として性能向上につながった（と思われる）


次：GSPO（Group Sequence Policy Optimization）

GRPOの学習安定性を改善した手法。Qwen3にて採用。 horomary.hatenablog.com

*1:なお、GRPOの初出はDeepSeek-R1ではなくDeepSeek-Math