補助関数法に基づくスパース正則化付き非負値行列因子分解と行列補完への応用

令和7年度特別研究II発表会 2026年2月4日 8:50-12:00 補助関数法に基づくスパース正則化付き 非負値行列因子分解と 行列補完への応用 26番 和気佑弥（北村研究室）

2 研究背景 • 非負値行列因子分解（nonnegative matrix factorization: NMF）[Lee, 1999] – 非負制約付きの任意基底数（ 本）による低ランク近似 非負値観測行列 係数行列 基底行列 推定行列 アクティベーション 基底 のランク＝基底数 – 行列間の誤差を目的関数とした最適化問題として定式化 目的関数 非負制約 • 目的関数：観測行列 と推定行列 の距離 • 解析的に解を得ることはできない • 目的関数値が小さくなるように ， を更新していく

3 NMFの反復最適化 • と の更新を反復して目的関数を最適化する 非負値観測行列 基底行列 係数行列 推定行列

4 NMFの反復最適化 • と の更新を反復して目的関数を最適化する 非負値観測行列 基底行列 係数行列 推定行列

5 NMFの反復最適化 • と の更新を反復して目的関数を最適化する 基底行列 非負値観測行列 目的関数：行列間の誤差 初期値 875 係数行列 推定行列

6 NMFの反復最適化 • と の更新を反復して目的関数を最適化する 基底行列 非負値観測行列 目的関数：行列間の誤差 初期値 875 50.2 1回更新… 係数行列 推定行列

7 NMFの反復最適化 • と の更新を反復して目的関数を最適化する 基底行列 非負値観測行列 目的関数：行列間の誤差 初期値 875 10回更新… 50.2 1.40 1回更新… 最小化 係数行列 推定行列

8 NMFの反復最適化 • と の更新を反復して目的関数を最適化する 基底行列 非負値観測行列 目的関数：行列間の誤差 初期値 推定行列 1回更新… 875 10回更新… 50.2 1.40 係数行列 最小化 – 反復更新式：目的関数を最小化する変数更新のための式 ：要素ごとの積 ：転置

NMFの最適化アルゴリズム • 補助関数法（majorization-minimization algorithm）[Hunter and Lange, 2000] – 直接最適化が困難な目的関数を間接的に最適化する手法 NMFの場合： – 例）不連続関数 の最適化 9

10 NMFの最適化アルゴリズム • 補助関数法（majorization-minimization algorithm）[Hunter and Lange, 2000] – 直接最適化が困難な目的関数を間接的に最適化する手法 NMFの場合： – 例）不連続関数 の最適化 回更新目の変数値 に対し… （最適化が容易な） を設計する （1） 補助関数 のとき のとき （2） を満たす を として更新する 初期値 と収束するまで反復する

11 NMFの最適化アルゴリズム • 補助関数法（majorization-minimization algorithm）[Hunter and Lange, 2000] – 直接最適化が困難な目的関数を間接的に最適化する手法 NMFの場合： – 例）不連続関数 の最適化 補助関数 回更新目の変数値 に対し… （最適化が容易な） を設計する （1） 補助関数 のとき のとき （2） を満たす を として更新する 初期値 と収束するまで反復する

12 NMFの最適化アルゴリズム • 補助関数法（majorization-minimization algorithm）[Hunter and Lange, 2000] – 直接最適化が困難な目的関数を間接的に最適化する手法 NMFの場合： – 例）不連続関数 の最適化 補助関数 回更新目の変数値 に対し… （最適化が容易な） を設計する （1） 補助関数 のとき のとき （2） 補助関数の最小値 を満たす を として更新する 初期値 と収束するまで反復する

13 NMFの最適化アルゴリズム • 補助関数法（majorization-minimization algorithm）[Hunter and Lange, 2000] – 直接最適化が困難な目的関数を間接的に最適化する手法 NMFの場合： – 例）不連続関数 の最適化 補助関数 回更新目の変数値 に対し… （最適化が容易な） を設計する （1） 補助関数 のとき のとき （2） 補助関数の最小値 を満たす を として更新する 更新後 初期値 と収束するまで反復する

14 NMFの最適化アルゴリズム • 補助関数法（majorization-minimization algorithm）[Hunter and Lange, 2000] – 直接最適化が困難な目的関数を間接的に最適化する手法 NMFの場合： – 例）不連続関数 の最適化 回更新目の変数値 に対し… （最適化が容易な） を設計する （1） 補助関数 のとき のとき （2） を満たす を として更新する と収束するまで反復する

15 NMFの最適化アルゴリズム • 補助関数法（majorization-minimization algorithm）[Hunter and Lange, 2000] – 直接最適化が困難な目的関数を間接的に最適化する手法 NMFの場合： – 例）不連続関数 の最適化 回更新目の変数値 に対し… （最適化が容易な） を設計する （1） 補助関数 のとき のとき （2） を満たす を として更新する と収束するまで反復する

16 NMFの最適化アルゴリズム • 補助関数法（majorization-minimization algorithm）[Hunter and Lange, 2000] – 直接最適化が困難な目的関数を間接的に最適化する手法 NMFの場合： – 例）不連続関数 の最適化 回更新目の変数値 に対し… （最適化が容易な） を設計する （1） 補助関数 のとき のとき （2） を満たす を として更新する と収束するまで反復する

17 NMFの最適化アルゴリズム • 補助関数法（majorization-minimization algorithm）[Hunter and Lange, 2000] – 直接最適化が困難な目的関数を間接的に最適化する手法 NMFの場合： – 例）不連続関数 の最適化 回更新目の変数値 に対し… （最適化が容易な） を設計する （1） 補助関数 のとき のとき （2） を満たす を として更新する と収束するまで反復する

18 NMFの最適化アルゴリズム • 補助関数法（majorization-minimization algorithm）[Hunter and Lange, 2000] – 直接最適化が困難な目的関数を間接的に最適化する手法 NMFの場合： – 例）不連続関数 の最適化 回更新目の変数値 に対し… （最適化が容易な） を設計する （1） 補助関数 のとき のとき （2） を満たす を として更新する と収束するまで反復する

19 NMFの最適化アルゴリズム • 補助関数法（majorization-minimization algorithm）[Hunter and Lange, 2000] – 直接最適化が困難な目的関数を間接的に最適化する手法 NMFの場合： – 例）不連続関数 の最適化 回更新目の変数値 に対し… （最適化が容易な） を設計する （1） 補助関数 のとき のとき （2） を満たす を として更新する と収束するまで反復する

20 NMFの最適化アルゴリズム • 補助関数法（majorization-minimization algorithm）[Hunter and Lange, 2000] – 直接最適化が困難な目的関数を間接的に最適化する手法 NMFの場合： – 例）不連続関数 の最適化 回更新目の変数値 に対し… （最適化が容易な） を設計する （1） 補助関数 のとき のとき （2） を満たす を として更新する と収束するまで反復する

21 NMFの最適化アルゴリズム • 補助関数法（majorization-minimization algorithm）[Hunter and Lange, 2000] – 直接最適化が困難な目的関数を間接的に最適化する手法 NMFの場合： – 例）不連続関数 の最適化 回更新目の変数値 に対し… （最適化が容易な） を設計する （1） 補助関数 のとき のとき （2） を満たす を として更新する と収束するまで反復する

22 NMFの最適化アルゴリズム • 補助関数法（majorization-minimization algorithm）[Hunter and Lange, 2000] – 直接最適化が困難な目的関数を間接的に最適化する手法 NMFの場合： – 例）不連続関数 の最適化 回更新目の変数値 に対し… （最適化が容易な） を設計する （1） 補助関数 のとき のとき （2） を満たす を として更新する と収束するまで反復する

23 NMFの最適化アルゴリズム • 補助関数法（majorization-minimization algorithm）[Hunter and Lange, 2000] – 直接最適化が困難な目的関数を間接的に最適化する手法 NMFの場合： – 例）不連続関数 の最適化 回更新目の変数値 に対し… （最適化が容易な） を設計する （1） 補助関数 のとき のとき を満たす を （2） として更新する と収束するまで反復する 特徴 • ステップサイズ不要（収束が早い） • 乗法型の更新式（非負制約に強い） – 反復更新による単調非増加性が保証される

24 NMFに基づく低ランク近似の例 • NMFの基底行列 と係数行列 音源の振幅スペクトログラム 音の出現タイミング Time 顔画像をベクトル化して並べた行列 Amplitude Frequency 時間周波数 領域へ変換 Frequency 楽器音 音の特徴 Amplitude Time 顔のパーツ 各顔への影響度 目 鼻 口 顔画像 どのパーツが どの顔画像に どれだけ現れるか NMF：” 個の特徴’’と”その組み合わせ”に低ランク近似する手法

25 スパース性 1 • 行列のスパース性 – ほとんどの要素が0や それに近い値を取る行列 スパース（疎）な行列 デンス（密）な行列 • 最適化におけるスパース性の役割 – 誤差（ノイズ）を含む観測の本質構造を推定しやすい 次元による 多項式回帰 観測値 観測時のノイズ 係数ベクトル 真のモデル 個の観測系列 過剰な次元による推定 スパースに抑制した による推定 0

26 スパース性 1 • 行列のスパース性 – ほとんどの要素が0や それに近い値を取る行列 スパース（疎）な行列 デンス（密）な行列 • 最適化におけるスパース性の役割 – 誤差（ノイズ）を含む観測の本質構造を推定しやすい 次元による 多項式回帰 係数ベクトル 過剰な次元による推定 個の観測系列 スパースに抑制した による推定 0

27 スパース性 1 • 行列のスパース性 – ほとんどの要素が0や それに近い値を取る行列 スパース（疎）な行列 デンス（密）な行列 • 最適化におけるスパース性の役割 – 誤差（ノイズ）を含む観測の本質構造を推定しやすい 次元による 多項式回帰 係数ベクトル 過剰な次元による推定 個の観測系列 スパースに抑制した による推定 0

28 スパース性 1 • 行列のスパース性 – ほとんどの要素が0や それに近い値を取る行列 スパース（疎）な行列 デンス（密）な行列 • 最適化におけるスパース性の役割 – 誤差（ノイズ）を含む観測の本質構造を推定しやすい 次元による 多項式回帰 係数ベクトル 過剰な次元による推定 個の観測系列 スパースに抑制した による推定 0

NMFにおけるスパース性の仮定 • がスパースになることで がより特徴を抽出できる の列ベクトルの表現に すべての基底が関わる （曖昧な基底ベクトル） スパース化 の列ベクトルを支配的な 1つの基底ベクトルで表現 （局所的な基底ベクトル） 本質的特徴の抽出 29

NMFにおけるスパース性の仮定 • がスパースになることで 30 がより特徴を抽出できる の列ベクトルの表現に すべての基底が関わる （曖昧な基底ベクトル） スパース化 の列ベクトルを支配的な 1つの基底ベクトルで表現 （局所的な基底ベクトル） 本質的特徴の抽出 • スパース化による局所的特徴を強調した基底抽出の例 [Hoyer, 2004, Fig. 3] 通常のNMF スパース化したNMF 顔全体を表現（曖昧） 目や鼻を強調（局所的）

31 スパース性を与えたNMF • スパースNMF（sparse NMF: SNMF） – NMFに対し正則化項として 損失関数 ノルムを付与 L1正則化の図 正則化項 NMFによる最適化 NMFの目的関数： 反復更新 損失関数の最小化 スパースNMFによる最適化 反復更新 スパース化 損失関数 ノルム の同時最小化

スパースNMFのスケール任意性問題 • NMFのスケール任意性 – 同じ について， と のスケールに任意性がある スケール変化しても 全く同じ推定行列 32

スパースNMFのスケール任意性問題 • NMFのスケール任意性 – 同じ について， と のスケールに任意性がある スケール変化しても 全く同じ推定行列 NMF スパースNMF 一定 小さくなる 33

スパースNMFのスケール任意性問題 • NMFのスケール任意性 – 同じ について， と のスケールに任意性がある スケール変化しても 全く同じ推定行列 NMF スパースNMF 一定 小さくなる • スパースNMFのスケール任意性問題 [Iwase+, 2022] – のスケール任意性で正則化項が本質的に無意味になる ノルム だけ 不当に小さくなりうる 34

35 様々なスパースNMF 最適化問題 最適化手法 単調非増加性 [Hoyer, 2002] 射影勾配法 無し [Hoyer, 2004] 射影勾配法 無し [Liu+, 2004] 補助関数法かつ 反復毎の正規化 [Eggert+, 2004] [Le Roux+, 2015] Heuristic update rule 無し 無し [Leplat+, 2021] ラグランジュの未定乗数法 ＋ニュートン・ラプソン法 保証有り [Marmin+, 2023] 補助関数法 – 単調非増加性を保証する手法は限られる 保証有り

36 様々なスパースNMF 最適化問題 最適化手法 単調非増加性 [Hoyer, 2002] 射影勾配法 無し [Hoyer, 2004] 射影勾配法 無し 反復の内部に追加の数値計算処理が [Liu+, 2004] 必要で計算コストが大きい 補助関数法かつ 反復毎の正規化 [Eggert+, 2004] [Le Roux+, 2015] Heuristic update rule 無し 無し [Leplat+, 2021] ラグランジュの未定乗数法 ＋ニュートン・ラプソン法 保証有り [Marmin+, 2023] 補助関数法 – 単調非増加性を保証する手法は限られる 保証有り

37 様々なスパースNMF 最適化問題 最適化手法 単調非増加性 [Hoyer, 2002] 射影勾配法 無し [Hoyer, 2004] 射影勾配法 無し 反復の内部に追加の数値計算処理が [Liu+, 2004] 必要で計算コストが大きい 補助関数法かつ 反復毎の正規化 [Eggert+, 2004] スパース化の対象が となっており [Le Roux+, 2015] か の一方のスパース性の制御ができない Heuristic update rule 無し 無し [Leplat+, 2021] ラグランジュの未定乗数法 ＋ニュートン・ラプソン法 保証有り [Marmin+, 2023] 補助関数法 – 単調非増加性を保証する手法は限られる 保証有り

38 本研究の目的 • 既存手法とその課題 – スパースNMF • 正則化項によりNMFに スパース性を誘導する手法 – スケール任意性問題 • スパース化が無意味となる問題 – 単調非増加性を保証した手法の不足 • 計算コストの大きい手法 • 目的のスパース化と異なる手法 L1正則化の図

39 本研究の目的 • 既存手法とその課題 – スパースNMF • 正則化項によりNMFに スパース性を誘導する手法 L1正則化の図 – スケール任意性問題 • スパース化が無意味となる問題 – 単調非増加性を保証した手法の不足 • 計算コストの大きい手法 • 目的のスパース化と異なる手法 本研究の目的 スケール任意性問題の回避 単調非増加性を保証する乗法更新式 2つを両立する スパースNMFの提案

スケール任意性問題を回避するスパースNMF • ノルム制約付きスパースNMF（norm-constrained SNMF） ノルム制約 L1正則化の図 の各列ベクトルの 総和を1に固定する制約 40

スケール任意性問題を回避するスパースNMF • ノルム制約付きスパースNMF（norm-constrained SNMF） ノルム制約 L1正則化の図 の各列ベクトルの 総和を1に固定する制約 – ノルム制約によりスケール任意性問題を回避 • などのスケール調整を 制約により制限 – これまでも検討されてきたが補助関数法による最適化は未達 [Hoyer, 2004]， [Liu+, 2004] 等 41

スケール任意性問題を回避するスパースNMF • ノルム制約付きスパースNMF（norm-constrained SNMF） ノルム制約 L1正則化の図 の各列ベクトルの 総和を1に固定する制約 – ノルム制約によりスケール任意性問題を回避 • などのスケール調整を 制約により制限 – これまでも検討されてきたが補助関数法による最適化は未達 [Hoyer, 2004]， [Liu+, 2004] 等 • 提案手法：補助関数法に基づく反復更新式の導出 – スケール任意性問題：定式化で解決 – 単調非増加性：補助関数法に基づくことで保証 42

提案手法：補助関数の設計 • ノルム制約付きスパースNMF（norm-constrained SNMF） L1正則化の図 目的関数 – 損失関数には一般化KLダイバージェンスを用いる L1正則化の図 直接最適化困難な項 43

44 提案手法：補助関数の設計 • ノルム制約付きスパースNMF（norm-constrained SNMF） L1正則化の図 目的関数 – 損失関数には一般化KLダイバージェンスを用いる L1正則化の図 直接最適化困難な項 – 損失関数に対して上限関数を設計 ：定数項を除いて等しい ：補助変数 Jensenの不等式

45 提案手法：補助関数の設計 • ノルム制約付きスパースNMF（norm-constrained SNMF） L1正則化の図 目的関数 – 損失関数には一般化KLダイバージェンスを用いる L1正則化の図 直接最適化困難な項 – 損失関数に対して上限関数を設計 ：定数項を除いて等しい ：補助変数 Jensenの不等式 – これより，目的関数の補助関数を次のように設計する L1正則化の図

提案手法：補助関数の最適化 • 補助関数 に対する最適化問題 – このときノルム制約を引き継ぐ（新規アプローチ） L1正則化の図 46

提案手法：補助関数の最適化 • 補助関数 47 に対する最適化問題 – このときノルム制約を引き継ぐ（新規アプローチ） L1正則化の図 – ラグランジュの未定乗数法及びカルーシュ・クーン・タッカー条件 に基づきノルム制約を維持したまま最小化する • 補助変数 • の最適化 Jensenの不等式における等式制約条件 の最適化：以下のラグランジュ関数を解く ：ラグランジュ乗数 ノルム制約

提案手法：反復更新式 • ノルム制約付きスパースNMFの反復更新式 L1正則化の図 – 収束パラメータや追加処理を必要としない乗法更新式 – 理論的に単調非増加性を保証する 48

提案手法：反復更新式 • ノルム制約付きスパースNMFの反復更新式 L1正則化の図 – 収束パラメータや追加処理を必要としない乗法更新式 – 理論的に単調非増加性を保証する • 提案手法のまとめ – 最適化問題の定式化においてスケール任意性問題を解決 – 補助関数にノルム制約を引き継ぐアプローチを採用 – 補助関数法に基づく導出で単調非増加性を保証 49

提案手法：反復更新式 • ノルム制約付きスパースNMFの反復更新式 L1正則化の図 – 収束パラメータや追加処理を必要としない乗法更新式 – 理論的に単調非増加性を保証する • 提案手法のまとめ – 最適化問題の定式化においてスケール任意性問題を解決 – 補助関数にノルム制約を引き継ぐアプローチを採用 – 補助関数法に基づく導出で単調非増加性を保証 スケール任意性問題の回避 単調非増加性を保証する乗法更新式 2つを両立する スパースNMF 50

51 実験概要 • 音源データを用いた振幅スペクトログラムの近似実験 – 目的：目的関数値の単調非増加性を検証 – 評価方法：目的関数が同じ3手法の収束挙動を比較（後述） – データ：SiSEC2011 [Araki+, 2011] の``dev1_wdrums_src_1.wav’’ 値・式 Amplitude 窓長 冒頭10 sを切り出し シフト長 基底数 重み係数 乱数シード 評価値 10 s Time Frequency 条件 個 STFT Time 観測行列 – 方法：短時間フーリエ変換（short-time Fourier transform: STFT）により 方法：振幅スペクトログラムを求め観測行列とする

52 比較手法 最適化問題 最適化手法 単調非増加性 [Hoyer, 2002] Simple SNMF [Liu+, 2004] 射影勾配法 • 反復更新する毎にスケール任意性により を正規化する手法 [Hoyer, 2004] • スケール任意性問題を抱えており，単調非増加性も保証しない 射影勾配法 無し 無し [Liu+, 2004] 補助関数法かつ 反復毎の正規化 [Eggert+, 2004] [Le Roux+, 2015] Heuristic update rule 無し 無し [Leplat+, 2021] ラグランジュの未定乗数法 Normalized SNMF [Le Roux+, 2015] ＋ニュートン・ラプソン法 保証有り • 目的関数の中で を正規化して，反復更新式を導出する手法 [Marmin+, 2023] • 既存手法の中でも良く動作するが，単調非増加性の理論的保証が無い 補助関数法 保証有り

53 実験結果（1/2） • 基底数 ，重み係数 – 各手法の50シードの平均値と標準偏差を表示 Simple SNMF Normalized SNMF Norm-constraint SNMF

54 実験結果（1/2） • 基底数 ，重み係数 – 各手法の50シードの平均値と標準偏差を表示 Simple SNMF Normalized SNMF Norm-constraint SNMF 提案手法 1 1

55 実験結果（1/2） • 基底数 ，重み係数 – 各手法の50シードの平均値と標準偏差を表示 Simple SNMF Normalized SNMF 提案手法 1 Norm-constraint SNMF

Simple SNMF 実験結果（2/2） • 基底数 ，重み係数 • • 回目の更新について ：更新直後 ：スケール調整後 – 各手法の50シードの平均値と標準偏差を表示 Simple SNMF Normalized SNMF Norm-constraint SNMF 56

Simple SNMF 実験結果（2/2） • 基底数 ，重み係数 • • 回目の更新について ：更新直後 ：スケール調整後 – 各手法の50シードの平均値と標準偏差を表示 Simple SNMF Normalized SNMF Norm-constraint SNMF 提案手法 57

Simple SNMF 実験結果（2/2） • 基底数 ，重み係数 • • 回目の更新について ：更新直後 ：スケール調整後 – 各手法の50シードの平均値と標準偏差を表示 Simple SNMF 提案手法 Normalized SNMF Norm-constraint SNMF 58

Simple SNMF 実験結果（2/2） • 基底数 ，重み係数 • • 回目の更新について ：更新直後 ：スケール調整後 – 各手法の50シードの平均値と標準偏差を表示 Simple SNMF Normalized SNMF Norm-constraint SNMF 提案手法 • 提案手法は単調非増加性を維持したまま最も良い値へ到達した • 異なるパラメータ条件においても安定した挙動を示し 常に既存手法と同等か最良の結果が得られた 59

まとめ 60 • 新たなスパースNMFの反復更新式を提案 – スパースNMFの発展と課題を体系的に整理 – ノルム制約によりスケール任意性問題を回避 – 補助関数法に基づき単調非増加性を保証する更新式を導出 • 音響信号の振幅スペクトログラムによる評価実験 – 単調非増加性及び従来手法と同等以上の収束性能を確認 • 予稿では行列補完におけるスパースNMFについて検討 – 行列補完における各スパースNMFの補完性能を検証 • 研究業績 – – 和気佑弥, 北村大地, “上界最小化アルゴリズムに基づくスパース NMF を用いた欠損値補完と音源分離へ の応用,” 第 27 回日本音響学会関西支部若手研究者交流研究発表会, p. 8, 大阪, 2024 年 12 月（査読無）. 和気佑弥, 北村大地, 綾野翔馬, “ノルム制約・スパース正則化付き KL 基準 NMF の補助関数法に基づく最 適化,” 日本音響学会 2025 年秋季研究発表会講演論文集 , 1-R-8, pp. 259–262, 宮城, 2025 年 9 月 （査読無）.

補 足 直接最適化が困難とは • 次の目的関数について を解く L1正則化の図 – 合成関数の微分則により – – として について偏微分 について解く… について閉形式を導出できない → 解析解を得られない 61 61

補 足 62 比較手法：simple SNMF [Liu+, 2004] • 最適化問題の定式化 損失関数 L1正則化の図 正則化項 – スケール任意性問題を包含する • 更新アルゴリズム 2. 正規化によるスケール調整（ ） ） 目的関数 1. 更新式による変数更新（ 更新回数

補 足 比較手法：normalized SNMF [Eggert+, 2004], [Le Roux+, 2015] • 最適化問題の定式化 – 目的関数に基底の正規化を組み込む – スケール任意性問題を回避 • 更新アルゴリズム – 導出過程に起因して単調非増加性を保証しない 63

補 足 Jensenの不等式 • 定理1 （Jensenの不等式） – を， 関数であるとき， する． を満たす補助変数とする．関数 が凸 に対して以下の不等式が成立 が狭義凸関数であるとき，不等式中の等式が成立するた めの条件は である． • 補助関数の設計における活用（一般化KLダイバージェンス） – 凸関数 としてJensenの不等式を適用 64