---
title: LoRA(Low Rank Adaptation)について
tags: 
author: [kokuren](https://convert.docswell.com/user/kokuren333)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/57GY923R7L.jpg?width=480
description: LoRA(Low Rank Adaptation)について by kokuren
published: April 11, 25
canonical: https://convert.docswell.com/s/kokuren333/K1R98L-2025-04-11-070645
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/57GY923R7L.jpg)

LoRA（Low-Rank Adaptation）技術解説
Ⓒkokurenの自習室


# Page. 2

![Page Image](https://bcdn.docswell.com/page/4EQMWP5YJP.jpg)

課題: 大規模モデルの巨大化
• 近年のAIモデル: パラメータ数が爆発的に増加
• GPT-3は1750億、他の基盤モデルも数十億〜何百億パラメータ
に達する。
• これらのモデルは強力だが、特定のタスクに合わせて微調整（
ファインチューニング）するには課題がある。


# Page. 3

![Page Image](https://bcdn.docswell.com/page/KJ4VKY9ZE1.jpg)

課題: フルファインチューニングの壁
• 従来のファインチューニング手法の限界
• フルファインチューニング: 全パラメータを再学習するため、
最高の性能が期待できる。
• しかし、課題も多い:
• 計算コスト: 膨大なGPUメモリと計算時間が必要。
• ストレージコスト: タスクごとに巨大なモデル（数十〜数百GB）を保
存する必要があり非効率。
• 現実性: 多くの研究者や開発チームにとって、リソース的に実施困難。


# Page. 4

![Page Image](https://bcdn.docswell.com/page/LE13X6KDJG.jpg)

パラメータ効率の良いファインチューニング (PEFT)
• PEFT: より少ないコストでファインチューニング
• PEFT (Parameter-Efficient Fine-Tuning): 大規模モデルのファ
インチューニングを、より少ない計算資源・パラメータで行う
手法群。
• 目的: フルファインチューニングに近い性能を、低コストで実
現する。
• 従来手法の例: アダプタ層の挿入、プレフィックスチューニン
グなど。
• 従来手法の課題: 推論時の遅延増加、最適化の難しさなどがあ
った。


# Page. 5

![Page Image](https://bcdn.docswell.com/page/GEWPNWD8J2.jpg)

LoRAとは？ - 概要
• LoRA (Low-Rank Adaptation): 新しいPEFT手法
• Microsoftの研究者ら (Hu et al., 2021) によって提案された
PEFT手法。
• 核心アイデア:
• 元の巨大なモデルの重み (W₀) は 凍結 (変更しない)。
• 代わりに、各層に 「低ランク行列」 で構成される小さなモジュールを
追加し、このモジュールだけを学習 する。
• これにより、モデル全体を作り直すことなく、タスクに適応さ
せる。


# Page. 6

![Page Image](https://bcdn.docswell.com/page/47ZK35G973.jpg)

LoRAの驚くべき効率性
• 学習パラメータ数の劇的削減:
• GPT-3 (1750億パラメータ) の場合、LoRAでは学習対象が 約1/10,000
(約1800万パラメータ) にまで減少。
• GPUメモリ消費量の削減:
• フルファインチューニング比で 約1/3 に圧縮。
• 高性能の維持:
• 削減されたパラメータ数にも関わらず、モデルの品質はフルファイン
チューニングと同等か、場合によってはそれ以上。
• 結論: LoRAは、極めて少ない追加コストで大規模モデルを効率
的に適応させる有望な技術。


# Page. 7

![Page Image](https://bcdn.docswell.com/page/YJ6QX9YDJV.jpg)

LoRAの理論的根拠: 低ランク仮説
• なぜLoRAは機能するのか？ 低ランク仮説
• 基盤となる考え: 大規模言語モデルなどを特定のタスクに適応
させる際の「重みの変化 (ΔW)」は、本質的に低い次元（低い
ランク）の構造を持つ という仮説。
• 意味:
• 大規模モデルはパラメータに冗長性を含む。
• タスク適応に必要な「真のパラメータ変化」は、元のパラメータ空間
よりもずっと小さい部分空間で表現できる。
• LoRAはこの性質を利用し、学習対象を低ランク空間に限定す
ることで効率化を図る。


# Page. 8

![Page Image](https://bcdn.docswell.com/page/GJ5RXNG874.jpg)

LoRAの仕組み (1): 低ランク行列分解
• LoRAのコア技術: 低ランク行列による差分近似
• 元の重み行列 W₀ (サイズ d × k) は凍結。
• 学習したい変化分 ΔW を直接学習する代わりに、 ΔW を2つ
の低ランク行列 B と A の積で近似する。
• ΔW ≈ B A
• B: サイズ d × r
• A: サイズ r × k
• r: ランク (Rank)。非常に小さい整数 (r ≪ min(d, k))。
• 学習対象: W₀ は固定し、小さな行列 A と B のみ学習。
• パラメータ数: 元の d × k 個から r × (d+k) 個に大幅削減。


# Page. 9

![Page Image](https://bcdn.docswell.com/page/LE3PX2RGJ5.jpg)

LoRAの仕組み (2): 前向き計算
• LoRA適用時の計算フロー
• 通常のモデル: 出力 h = W₀ x (x は入力)
• LoRA適用モデル: 出力 h = W₀ x + (B A) x
• 元の計算 (W₀ x) に、LoRAモジュールによる補正項 ((B A) x) が加算さ
れる。
• 概念図の説明:
• 元の重み (W₀): 事前学習済み、凍結。
• LoRA重み (A, B): 学習対象。
• 入力 x は両方の経路を通り、結果が足し合わされる。


# Page. 10

![Page Image](https://bcdn.docswell.com/page/8EDL2ZYNJG.jpg)

LoRAの仕組み (3): 初期化とスケーリング
• 学習の安定化と調整: 初期化とスケーリング係数 α
• 初期化:
• A 行列: 小さな乱数 (例: ガウス分布) で初期化。
• B 行列: **ゼロ** で初期化。
• 効果: 学習開始時、BA=0 となり、出力は元のモデルと同じ。これによ
り学習初期の挙動が安定する。
• スケーリング係数 α:
• LoRAの出力を調整するハイパーパラメータ。
• 式: h = W₀ x + (α/r) * (B A) x
• α と r の比 (α/r) で、LoRAによる補正の影響度を調整。
• 論文では α=r (例: α=16, r=16) を使用し、元の重みとLoRAのバラン
スを取るケースが多い。


# Page. 11

![Page Image](https://bcdn.docswell.com/page/V7P21D6N78.jpg)

LoRAの利点: 学習効率
• 利点①: 劇的な学習コストの削減
• 学習パラメータ数削減: 桁違いに少ない (例: GPT-3で1/10000)
。
• メモリ削減: 勾配やオプティマイザ状態の保存に必要なメモリ
量が大幅に減少 (例: GPT-3で1/3)。
• 結果:
• より少ないGPUリソースでの学習が可能に。
• 同じリソースで、より大きなバッチサイズの使用や学習時間の短縮が
可能。


# Page. 12

![Page Image](https://bcdn.docswell.com/page/2JVDY13YJQ.jpg)

LoRAの利点: 推論効率
• 利点②: 推論時のオーバーヘッドがほぼゼロ
• 学習後、LoRAモジュール (A, B) を元の重み W₀ に マージ（統
合） することが可能。
• W_merged = W₀ + B A
• マージ後のモデルは、追加の計算レイヤーなしに、通常のモデ
ルと同じように推論できる。
• 結果: 推論速度（レイテンシ）への悪影響は基本的にない。
• これは、推論時に追加層の計算が必要なアダプタ方式に対する
大きな利点。


# Page. 13

![Page Image](https://bcdn.docswell.com/page/5EGY923WEL.jpg)

LoRAの利点: 高い性能
• 利点③: 効率性と性能の両立
• LoRAは、パラメータ数を大幅に削減しながらも、モデルの性
能を高く維持できる。
• Huらの実験では、RoBERTa, DeBERTa, GPT-2, GPT-3など様
々なモデル・タスクにおいて、フルファインチューニングと同
等、あるいはそれを上回る精度を達成。
• 示唆: 低ランク適応というアプローチが、タスクに必要な情報
を効率的に捉えられていることを示している。


# Page. 14

![Page Image](https://bcdn.docswell.com/page/4JQMWP5Q7P.jpg)

PEFT手法の概要と比較対象
• 様々なPEFTアプローチ
• LoRA以外にも、パラメータ効率の良いファインチューニング
手法が存在する。
• 比較対象:
• フルファインチューニング: ベースライン。全パラメータを学習。
• アダプタ層 (Adapter Tuning): モデルの層間に小さな「アダプタ」モ
ジュールを挿入し、そこだけ学習。
• プレフィックスチューニング (Prefix-Tuning): 入力シーケンスの前に
学習可能な「プレフィックス」ベクトルを追加。
• LoRA: 重み行列の「変化分」を低ランク行列で近似。


# Page. 15

![Page Image](https://bcdn.docswell.com/page/K74VKY9YJ1.jpg)

PEFT手法比較: アダプタ層 vs LoRA
• アダプタ層 (Adapter Tuning) との比較
• アダプタ層:
• Transformerブロック内にボトルネック構造の小規模全結合層を追加
。
• 追加層のみ学習。パラメータ効率は良い。
• 欠点: 推論時に追加層の計算が必要となり、わずかに **遅延が増加**
する。
• LoRA:
• 重み行列自体に作用。追加の「層」ではない。
• 推論時にマージ可能で、遅延増加なし。
• 性能面でもアダプタを上回るケースが多いとされる。


# Page. 16

![Page Image](https://bcdn.docswell.com/page/LJ13X6KN7G.jpg)

PEFT手法比較: プレフィックスチューニ
ング vs LoRA
• プレフィックスチューニング (Prefix-Tuning) との比較
• プレフィックスチューニング:
• 入力の先頭に学習可能なベクトル列（ソフトプロンプト）を追加。
• モデルの重みは完全に凍結。学習パラメータは非常に少ない。
• 課題: モデルの挙動を間接的に制御するため、最適化が難しい場合があ
り、性能が不安定になることも。シーケンス長が実質的に伸びる。
• LoRA:
• モデルの重み更新を直接的に（ただし低ランク空間で）行う。
• 一般的に、プレフィックスチューニングより安定して高い性能を示し
やすい。


# Page. 17

![Page Image](https://bcdn.docswell.com/page/GJWPNWPM72.jpg)

LoRAの利点: モジュール性と共有
• LoRAがもたらす運用上のメリット: 軽量性とモジュール性
• 軽量な差分ファイル:
• 学習されたLoRAモジュール (A, B) は、数十MB程度の非常に小さなフ
ァイルサイズ。
• 例: Stable Diffusion (数GB) に対するLoRAは10MB〜100MB程度。
• タスクスイッチングの容易さ:
• 1つのベースモデルに対し、異なるタスク用のLoRAファイルを動的に
読み込み、切り替えることが可能。
• 巨大なモデル全体を再ロードする必要がない。
• 配布・管理の効率化: ベースモデルは1つ共有し、タスク固有の
LoRAファイルだけを配布・管理すれば良い。


# Page. 18

![Page Image](https://bcdn.docswell.com/page/4EZK35KME3.jpg)

LoRAの応用範囲: 言語モデルから画像生成へ
• LoRAの適用: LLMから画像生成モデルへ
• LoRAは元々LLM向けに開発されたが、その有効性から画像生
成モデル、特にStable Diffusion (SD)のような潜在拡散モデル
で広く使われている。
• 目的: 特定の画風、キャラクター、オブジェクトなどを効率的
に追加学習させる。


# Page. 19

![Page Image](https://bcdn.docswell.com/page/Y76QX9Q57V.jpg)

Stable DiffusionとLoRAの適用箇所
• Stable DiffusionにおけるLoRAの適用ポイント
• Stable Diffusionの構成要素: U-Net (画像生成コア), テキスト
エンコーダ (CLIPなど), VAE。
• キーコンポーネント: クロスアテンション層
• U-Net内に存在し、テキスト情報 (プロンプト) と画像特徴を結びつけ
る重要な役割。
• 例: 「猫」という単語と画像内の「猫」領域を関連付ける。
• LoRAの主な適用箇所: このクロスアテンション層内の線形変換
(WQ, WK, WV 行列) にLoRAモジュールを適用する。


# Page. 20

![Page Image](https://bcdn.docswell.com/page/G75RXNRGE4.jpg)

画像生成におけるLoRAのメリット (1)
• メリット①: 学習コストの大幅削減
• SDモデル全体 (数億パラメータ) を再学習する代わりに、LoRA
モジュール (数百万パラメータ、元の1%未満の場合も) のみを
学習。
• 結果:
• 個人ユーザーのGPU環境でも、SDのような大規模モデルのファインチ
ューニングが現実的に可能に。
• 学習時間の大幅な短縮。


# Page. 21

![Page Image](https://bcdn.docswell.com/page/9J2DX5DDJR.jpg)

画像生成におけるLoRAのメリット (2)
• メリット②: 高品質 &amp; 少量データでの学習
• 高品質な生成: LoRAで微調整しても、元のSDモデルに近い、
あるいはそれ以上の画質を維持できることが多い。
• 少量データでの適応:
• 驚くほど少ない枚数 (例:5〜10枚程度) の画像からでも、特定のキャラ
クターやスタイルを学習可能。
• DreamBooth (特定対象の学習技術) との組み合わせも効果的。
• データ準備のハードルが大幅に下がる。


# Page. 22

![Page Image](https://bcdn.docswell.com/page/DEY28K2MEM.jpg)

画像生成におけるLoRAのメリット (3)
• メリット③: 推論速度と運用の容易さ
• 推論速度: LoRAモジュールによる追加計算量はわずかなため、
画像生成速度への影響はほとんどない。
• 運用の容易さ:
• ベースのSDモデルをメモリにロードしておけば、LoRAファイル (スタ
イルやキャラ) を切り替えるだけで生成結果を変更可能。
• モデル全体の再起動が不要で、インタラクティブな利用やサービス提
供に有利。


# Page. 23

![Page Image](https://bcdn.docswell.com/page/VJN8QR8378.jpg)

LoRA + 画像生成 の活用例
• LoRAによる画像生成の広がり
• 研究: 高解像度化、欠損補完など特定タスクへのSDモデル特化
。
• ビジネス: ブランドイメージに合わせた画像生成、製品ビジュ
アル作成、パーソナライズド画像サービス。
• クリエイター: 自身の画風をLoRA化、作品制作の効率化・多様
化。
• コミュニティ: Hugging Face Diffusersでのサポート、Civitaiで
の無数のLoRA共有 (キャラ、スタイルなど)。
• LoRAは、プロンプトだけでは難しい独自スタイルの実現を可
能にする。


# Page. 24

![Page Image](https://bcdn.docswell.com/page/YE9KDMKPE3.jpg)

LoRAの限界: フルチューニングとの比較
• 課題①: 万能ではない？ フルチューニングとのトレードオフ
• LoRAは多くの場合フルFTに匹敵するが、タスクによっては差
が出ることも。
• 特に苦手な可能性: 事前学習データから大きく離れた、全く新
しい知識の獲得が要求されるタスク。
• 例: モデルが知らない専門分野のプログラミングコード生成などでは、
フルFTに劣る可能性が報告されている。
• トレードオフ:
• LoRA:新知識獲得量は限定的かもしれないが、元のモデルの知識（既
存能力）を壊しにくい（忘却が少ない）。
• フルFT:新知識獲得に強いが、元の知識を忘却しやすい。


# Page. 25

![Page Image](https://bcdn.docswell.com/page/GE8R3LRXJD.jpg)

LoRAの課題: ハイパーパラメータ選択
• 課題②: 最適な設定は？ ランクとα
• ランク r の選択:
• 性能とパラメータ数のトレードオフ。
• r が小さすぎると表現力不足、大きすぎると効率低下。
• 最適な r の選択は経験的に行われることが多い。
• 研究: タスクや層に応じて r を動的に調整する手法 (例: AdaLoRA)。
• スケーリング係数 α の選択:
• α/r の比率が重要だが、最適な値や理論的根拠はまだ研究途上。
• 学習安定化のための正規化手法なども提案されている (例: α/√r)。


# Page. 26

![Page Image](https://bcdn.docswell.com/page/LELKVLKNJR.jpg)

LoRAの進化と派生技術
• LoRAの進化: より賢く、より効率的に
• LoRA自体も改良が進んでいる。
• DoRA (Weight-Decomposed LoRA):
• 重み更新を「大きさ」と「方向」に分離して学習。
• LoRAよりも少ないパラメータ (低いランク) で同等以上の性能を発揮
する可能性。ランク選択への感度も低いとされる。
• QLoRA (Quantized LoRA):
• ベースモデルを低ビット (例: 4bit) に量子化し、メモリ使用量を劇的
に削減。
• その量子化モデルに対してLoRAでファインチューニング。
• 効果: 例えば65Bモデルを単一GPU (48GB) で学習可能に。性能は
16bitフル精度FTに匹敵。


# Page. 27

![Page Image](https://bcdn.docswell.com/page/4JM2GM2QJW.jpg)

LoRAの課題: 解釈性と安全性
• 課題③: 中身はどうなっている？ 解釈性と安全性
• モデル解釈性:
• LoRAモジュールが具体的にモデルのどの部分に、どのように影響を与
えているのか (例: 注意機構、特徴表現) の理解はまだ十分ではない。
• 内部挙動の可視化・説明は、信頼性向上やデバッグに重要。
• 安全性・ロバスト性:
• LoRAによるモデル改変が、予期せぬ挙動や脆弱性を生まないか。
• 悪意のある入力に対する耐性など、安全性評価の枠組みも必要。


# Page. 28

![Page Image](https://bcdn.docswell.com/page/PJRMZVMKE9.jpg)

LoRAの今後の展望
• LoRAの未来: さらなる発展と普及
• 自動化: 最適ランク r や適用層の自動選択技術の発展。
• ツール・エコシステム: Hugging Face PEFTライブラリなど、
LoRA利用を支援する環境のさらなる充実。
• 標準技術へ: 大規模モデルのカスタマイズにおける、デファク
トスタンダードとしての地位を確立していく可能性。
• 結論: LoRAとその派生技術は、計算資源の制約を乗り越え、AI
モデルの応用を加速させるための不可欠な技術であり続けるだ
ろう。


# Page. 29

![Page Image](https://bcdn.docswell.com/page/PEXV9ZV57X.jpg)

まとめ: LoRAのインパクト
• LoRA: 大規模モデルを、もっと身近に、もっと便利に
• LoRAは、大規模モデルのファインチューニングにおける **コ
ストと性能のトレードオフを劇的に改善** した革新的技術。
• キーポイント:
• 圧倒的なパラメータ効率:学習コストとストレージを大幅削減。
• 高い性能:フルファインチューニングに匹敵。
• 推論効率:追加の遅延なし。
• モジュール性:軽量な差分ファイルによる容易な管理・切り替え。
• 広範な応用:LLMから画像生成まで。
• 活発な研究開発:QLoRA, DoRAなど進化が継続。


