---
title: 【DL輪読会】Who Reasons in the Large Language Models？
tags: 
author: [Deep Learning JP](https://convert.docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/Y76W5PV97V.jpg?width=480
description: 【DL輪読会】Who Reasons in the Large Language Models？ by Deep Learning JP
published: March 05, 26
canonical: https://convert.docswell.com/s/DeepLearning2023/ZX2132-2026-03-10-141733
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/Y76W5PV97V.jpg)

DEEP LEARNING JP ”Who Reasons in the Large Language Models?”
[DL Papers]
Kensuke Wakasugi, Panasonic Holdings Corporation.
http://deeplearning.jp/
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/G75MYKDD74.jpg)

書誌情報
◼ タイトル：
Who Reasons in the Large Language Models?
◼ 著者：Jie Shao Jianxin Wu∗
◼ 所属：南京大学
◼ 出典：NeurIPS 2025 poster
https://openreview.net/pdf?id=XIqlxqNDCL
◼ 選書理由
• LLMの推論能力が、どの構成要素で獲得されるのか、に興味があったため。
• 主要な構成箇所が局所的であれば、追加学習の効率化に期待。
特に記載がない限り、本資料の図表は上記論文からの引用です
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/9J29G6MMER.jpg)

背景
LLMの推論能力はどこで獲得されているのか？
• 大規模言語モデル（LLM）の発展が著しいが、
数学的推論のような能力が、どこでどのように獲得されているか？
• 強化学習や教師ありファインチューニング（SFT）で推論能力が獲得できるが、
そのメカニズムは不明である。
DeepSeek-R1より引用
[2501.12948] DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
Guo, D., Yang, D., Zhang, H., Song, J., Wang, P., Zhu, Q., ... &amp; He,Y. (2025). Deepseek-r1: Incentivizing
reasoning capability in llms via reinforcement learning. arXiv preprint arXiv:2501.12948.
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/DEY4V9XPJM.jpg)

推論メカニズムの仮説
特定のモジュールが推論能力を担うと仮定して、調査
• ケース1：推論能力はLLM全体に由来
• ケース2：特定のモジュール
• ケース3（最悪の場合）：実は錯覚であり、過学習の結果
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/VJNYML1M78.jpg)

Stethoscope for Networks（SfN）
ファインチューン前後のLLMの重みの変化から、重要モジュールを推定
聴診器
ChatとReasoning
を別の箇所が担当？
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/YE9PN45WJ3.jpg)

解析対象と記法
マルチヘッド自己注意モジュールと多層パーセプトロンの重みを解析
アーキテクチャ：
MHSAに関わる重み： q_proj, k_proj, v_proj, o_proj
MLPに関わる重み：up_proj, down_proj, gate_proj
※残差接続は省略
※回転位置埋め込み（RoPE）、入力埋め込み
（embed_tokens）、レイヤ正規化（layernorm）［4］、
および言語モデルヘッド（lm_head）などもある
比較モデル：
ベースモデルA：Qwen2.5-Math-1.5B、7B、14B、32B
推論モデルB：DeepSeek-R1-Distill-Qwen-1.5B、7B、14B、32B
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/GE8DKQYRED.jpg)

Delta Stethoscope
学習前後でo_projが最も変化
←下記を可視化
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/LELMZX427R.jpg)

推論能力に関する仮説
出力射影 o_proj が推論能力形成に重要か？
←下記を可視化
o_projのみ
非ゼロに２ピーク
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/4JMYVLK9JW.jpg)

Merge Stethoscope
部分置換した際の、会話推論能力を比較
タスク設定
A = Qwen2.5-Math-1.5B
B = DeepSeek-R1-Distill-Qwen-1.5B
モデルAに対し、モデルBのo_projモジュール
のみを置換して、その推論能力を測る
評価基準（右図）
• レベルI：ランダム、意味をなさない
• レベルII：文法的〇、文脈×
• レベルIII：文脈〇、推論×
• レベルIV：推論〇
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/PJR92KX979.jpg)

評価結果
ファインチューニングなしでも、 o_projのみの置換で推論能力獲得
結果
o_projのみの置換で、モデルB相当の能力に
トークン数も増加（適切な推論過程を生成）
o_projの重要性を示唆
なお、大きいモデル（7B以上）の場合、あまり
性能向上しなかった
これはLayerNormの正規化パラメータの互換
性に起因すると推測
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/PEXQDL63JX.jpg)

Merge Stethoscopeの出力結果
M1において、適切な推論過程を経て正しい答えを出力
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/3EK9XL1NED.jpg)

Freeze Stethoscope
o_proj とLayerNormのみの更新でも推論能力を獲得
タスク設定
ベースモデル A：Qwen2.5-32B-Instruct
データセット D：高品質なデータ1,000件
モデルFを、Aで初期化しo_proj とLayerNormのみを更新。
※入力埋め込み（embed_tokens） と 言語モデルヘッド（lm_head）も更新
※学習方法はs1 ［25］に準拠
性能と、学習コストを踏まえると、
o_proj とLayerNormのみを更新
が最も良い
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/L73W53QZ75.jpg)

Destruction Stethoscope
o_projを破壊しても会話能力は維持
タスク設定
• モデル：Qwen2.5-32B with 64 layers
※他をいじるとすべてIになるため
• 破壊操作（Layer5-30が対象）
• Zero：パラメータを0に
• ReInit：Gauss(0,0.02)で再初期化
• Remove：モジュールを削除
評価基準（右図）
• レベルI：ランダム、意味をなさない
• レベルII：文法的〇、文脈×
• レベルIII：文脈〇、推論×
• レベルIV：推論〇
v_proj, o_projが破壊されても、
会話能力は維持。
※統計値ではないので、その点は注意
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/87DKD494JG.jpg)

結果を踏まえた推測
モジュールごとの機能分担と、プラグインの可能性を示唆
• 推測1： 役割分担
• LLMは大まかに2種類のモジュール集合に分けられる。
• 出力射影（o_proj）：主に推論を担う
• それ以外：主に会話能力を担う
• 推測2：出力射影プラグイン
• 出力射影はプラグインのように振る舞う可能性がある。
• 例えば、推論用のo_proj、特定ドメイン適応向けo_proj、といった形で、
目的に応じて切り替えられる可能性がある
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/VJPKXMZVE8.jpg)

応用可能性
本研究の洞察から、以下のような応用が考えられる
• 高速かつ高性能な推論LLM
• 出力射影（o_proj）のみをファインチューニングすることで、
効率的に推論LLMを構築
• 非推論LLMと推論LLMの統合
• 推論モジュールは以下から構成（全体の約10%程度）
•
出力射影（o_proj）、LayerNorm、embed_tokens、lm_head
• よって、対話/推論を切り替える運用が可能に
• 垂直型（ドメイン特化）LLM
• 同じベースモデルを基に、数学、法律、医療、科学技術などの推論モジュールを組合せ
効率的に特化型LLMを構築
• 深層ニューラルネットワーク理解への応用
• Stethoscope for Networks（SfN）を、
深層ニューラルネットワークの理解のための診断ツールとして利用
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/2EVVL9WREQ.jpg)

結論
o_projが推論の中心的役割を担い、置換可能性も示唆
• どのコンポーネントが推論能力の向上を担っているのかを明らかにする試みを行った
• 出力射影（o_proj）モジュールが、推論能力の中心と推測
• Delta/Merge/Freeze/Destruction Stethoscopeによる解析を通じ、
o_proj は推論、その他は会話に重要であることを示唆
• 効率的なモジュール化されたLLMの学習への応用に期待
残課題：
• アーキテクチャやタスクに関する横断的解析。
• 一部定性評価の統計的解析
• 出力射影が推論を担えるのかという理論的説明
16


