---
title: 【大規模言語モデル入門Ⅱ】 12章12..2~12.3
tags: 
author: [京都大学人工知能研究会KaiRA](https://convert.docswell.com/user/kyoto-kaira)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/GEWPZ862J2.jpg?width=480
description: 【大規模言語モデル入門Ⅱ】 12章12..2~12.3 by 京都大学人工知能研究会KaiRA
published: December 26, 24
canonical: https://convert.docswell.com/s/kyoto-kaira/5QR2Q3-2024-12-26-203447
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/GEWPZ862J2.jpg)

2024年度後期輪読会
第11回 [LLM]
第12章 選好チューニング（.2~.3）
京都大学理学部 １回
ALAWIK Abdourrahman
0


# Page. 2

![Page Image](https://bcdn.docswell.com/page/47ZK18Y473.jpg)

12.2 選好チューニングの実装
1


# Page. 3

![Page Image](https://bcdn.docswell.com/page/YJ6QLPDGJV.jpg)

アジェンダ
◼ 環境の準備
◼ データセットの準備
◼ モデルの準備
◼ 学習設定
◼ 訓練の実行
◼ モデルの保存
2


# Page. 4

![Page Image](https://bcdn.docswell.com/page/GJ5R1K3X74.jpg)

アジェンダ
◼ 環境の準備
◼ データセットの準備
◼ モデルの準備
◼ 学習設定
◼ 訓練の実行
◼ モデルの保存
3


# Page. 5

![Page Image](https://bcdn.docswell.com/page/9E2D1WZQER.jpg)

環境の準備
TRLライブラリを用いる
4


# Page. 6

![Page Image](https://bcdn.docswell.com/page/D7Y2ZLRY7M.jpg)

アジェンダ
◼ 環境の準備
◼ データセットの準備
◼ モデルの準備
◼ 学習設定
◼ 訓練の実行
◼ モデルの保存
5


# Page. 7

![Page Image](https://bcdn.docswell.com/page/VEN834DRJ8.jpg)

データセットの準備
選好データセット
ALERTのデータセットを和訳したもの
安全性の評価のベンチマーク
注：OpenAIで作成されたので、研究目的のみで使用しましょう！
6


# Page. 8

![Page Image](https://bcdn.docswell.com/page/Y79K9QGZ73.jpg)

データセットの準備
カテゴリー：「ヘイトスピーチ・差別」、「自殺・自傷行為」、「銃器・違法武器」、
「犯罪行為」、「性的なコンテンツ」、「酒類・タバコ・規制薬物」
32小カテゴリ
7


# Page. 9

![Page Image](https://bcdn.docswell.com/page/G78R9G8YED.jpg)

データセットの準備
8


# Page. 10

![Page Image](https://bcdn.docswell.com/page/L7LKWGR9ER.jpg)

データセットの準備
DPOTrainerに取り込める形式に変える
• “prompt”：LLMの入力の文字列
• “chosen”：好ましい出力（確率を高くしたい）
• “rejected”：好ましくない出力（確率を低くしたい）
対話の終端を”&lt;/s&gt;”によって明示する
9


# Page. 11

![Page Image](https://bcdn.docswell.com/page/4EM29QRVEW.jpg)

データセットの準備
トークナイザを初期化した上、convert_to_dpoをデータセットに適応
10


# Page. 12

![Page Image](https://bcdn.docswell.com/page/PERMG8RW79.jpg)

データの準備
11


# Page. 13

![Page Image](https://bcdn.docswell.com/page/P7XVX8RVJX.jpg)

データセットの準備
訓練セットと検証セットに分割
12


# Page. 14

![Page Image](https://bcdn.docswell.com/page/37KQWKR57D.jpg)

アジェンダ
◼ 環境の準備
◼ データセットの準備
◼ モデルの準備
◼ 学習設定
◼ 訓練の実行
◼ モデルの保存
13


# Page. 15

![Page Image](https://bcdn.docswell.com/page/LJ3P1Z8175.jpg)

モデルの準備
AutoModelForCausalLMでモデルを初期化
BytesAndBytesConfigで量子化する
14


# Page. 16

![Page Image](https://bcdn.docswell.com/page/8JDLXRMK7G.jpg)

モデルの準備
予測の関数を定義する
15


# Page. 17

![Page Image](https://bcdn.docswell.com/page/VEP2PWR3E8.jpg)

モデルの準備
現在の挙動を確認する
16


# Page. 18

![Page Image](https://bcdn.docswell.com/page/27VD28RN7Q.jpg)

アジェンダ
◼ 環境の準備
◼ データセットの準備
◼ モデルの準備
◼ 学習設定
◼ 訓練の実行
◼ モデルの保存
17


# Page. 19

![Page Image](https://bcdn.docswell.com/page/5JGYR5M5JL.jpg)

学習設定
必要なライブラリを用意する
• TRLのDPO
• PEFTのLoRA
18


# Page. 20

![Page Image](https://bcdn.docswell.com/page/47QMVZRLEP.jpg)

学習設定
LoRAパラメータの設定
19


# Page. 21

![Page Image](https://bcdn.docswell.com/page/KE4VM38571.jpg)

学習設定
学習パラメータ
注：Colabの無料版T4を利用
しているなど、RAMに制限がある場合、
バッチサイズ・ステップ数・最大系列長
を小さくする：
max_steps=30
per_device_train_batch_size=1
per_device_eval_batch_size=2
gradient_accumulation_steps=16
save_steps=10
max_prompt_length=256
max_length=512
20


# Page. 22

![Page Image](https://bcdn.docswell.com/page/L7138122EG.jpg)

学習設定
DPOTrainerの準備
21


# Page. 23

![Page Image](https://bcdn.docswell.com/page/G7WPZ8R2E2.jpg)

アジェンダ
◼ 環境の準備
◼ データセットの準備
◼ モデルの準備
◼ 学習設定
◼ 訓練の実行
◼ モデルの保存
22


# Page. 24

![Page Image](https://bcdn.docswell.com/page/4JZK18R4J3.jpg)

訓練の実行
コラボのT4ではちょうど１時間
Rewards/chosen：好ましい応答（chosen）に与えられた暗示的報酬：𝛽 log
𝜋𝜙 (𝑦 + |𝑥)
𝜋𝜙𝑟𝑒𝑓 (𝑦 + |𝑥)
Rewards/chosen：好ましくない応答（chosen）に与えられた暗示的報酬：𝛽 log
𝜋𝜙 (𝑦 − |𝑥)
𝜋𝜙𝑟𝑒𝑓 (𝑦 − |𝑥)
Rewards/accuracies：chosenとrejectedのうち、chosenにより高い暗示的報酬が与えられた割合
Rewards/margins：chosenとrejectedに与えられた暗示的報酬の差の平均
23


# Page. 25

![Page Image](https://bcdn.docswell.com/page/YE6QLPRGEV.jpg)

訓練の実行
訓練後の様子を確認しましょう
24


# Page. 26

![Page Image](https://bcdn.docswell.com/page/GE5R1K8XJ4.jpg)

アジェンダ
◼ 環境の準備
◼ データセットの準備
◼ モデルの準備
◼ 学習設定
◼ 訓練の実行
◼ モデルの保存
25


# Page. 27

![Page Image](https://bcdn.docswell.com/page/972D1WKQ7R.jpg)

モデルの保存
HuggingFaceHubにログイン
26


# Page. 28

![Page Image](https://bcdn.docswell.com/page/DJY2ZLNYJM.jpg)

補足：HuggingFaceのトーケンの作り方
https://huggingface.co/settings/tokens
！！！
”create token”を押して現れた画面のトーケンは
必ずコピーして保存する！
二度とは表示できない！
！！！
27


# Page. 29

![Page Image](https://bcdn.docswell.com/page/V7N834XRE8.jpg)

モデルの保存
28


# Page. 30

![Page Image](https://bcdn.docswell.com/page/YJ9K9Q8ZJ3.jpg)

12.３ 選好チューニングの評価
29


# Page. 31

![Page Image](https://bcdn.docswell.com/page/GJ8R9GZY7D.jpg)

アジェンダ
◼ 環境の準備
◼ モデルの動作確認
◼ 指示追従性能の評価
◼ 安全性の評価
30


# Page. 32

![Page Image](https://bcdn.docswell.com/page/LJLKWGD97R.jpg)

アジェンダ
◼ 環境の準備
◼ モデルの動作確認
◼ 指示追従性能の評価
◼ 安全性の評価
31


# Page. 33

![Page Image](https://bcdn.docswell.com/page/47M29QPV7W.jpg)

環境の準備
OpenAIのAPIを使用する
32


# Page. 34

![Page Image](https://bcdn.docswell.com/page/P7RMG81WJ9.jpg)

アジェンダ
◼ 環境の準備
◼ モデルの動作確認
◼ 指示追従性能の評価
◼ 安全性の評価
33


# Page. 35

![Page Image](https://bcdn.docswell.com/page/PJXVX8YVEX.jpg)

モデルの動作確認
筆者がアップロードした、学習済みのモデル
34


# Page. 36

![Page Image](https://bcdn.docswell.com/page/3JKQWK35JD.jpg)

モデルの動作確認
35


# Page. 37

![Page Image](https://bcdn.docswell.com/page/LE3P1ZG1J5.jpg)

アジェンダ
◼ 環境の準備
◼ モデルの動作確認
◼ 指示追従性能の評価
◼ 安全性の評価
36


# Page. 38

![Page Image](https://bcdn.docswell.com/page/8EDLXR1KJG.jpg)

指示追従性能の評価
Japanese Vicuna QA benchmarkを使用して応答生成を確認
37


# Page. 39

![Page Image](https://bcdn.docswell.com/page/V7P2PWQ378.jpg)

指示追従性能の評価
総合スコア
38


# Page. 40

![Page Image](https://bcdn.docswell.com/page/2JVD285NJQ.jpg)

指示追従性能の評価
低くなったスコア
39


# Page. 41

![Page Image](https://bcdn.docswell.com/page/5EGYR565EL.jpg)

指示追従性能の評価
高くなったスコア
答えが長くなったことが原因と考えられる
40


# Page. 42

![Page Image](https://bcdn.docswell.com/page/4JQMVZ4L7P.jpg)

アジェンダ
◼ 環境の準備
◼ モデルの動作確認
◼ 指示追従性能の評価
◼ 安全性の評価
41


# Page. 43

![Page Image](https://bcdn.docswell.com/page/K74VM3Q5J1.jpg)

安全性の評価
42


# Page. 44

![Page Image](https://bcdn.docswell.com/page/LJ1381P27G.jpg)

安全性の評価
自動評価の結果
43


# Page. 45

![Page Image](https://bcdn.docswell.com/page/GJWPZ82272.jpg)

44


