---
title: LLMを用いた住まい探しにおけるユーザ価値観の推定
tags:  #lifull #ai #llm #大規模言語モデル #研究開発  
author: [株式会社LIFULL](https://convert.docswell.com/user/LIFULL)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/GEWDPNM1J2.jpg?width=480
description: 2024年2月24日に開催された「第86回 Machine Learning 15minutes! Hybrid」にて発表した資料となります。  Machine Learning 15 minutes! は機械学習に関するLTを複数人で行い、最新の技術や機械学習のプラットフォーム状況などを共有、議論する場です。第86回ではLIFULLから【LLMを用いた住まい探しにおけるユーザ価値観の推定】と題して、不動産業界におけるLLMの活用に向けた研究の紹介をしました。
published: March 29, 24
canonical: https://convert.docswell.com/s/LIFULL/KYW3N4-2024-03-29-160847
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/GEWDPNM1J2.jpg)

2024.02.24｜第86回 Machine Learning 15minutes!
LLMを用いた住まい探しにおけるユーザ価値観の推定
LIFULL グループデータ本部データサイエンスグループ 岩﨑 悠紀
Copyright© LIFULL All Rights Reserved.


# Page. 2

![Page Image](https://bcdn.docswell.com/page/47ZGK3QXE3.jpg)

自己紹介
所属
LIFULL グループデータ本部
データサイエンスグループ（2022年入社）
関わっているプロジェクト
・機械学習を用いた物件の並び順最適化
岩﨑 悠紀
・LLMを用いたユーザ価値観の推定
興味のある分野
Yuki Iwasaki
・深層学習
・自然言語処理
趣味
バイク、釣り、ゲーム
Copyright© LIFULL All Rights Reserved.


# Page. 3

![Page Image](https://bcdn.docswell.com/page/YJ6YQX6P7V.jpg)

1．背景・目的
2．論文紹介
目次
3．LLMによる物件評価の予測
a. 絶対評価
b. 相対評価
4．まとめ
Copyright© LIFULL All Rights Reserved.


# Page. 4

![Page Image](https://bcdn.docswell.com/page/GJ5GRX6PJ4.jpg)

LLMを用いた住まい探しにおけるユーザ価値観の推定
背景
1. 近年、大規模言語モデル（LLM）が急速に普及している
2. 単なる言語モデルではなく、ユーザ行動のシミュレーションなどにも応用されている1,2
3. LIFULLにおいてもユーザの行動の理解は重要
→ サイト改善や推薦モデルの精度向上に利用できる（その他もたくさん）
LLMを利用して人間の行動を模倣させた
エージェント25体を同じ空間に配置。
その様子（動作・会話など）を観察している。
1: Generative Agents: Interactive Simulacra of Human Behavior, https://arxiv.org/pdf/2304.03442.pdf
2: When Large Language Model based Agent Meets User Behavior Analysis: A Novel User Simulation Paradigm, https://arxiv.org/pdf/2306.02552v2.pdf
Copyright© LIFULL All Rights Reserved.


# Page. 5

![Page Image](https://bcdn.docswell.com/page/LE3RPXQ675.jpg)

LLMを用いた住まい探しにおけるユーザ価値観の推定
目的
（LLMによるユーザ行動のシミュレーションを応用して）
「ユーザ行動・価値観を深く理解したクローン（デジタルクローン）」を作る
活用先：物件の推薦やサイト（UI/UX）改善などなど
↓ デジタルクローンを使ってユーザの価値観にあった物件を自動で検索＆推薦...！
LIFULL HOME’S
おすすめ物件
ユーザ
Copyright© LIFULL All Rights Reserved.
ユーザの好みの
物件検索
デジタルクローン


# Page. 6

![Page Image](https://bcdn.docswell.com/page/8EDYL29MEG.jpg)

LLMを用いた住まい探しにおけるユーザ価値観の推定
論文紹介：LLMを用いた自律的エージェントのサーベイ論文
LLMを用いた自律的エージェントの研究の多くは下
の4つの要素から構成されていると示されている。
Profile：人格・性格などを定義する
Memory：環境やエージェントの行動を記録する
Planning：複雑なタスクを分解する
Action：エージェントの決定を処理に変換する
A Survey on Large Language Model based Autonomous Agents, https://arxiv.org/pdf/2308.11432.pdf
Copyright© LIFULL All Rights Reserved.


# Page. 7

![Page Image](https://bcdn.docswell.com/page/V7P621ZQJ8.jpg)

LLMを用いた住まい探しにおけるユーザ価値観の推定
論文紹介：LLMを用いたユーザ行動のシミュレート
LLMを用いて特定の人間の性格・特徴などを模倣したエー
ジェントでシミュレートを行った研究。
エージェントの行動：
1. 見たい映画の検索・選択
2. 映画の感想を他のエージェントに共有
3. SNSで多数向けに映画の感想をポスト
この研究では各エージェントが模倣する性格・特徴などを
表にまとめ、それをもとにプロンプトを生成していた。（ユー
ザ行動のデータで同じようなことができるかも…？）
When Large Language Model based Agent Meets User Behavior Analysis: A Novel User Simulation Paradigm, https://arxiv.org/pdf/2306.02552v2.pdf
Copyright© LIFULL All Rights Reserved.


# Page. 8

![Page Image](https://bcdn.docswell.com/page/2JV3DYWPEQ.jpg)

LLMを用いた住まい探しにおけるユーザ価値観の推定
不動産業界でのユーザ行動のシミュレート
ただ、“「ユーザ行動・価値観を深く理解したクローン」を作る”といっても、
• そもそも不動産ドメインで同じこと（シミュレーション）が可能か？
• どんなデータが必要なのか？
• 何を評価すれば良いのか？
などわからない部分が多く、手探りの状態。
そのため、初めは実験の対象者を絞って身軽に探索していく。
〜 10 人（プロジェクト関係者）
イマココ
〜 100 人（実験協力者）
LIFULL HOME’S 全ユーザ
・不動産ドメインでの実現可能性
・実験環境の整備
・推薦などへの利用
・LLMで解けるタスクの設定
・デジタルクローンの精度評価・改善
・運用に向けたシステム設計・運用
・評価指標の選定
・システム化へ向けた実装の整備
・効果検証
・必要なデータの調査
Copyright© LIFULL All Rights Reserved.


# Page. 9

![Page Image](https://bcdn.docswell.com/page/5EG3Y9DQ7L.jpg)

LLMを用いた住まい探しにおけるユーザ価値観の推定
そもそも不動産ドメインでどんなタスクが解けそうか？
”ユーザ行動・価値観を深く理解しているか“というのは具体的には以下の方法で評価できる
1. 特定の物件に対して絶対的な評価が一致するか
2. 複数物件を比較した相対的な評価が一致するか
どちらも物件に対して“住みたいかどうか”の評価を行うが、
評価方法によってタスク／システム的な難易度が変わってくる。
Copyright© LIFULL All Rights Reserved.


# Page. 10

![Page Image](https://bcdn.docswell.com/page/4JQ5MW1W7P.jpg)

LLMを用いた住まい探しにおけるユーザ価値観の推定
LLMによる物件評価の予測（絶対評価）
まずは物件の評価を人間・LLMともに絶対評価（単一の物件での評価）を行い、
どの程度正しく予測できるかを試してみる。
入力は物件の紹介文、出力は物件の5段階評価（住みたいかどうかの観点）に設定。
物件の紹介文
人間
評価値：3
LLM
評価値：4
この物件は〇〇県〇〇
市にあり、月額賃料は〇
万円で、広さは..
人間の性格・特性
この人物は〇〇歳で、
〇〇県〇〇市に在住し
ており、年収は〇〇万円
です。家族構成は..
Copyright© LIFULL All Rights Reserved.


# Page. 11

![Page Image](https://bcdn.docswell.com/page/K749VKR1E1.jpg)

LLMを用いた住まい探しにおけるユーザ価値観の推定
LLMによる物件評価の予測（絶対評価）
（サンプル数は少ないが）この方法で実際に評価をしてみる
と、LLMの予測が特定の評価値に大きく偏ることがあった。
右の図はある被験者の予測結果を混同行列にまとめたも
のだが、LLMは5段階評価の2, 3を一度も出力することがな
かった。
→ そもそもタスクの難易度が高い？
予測した5段階評価値（横軸）は、 2, 3の出力が
一つもなく、主に 1, 4の出力に偏っている。
縦軸：人間がつけた 5段階評価値
横軸：予測した 5段階評価値
Copyright© LIFULL All Rights Reserved.


# Page. 12

![Page Image](https://bcdn.docswell.com/page/LJ1K3XQ57G.jpg)

LLMを用いた住まい探しにおけるユーザ価値観の推定
LLMによる物件評価の予測（相対評価）
次に物件の評価を人間・LLMともに相対評価（2つの物件の比較）を行ってみる。
相対評価では、2つの物件を比較し特定のグループ内での物件の相対的な順位を割り出す。
x N回（組み合わせ）
人間
物件Aの紹介文
この物件は〇〇県〇〇
市にあり、月額賃料は〇
万円で、広さは..
人間
物件B
物件A
物件D
LLM
人間の性格・特性
この人物は〇〇歳で、〇〇
県〇〇市に在住しており、年
収は〇〇万円です。家族構
成は..
Copyright© LIFULL All Rights Reserved.
物件E
並び順
物件Bの紹介文
この物件は〇〇県〇〇
市にあり、月額賃料は〇
万円で、広さは..
物件C
LLM
物件A
物件B
物件D
物件E
物件C


# Page. 13

![Page Image](https://bcdn.docswell.com/page/GJWDPNMW72.jpg)

LLMを用いた住まい探しにおけるユーザ価値観の推定
LLMによる物件評価の予測（相対評価）
相対評価では、混同行列をみると対角成分に近い部分が高い
値になっているため、人間の順位とLLMの順位が大きく外れて
はいないことがわかる。
→ タスクの難易度は低くなった？
ただ相対評価の大変なところは、絶対評価と比べて比較回数
が非常に多くなること。仮に1000件の相対評価を行いたいとき
は、約50万回の比較（つまりLLMの推論）が必要となってしま
う。
混同行列の対角成分に近い部分に多く集まっ
ている。
縦軸：人間がつけた 5段階の順位
横軸：予測した 5段階の順位
Copyright© LIFULL All Rights Reserved.


# Page. 14

![Page Image](https://bcdn.docswell.com/page/4EZGK3Q2J3.jpg)

LLMを用いた住まい探しにおけるユーザ価値観の推定
今後の課題
今の所、絶対評価／相対評価では精度と計算量のトレードオフがありそう。
そこで今後の動きとして以下の二つの方向性がある。
1.
絶対評価の精度を向上させる方向
→ プロンプトエンジニアリング、推論方法の工夫（段階的な推論など）
2.
相対評価の計算量を削減する方向
→ 比較する組み合わせの削減（冗長な組み合わせを省く、など）
絶対評価
・タスク難易度： 高
・システム難易度： 低
Copyright© LIFULL All Rights Reserved.
相対評価
・タスク難易度： 低
・システム難易度： 高


# Page. 15

![Page Image](https://bcdn.docswell.com/page/Y76YQXN6EV.jpg)

LLMを用いた住まい探しにおけるユーザ価値観の推定
まとめ
LIFULLのデータサイエンスグループではユーザ行動・価値観の理解のために
LLMを使った住まい探しにおけるユーザ価値観の推定を行っています。
● 気になったことがあればぜひ聞いてください！
● 内容に興味のある人はあとでぜひ話しましょう！
● 「こんなやり方もあるんじゃない？」みたいなアドバイスも大歓迎です！
Copyright© LIFULL All Rights Reserved.


# Page. 16

![Page Image](https://bcdn.docswell.com/page/G75GRX5574.jpg)

Copyright© LIFULL All Rights Reserved.


