---
title: 制御・状態推定のためのAI駆動ヒューマンインタフェース
tags:  #制御工学 #ai #大規模言語モデル #フィジカルai #ヒューマンインターフェース  
author: [Masaki Inoue](https://convert.docswell.com/user/minoue227)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/4EQY8L52JP.jpg?width=480
description: 2026年電子情報通信学会総合大会の依頼シンポジウムセッション「AIロボットとシステム数理」での講演スライドです。  講義の参考資料はこちらです。 ChatMPC（前半の内容） https://ieeexplore.ieee.org/document/10644846 https://arxiv.org/abs/2508.16913  Language-aided particle filter（後半の内容） https://www.sciencedirect.com/science/article/pii/S246860182600012X
published: March 10, 26
canonical: https://convert.docswell.com/s/minoue227/5DMD79-2026-03-10-150301
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/4EQY8L52JP.jpg)

制御・状態推定のためのAI駆動
ヒューマンインタフェース
慶應義塾大学
井上 正樹
minoue.z6@keio.jp
[AI-3] AIロボットとシステム数理
2026年電子情報通信学会総合大会
2026.3.10


# Page. 2

![Page Image](https://bcdn.docswell.com/page/KJ4W2D9P71.jpg)

研究室のミッション
4
人と繋がる制御システムにおいて
新たな理論・技術を開拓する
交通渋滞緩和へ
言語・視覚・触覚ナッジ
航空管制支援へ
インタラクティブ制御
生成AIの安全化へ
アライメント制御
農業環境管理へ
レコメンド制御


# Page. 3

![Page Image](https://bcdn.docswell.com/page/LE1YMZKX7G.jpg)

5
AIロボットとシステム数理
（制御工学）


# Page. 4

![Page Image](https://bcdn.docswell.com/page/GEWG39DKJ2.jpg)

制御工学：ものごとを思い通り操るための学問
同期制御
6
航空管制
電気機械系
アシスト制御
井上研での取り組み例
インフラ系
エネルギー管理
[E. Saad &amp; MI, IEEE TCST24], [Y. Miyaoka &amp; MI, ACC24], [S. Wada et al, J. Aircraft24], [MI et al, IEEE TSG21]など


# Page. 5

![Page Image](https://bcdn.docswell.com/page/47ZLV9GNJ3.jpg)

制御工学でのアプローチと強み
ほんの一例ですが…
スキルアップ
フィルタ
力
8
制御システムの構造（ブロック線図）
ドライバー
アクセル
ハンドル
安全化
フィルタ
アクセル
ハンドル
自動車
SMC25など (日立共研）
制御工学
✓ 目的に合わせたシステムの構造化と役割分担
✓ 限られた条件では強力な理論保証が可能
•
•
•
主にモデルベースのアプローチ
信号・データは構造化済み
安定性, 安全性, 可制御性などを保証
Ames, ECC19


# Page. 6

![Page Image](https://bcdn.docswell.com/page/YJ6W5KY9JV.jpg)

人工知能(AI)：知能を実現するための学問
デモ(Gemini)
“a female kid of 5 years old is talking her research
on AI at IEICE conference”
9
AIの物理・社会への活用へ
AI法 全面施行（2025.9.1）
人工知能基本計画⾻⼦（2025.11.21版）
「世界で最もAIを開発・活用しやすい国」を目指して
• 非構造化データの扱いも可能
• (生成ではなく)自然言語処理(NLP)技術に興味
• ヒューマンインターフェースへの活用
第２節AI開発力の戦略的強化：AIモデルとアプリを
組み合わせた多様なサービスの創出、AIとロボット
等を組み合わせたフィジカルAIの開発導⼊、
科学研究に広くAIを利活用するAI for Science等の
推進は⽇本の勝ち筋。


# Page. 7

![Page Image](https://bcdn.docswell.com/page/GJ5MYPGDJ4.jpg)

情報サービスから物理/社会システムへ
10
End-to-End のシステム設計へ
Turing, HPより
SayTap, 2023
SkillMimic-v2, 2025
Waabi, CVPR 24 Tutorial
Gemini Robotics ER1.5, 2025
• もっと多様な分野にも展開できるはず！(インフラも？)
• 信頼できる既存のシステム(資産)の活用？


# Page. 8

![Page Image](https://bcdn.docswell.com/page/LE3W53PQE5.jpg)

AIロボットとシステム数理（の井上の解釈）
11
本日の内容：
NLPに限定して人を含む制御システム設計
人の理解
スキルアップ
フィルタ
力
ドライバー
アクセル
ハンドル
安全化
フィルタ
アクセル
ハンドル
自動車
人の誘導
自動制御システム
本⽇の問い:
どこまでAIに任せるべきか？任せることができるか？


# Page. 9

![Page Image](https://bcdn.docswell.com/page/8EDKD4LW7G.jpg)

本⽇の内容
12
NLPに限定して人を含む制御システム設計
取り組み１：Language-aided Control1
人の言葉から選好や要望を推定できるのか？
そして如何に安全性を保障するのか？
M2宮岡
取り組み２：Language-aided State Estimation2
人の言葉をセンサとして活用できるか？
M1三好
1. ChatMPC，arXiv23, ACC24, arXiv25
2. Language-Aided Particle Filter, arXiv25, IFACSC26


# Page. 10

![Page Image](https://bcdn.docswell.com/page/V7PKXM2XJ8.jpg)

Human as a Supervisor
13
自動車
マツダ共研
「子供多いから気をつけて」
「A機とB機をもう少し広げたい」
航空管制
ENRI共研
「もう少しCPUリソース欲しい」
仮想ネットワークサービス
NTT共研
いかに人の選好や要望を
制御システムに反映させるか？


# Page. 11

![Page Image](https://bcdn.docswell.com/page/2JVVL9D3JQ.jpg)

制御のためのインタプリタ設計
制御対象（プラント）
チャット 𝒑
インタプリタ
ℋ
パラメータ 𝜃
制御器
ユーザ
観測 𝑧
操作 𝑢
制御対象
𝓒𝜽
制御器（コントローラ，最適制御）
𝜃∗
𝒫
状態 𝑥
目的関数：
ex.燃費重視か速応性重視か？
モデル
制約条件：
ex.安全マージンをどの程度とるか？
θ で目的関数，目標軌道，モデル，外乱(の推定値)，制御仕様を調整可能
インタプリタ設計
ユーザ𝓗のチャット情報から選好や要求を表現するパラメータ 𝜽∗ を推定せよ


# Page. 12

![Page Image](https://bcdn.docswell.com/page/5EGLXZYYJL.jpg)

関連研究：チャット駆動制御(インタプリタ含む)
15
➢NL Interface [Romano et al., IFAC Workshop 91]
• 語彙，構文，意味分析をもとに直接制御コマンド選択
➢ChatMPC [Miyaoka et al, arXiv23, ACC24他]
• 基盤モデルをもとに目標軌道や仕様調整
• 本発表で紹介☺
➢LanguageMPC [Sha et al, arXiv23]
• LLMをもとに目的関数調整
➢ChatSTL [Wang ICCAE 24]
• LLMをもとに時相論理(STL)生成
➢InstructMPC [Wu et al, arXiv25]
• LLMをもとに外乱推定
➢TransMPC [Wu et al, EAAI26]
• Transformer で ExplicitMPC 記述
[IFAC 91]
[Sha et al, arXiv23]


# Page. 13

![Page Image](https://bcdn.docswell.com/page/4JQY8LM67P.jpg)

古典的な構文ベースでのアプローチ
ex. 経路計画で安全マージンを調整したい
16
ロボット
➢構文に従ってユーザは仕様更新の指示を送る
目的地
ユーザー
1m
子供
大人
からは
2m
3m
以上は
離れて
近づいて
ください
︙
➢特殊な構文の理解を前提とした“人工”言語処理
➢構文を必ず守るプロ向けの技術
一般ユーザが気軽に使える技術？
⇒ テキスト埋め込みの登場


# Page. 14

![Page Image](https://bcdn.docswell.com/page/K74W2DVME1.jpg)

基盤モデルベースのアプローチ１
開発したモデルは公開済み 17
GitHub.com/Mya-Mya/ChatMPC
➢基盤モデルを活用した”お手軽”設計
プロンプト
基盤モデル
追加学習なし
分類器
1. 基盤モデル（LLMなど）
• 埋め込みベクトル
•
は超高次元（1000~など）
• ベクトル化で“いつも通りの”信号へ
• たとえば，Sentence BERTを利用
[N. Reimers &amp; I. Gurevych, EMNLP19]
フィルタ
パラメータ


# Page. 15

![Page Image](https://bcdn.docswell.com/page/LJ1YMZ3YEG.jpg)

基盤モデルベースのアプローチ２
開発したモデルは公開済み 18
GitHub.com/Mya-Mya/ChatMPC
➢基盤モデルを活用した”お手軽”設計
プロンプト
基盤モデル
追加学習なし
2. 分類器
フィルタ
分類器
𝜃[1] を減らす
パラメータ
𝜃[1] を増やす
• 指示ベクトル
• 意図するパラメータ要素の増減(や度合いも)を指示
• たとえば，SVMなどで実現
𝜃[2] を減らす
高次元空間での分類


# Page. 16

![Page Image](https://bcdn.docswell.com/page/GJWG39P172.jpg)

基盤モデルベースのアプローチ３
開発したモデルは公開済み 19
GitHub.com/Mya-Mya/ChatMPC
➢基盤モデルを活用した”お手軽”設計
プロンプト
基盤モデル
追加学習なし
3. フィルタ（LPFなど）
• 学習率
• 慣性の導入で更新の安定化
• 指示ベクトル
フィルタ
分類器
人間システム
ℋ
基盤モデル
パラメータ
分類器
人を含む簡易
実験結果
にパラメータ偏差の
符号勾配や量⼦化勾配が乗ると想定
セクタ条件？？？
[仁井&amp;井上，連合，2023]


# Page. 17

![Page Image](https://bcdn.docswell.com/page/4EZLV9KX73.jpg)

応用展開１：自動車の協調運転
[arXiv25など]
20
遠隔オペレータの指示を受ける自動運転車（非常時を想定）
•
•
シナリオ：物理センサの見落としをオペレータが発見して介入
プロンプト”an obstacle is present in the right frontal area.”
制約条件の自動生成
介⼊なし
ゴール
仮想での
障害物生成
介⼊あり
指示ポイント
スタート
コントローラの構造を
動的に変更
様々な応用例へ


# Page. 18

![Page Image](https://bcdn.docswell.com/page/Y76W5KQP7V.jpg)

応用展開２：航空管制 [飛行機シンポ23, 優秀発表賞など]
21
コントローラと管制管のインタラクティブな管理
直接指示のない
2の高度も調整
1の高度が降下
5を速く，6を遅く
しようとしている
コントローラ 𝓒𝜽
プロンプト
min 𝑱𝒃𝒍𝒐𝒄𝒌 + 𝝎𝑱𝒅𝒆𝒍𝒂𝒚
s.t. 𝑡Ƹ𝑖,𝑣 = 𝑓(𝑋i , ∆𝑣𝑖 , ∆ℎ𝑖 )
到着時間の予測
インターバル
相談1: “increase the gap between the flight 6
and the previous…”
相談2: “lower the max height of ip1 on the flight 1”
相談3: “lower the max height of ip1 on the flight 1”
速度&amp;高度制約
コントローラで最適性と安全性を担保
𝑡Ƹ𝑖+1 − 𝑡Ƹ𝑖 ≥ 𝑡min + 𝜟t
∆𝑣min ≤ ∆𝑣𝑖 ≤ ∆𝑣max
∆ℎmin ≤ ∆ℎ𝑖 ≤ ∆ℎmax
120秒のインターバル確保


# Page. 19

![Page Image](https://bcdn.docswell.com/page/G75MYPRP74.jpg)

応用展開３：仮想ネットワーク配置 [ICC25, arXiv26] 22
ユーザの要望を叶えるVM■配置と経路選択
②
①
コントローラ 𝓒𝜽
プロンプト
σ𝑢∈𝑈𝑠𝑒𝑟 𝑦𝑠𝑙 𝜙𝑠
+𝜖 ෍
ത
𝑙∈𝐿𝑖𝑛𝑘
𝜙
min max
𝑥,𝑦
෍ 𝑦𝑠𝑙 𝑇𝑙
𝑢∈𝑈𝑠𝑒𝑟 𝑙∈𝐿𝑖𝑛𝑘
s.t. ෍
𝑢∈𝑈𝑠𝑒𝑟
෍
𝑙∈𝐿𝑖𝑛𝑘
③
𝑥𝑢𝑑 𝜽𝝃 ≤ 𝜉𝑑 , ∀𝑑 ∈ 𝐷𝑎𝑡𝑎𝑐𝑒𝑛𝑡𝑒𝑟
𝑦𝑢𝑙 𝑇𝑙 ≤ 𝜽𝑻 , ∀𝑢 ∈ 𝑈𝑠𝑒𝑟
User 1: “Please reduce the latency, please”
User 2: “I would like to have lower latency network”
User 3: “Get more CPUs, please.”
下流のコントローラで最適性と実行可能性を担保


# Page. 20

![Page Image](https://bcdn.docswell.com/page/9J29G6DZER.jpg)

23
数理的な解析？


# Page. 21

![Page Image](https://bcdn.docswell.com/page/DEY4V92NJM.jpg)

インタプリタ(再掲)と更新アルゴリズム
➢インタプリタ(再掲)：
➢仮定：合理的なユーザ＆完全な２値インタプリタ
• パラメータ更新則は符号勾配を含むダイナミクス
➢学習率の設計：
•
は正数（&lt; 1）
• 符号が変わった要素のみ学習率を下げる
24


# Page. 22

![Page Image](https://bcdn.docswell.com/page/VJNYML8V78.jpg)

チャットループの収束性解析（１次元の場合）
➢定理：真のパラメータへの指数収束
•
は正数，
➢系：チャット回数の見積もり
• 許容誤差
に収まるまでのチャット回数の上限
その他，確率的なユーザの誤解/翻訳誤差のもとでの解析も…
25


# Page. 23

![Page Image](https://bcdn.docswell.com/page/YE9PN4KVJ3.jpg)

Language-aided Control まとめ
➢ 自然言語形式での要求から制御システムの再構成
✓ 基盤モデルを活用した要求の構造化
✓ 非専門家による制御システムのパーソナライゼーションを可能に
✓ ドライバー支援，オペレータ支援，ユーザ支援などへ広く応用可能
➢ さらなる展開に向けて課題
? 今回はAIの活用を分類タスクに制限。非自明なAIの活用法は？
（安心だけど勿体ない…）
? デコーダを活用してインタラクティブなシステム再構成
26


# Page. 24

![Page Image](https://bcdn.docswell.com/page/GE8DKQR4ED.jpg)

本⽇の内容
27
NLPに限定して人を含む制御システム設計
取り組み１：Language-aided Control1
人の言葉から選好や要望を推定できるのか？
そして如何に安全性を保障するのか？
M2宮岡
取り組み２：Language-aided State Estimation2
人の言葉をセンサとして活用できるか？
M1三好
1. ChatMPC，arXiv23, ACC24, arXiv25
2. Language-Aided Particle Filter, arXiv25, IFACSC26


# Page. 25

![Page Image](https://bcdn.docswell.com/page/LELMZXKV7R.jpg)

Human as a Sensor
28
ちょっと水少ないなあ…
なんか振動強いなあ…
ちょっと風強いなあ…
道めっちゃ混んでる…
人の言葉には物理状態の情報が含まれている！


# Page. 26

![Page Image](https://bcdn.docswell.com/page/4JMYVL2NJW.jpg)

問題設定：人センサによる状態推定 [arXiv25, IFACSC26] 29
物理モデルと自然言語での観測を用いた状態推定
確率
物理システム 𝒫
人センサ 𝒮H
状態
𝑥𝑘
少ない
観測
テキスト
𝑠𝑘
パーティクル
フィルタ
𝑥𝑘
推定分布
𝜋 𝑥𝑘 | 𝑠1:𝑘
問題
・物理システム 𝒫 のモデルは既知とする
・観測テキスト列 𝑠1:𝑘 から 推定分布 𝜋 𝑥𝑘 𝑠1:𝑘 ) を求めよ
Point：観測テキスト 𝑠𝑘 の構造化


# Page. 27

![Page Image](https://bcdn.docswell.com/page/PJR92KM479.jpg)

パーティクルフィルタによるアプローチ
概要
・状態推定として，状態 𝑥𝑘 の確率分布 を計算する手法
30
確率
𝑥𝑘
・過去の観測時系列 𝑠1:𝑘 を踏まえた 確率分布 𝜋 𝑥𝑘 | 𝑠1:𝑘 を出力
手順
予測ステップ：前時刻の分布から予測 𝜋 𝑥𝑘−1 | 𝑠1:𝑘−1 → 𝜋 𝑥𝑘 | 𝑠1:𝑘−1
・物理モデルにより更新
更新ステップ：新たな観測 𝑠𝑘 による更新 𝜋 𝑥𝑘 | 𝑠1:𝑘−1 → 𝜋 𝑥𝑘 | 𝑠1:𝑘
・尤度 𝑝 𝑠𝑘 | 𝑥𝑘 により更新


# Page. 28

![Page Image](https://bcdn.docswell.com/page/PEXQDLVZJX.jpg)

尤度 𝒑 𝒔𝒌 | 𝒙𝒌 の 計算
31
・状態𝒙𝒌 のもとで観測テキスト 𝑠𝑘 が得られる確率
𝑚
𝑗
𝑗
𝑝 𝑠𝑘 | 𝑥𝑘 ∝ ෍ 𝑝 𝑞𝑘 | 𝑠𝑘 𝑝 𝑞𝑘 | 𝑥𝑘
ｍ段階で量⼦化
𝑗=1
・観測テキスト 𝑠𝑘 が得られたときに 量子ラベル が 𝑞𝑘 である確率
・基盤モデル を用いた 分類器 を訓練
確率
𝑝 𝑞𝑘 | 𝑠𝑘
少し少なめ
Text
Encoder
観測テキスト
𝑠𝑘
𝑑: 700~
Neural
Network
テキスト
埋め込み
𝑒𝑘 ∈ ℝ𝑑
Softmax
特徴量
𝜓𝑘 ∈ ℝ𝑚
⋯
1 2 3 ⋯ 𝑚 𝑞𝑘
確率分布
𝑝 𝑞𝑘 | 𝑠𝑘


# Page. 29

![Page Image](https://bcdn.docswell.com/page/3EK9XLQVED.jpg)

数値実験１：灌漑用水の水位推定
実験内容
・灌漑用水の水位推定
・使用するセンサ は 人センサ のみ
イメージ図（灌漑用水, 北名古屋市）
32


# Page. 30

![Page Image](https://bcdn.docswell.com/page/L73W53KQ75.jpg)

クラウドソーシングを活用したデータセット構築
アンケート実施
Yahoo! クラウドソーシング
【概要】
川の水位 に 対する
SNS投稿文 の 収集
【問題例】
水位 10% のとき
なんて呟く？
水位 0, 2, ... , 100%
それぞれ 50 名
データセット構築
4%
水からから
水からから
46%
水からから
水からから
96%
水からから
水からから
水からから
平穏無事
怖すぎる
2454 組 のデータセット
33


# Page. 31

![Page Image](https://bcdn.docswell.com/page/87DKD43WJG.jpg)

数値実験１：実験結果
34
提案法
1. 観測更新なし（モデルベースの状態予測のみ）
2. 先行：External DNN-based Particle Filter [*の拡張]
➢比較方法
観測テキスト
𝑠𝑘
External
DNN
認知値の推定値
𝑦෤H,𝑘
確定値へ変換
（先行）
（提案）
Particle Filter
推定分布
𝜋 𝑥𝑘 | 𝑦෤H,1:𝑘
尤度 𝑝 𝑦෤H,𝑘 ∣ 𝑥𝑘 の 計算
提案法のメリット
• 観測テキストの曖昧さを残すことの価値
• “方言”などサンプルの少ないデータに対して
ロバストに状態推定可能
* [N. Shlezinger et al, IEEE Signal Processing Magazine, 2025]


# Page. 32

![Page Image](https://bcdn.docswell.com/page/VJPKXM4XE8.jpg)

まとめ
39
➢ 自然言語処理(NLP)技術の制御分野への導⼊
✓ ChatMPC1
• 人の選好・意図を制御システムに反映させる仕組み
• Human as a Supervisor
? 次の興味：LLMの汎用知識の導⼊？
✓ Language-Aided Particle Filter2
• 人の観測を物理状態の推定に活用する仕組み
• Human as a Sensor
? 次の興味：“心理”状態の推定？
M2宮岡
M1三好
問い：どこまでAIに任せるべきか？任せることができるか？
1. ChatMPC，arXiv23, ACC24, arXiv25
2. Language-Aided Particle Filter, arXiv25, IFACSC26


# Page. 33

![Page Image](https://bcdn.docswell.com/page/2EVVL9X3EQ.jpg)

様々な展望
1. 階層構造から並列構造へ？
• 苦言も呈するバディAI（JSAI25 基調講演より）
• Teamingに向けて時間スケールの一致
• Upskilling/Reskillingのための弱いアシスト
[日立共同研究: SMC25, JCMSI26]
2. AI規制や社会規範の変化に対して？
• 特定の基盤モデル依存の危険性
• 外付け機構によるアライメント
• Small モデルで Large 基盤モデルの制御
•
•
•
Aligner [NeurIPS24]
InferAligner [EMNLP24]
CBF-LLM [arXiv24, arXiv25, IEEE TCST26]
40
指示をこなすだけ？
対等な関係へ？


