---
title: Azure IoTからのセンシングデータをXRで活用するには
tags:  #mrtk3 #mixed reality #iot  
author: [Miyaura](https://convert.docswell.com/user/m-taka596)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/L71V1K9ZJG.jpg?width=480
description: エッジAI入門＆活用シリーズ#4『Azure IoTサービス』編(https://algyan.connpass.com/event/265438/)登壇資料。Azure IoT Hubを利用して情報をクラウドに集約しXRデバイス（HoloLens 2やMeta Quest Pro）で可視化。今回は自宅のエアコンからEchonet-LITE使って情報収集し、それをAzure IoT Hubへ送信。テレメトリ情報はSignal Rを経由して「HoloLens 2では、現実のエアコンの稼働状況を可視化」、「Meta Quest Proでは、俯瞰視点でVR空間内で可視化」を実験してみました。
published: November 28, 22
canonical: https://convert.docswell.com/s/m-taka596/ZNWXVZ-ALGYAN_IoTDataVisualizeXRDevices-20221128
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/L71V1K9ZJG.jpg)

Azure IoTからのセンシングデータを
XRで活用するには
2022/11
ALGYAN
エッジAI入門＆活用シリーズ#4『Azure IoTサービス』編
takabrz1
Takahiro Miyaura


# Page. 2

![Page Image](https://bcdn.docswell.com/page/G7WL8DQ6J2.jpg)

Microsoft MVP for Mixed Reality 2018-2023
某会社でSE(アプリケーション領域のアーキテクト的なお仕事なはず）＝ XRは趣味です（貢献領域：Mixed Reality）
宮浦 恭弘
(Miyaura Takahiro)
◼ 大阪駆動開発(とHolomagicians)コミュニティに生息
◼ HoloLens日本販売してからxR系技術に取組む
◼最近はMixed Reality Toolkit 3と戯れている。
◼ 新しい技術や、MRに使えそうな技術を調べる
技術Tips : https://qiita.com/miyaura
@takabrz1
※よかったらこれを機にお知り合いになってください


# Page. 3

![Page Image](https://bcdn.docswell.com/page/4JZM8GWR73.jpg)

タイトルについて
Azure IoTからのセンシングデータをXRで活用するには
相性がいい技術の１つだと思います。
2022/11/28
Copyright © 2022 Takahiro Miyaura
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/YE6NPYG1EV.jpg)

少しだけ前振り
2022/11/28
Copyright © 2022 Takahiro Miyaura
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/GE55KGVLE4.jpg)

Microsoft Ignite 2022での一幕
○ 開発者向けテクニカルカンファレンス
○ 10月13日から14日（日本時間）の2日間にかけて開催
○ 今年はリアルイベントとオンラインイベントのハイブリッド開催の形式
○ アーカイブで振り返ることができます
2022/11/28
Copyright © 2022 Takahiro Miyaura
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/972NWY33JR.jpg)

Microsoft Igniteで語られていたMetaverse
Industrial Metaverse
デジタル環境を活用し現実世界でより良い結果を生み出す
Digital Twinsにより
デジタル⇔現実のフィードバックループを構築
○ Design
✓
新しい製品をどのように設計するか
○ Build
✓
新しい製品をどのように作るか
○ Operate
✓
作る前、動かす前に、クラウド上で無限にシミュレーションすることができれば、より良い製品を
より効果的に、より効率的に作ることができる
2022/11/28
Copyright © 2022 Takahiro Miyaura
産業用メタバースの力を活用した環境、サプライ
チェーン、物流業務全般をどのように運営するか
明確には言われていないが、このフィードバックループを
実現するインタフェースとしてXRの存在を意識している
模様
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/DJYPLG18JM.jpg)

去年のカンファレンスでも・・・
BRK223:Building Digital Twins, Mixed Reality and Metaverse Apps
Microsoft Build 2021 セションアーカイブ
◼ https://learn.microsoft.com/ja-jp/events/build-may-2021/azure/breakouts/brk223/
◼ 物理的な資産や環境のデジタル ツインがあったら、どうしますか? それは、ユー
ザーがシミュレーションを実行して自分にとって重要なものを検出できるように
するものです。 過去を知り、未来を予測すること。 AI を適用して環境を感
じ取り、自動化すること。 Mixed Reality で、そのデジタル ツインと、そこに
含まれているすべての分析情報に、コラボレーティブに対話すること。 これらは
すべて、最先端の企業が、Digital Twins、Mixed Reality、AI、IoT、そ
してインテリジェント クラウドとインテリジェント エッジの機能を活用している
Microsoft Cloud で起きていることです。 このようなメタバース アプリケーショ
ンが変化するビジネスですばやく成果を上げられるようになる、Microsoft
Cloud のサービスについて説明します。
Metaverse Capabilities
(実現に必要な要素)
Microsoft Mesh
&amp; HoloLens
Interact
Predict, Simulate,
Autonomous Control
Track the Past, Analyze
【要約/ポイント】
Technology stack
(技術スタック)
✓ 物理環境をデジタル化によりデジタルツインを構築
Power Platform
Azure AI
&amp; Microsoft Project Bonsai
Azure Synapse Analytics
Monitor
Azure Maps, Indoor
Model
Azure Digital Twins
✓ 実現にはモデル化と現実とのリアルタイム同期が必要
✓ 分析、予測、シミュレーションを通して自律的な制御を実現する
✓ Mixed Realityなどと組み合わせることでDigital Twinsを超えた
Metaverseの世界を実現する
✓ 一見複雑な技術スタックは段階的に取り入れることができる
2022/11/28
Synchronize
Physical World
Copyright © 2022 Takahiro Miyaura
Azure IoT
Physical World
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/V7N54G29E8.jpg)

現実の情報をセンシングでデジタル化するDigital Twinsと
それをXR技術で活用することは注目されている
2022/11/28
Copyright © 2022 Takahiro Miyaura
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/YJ9YQW1373.jpg)

本日の内容
Azure IoTからのセンシングデータをXRで活用するには
✓ 実世界の情報をセンシング
✓ デジタル空間の情報として可視化してみる
簡単なマイホームミニチュアデモでご紹介
2022/11/28
Copyright © 2022 Takahiro Miyaura
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/GJ86GN4LED.jpg)

実世界の情報をセンシング
2022/11/28
Copyright © 2022 Takahiro Miyaura
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/LJL9GP6Q7R.jpg)

今回のデモ環境
なんちゃってDigital Twinsを作ってみました。
エアコンの稼働状態を可視化
外気温
室内温度
湿度
○
○
○
Azure IoT使いたかったので。。。
センシングできる機器を捜索
エアコンが小細工しやすかったです
（後述）
【デモとして実現したこと】
○
○
○
2022/11/28
Copyright © 2022 Takahiro Miyaura
空調設備の稼働状況をAzure IoTへ送信
複数の機器にテレメトリ情報を同報発信
XRデバイスで可視化
○ HoloLens / Meta Quest Pro
○ エアコンの状態でアニメーション（風向や、運転モード）
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/47MZQ4GKJW.jpg)

今回のデモ環境
2022/11/28
Copyright © 2022 Takahiro Miyaura
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/P7R68WZ6E9.jpg)

今回のデモ環境
なぜエアコン？
お家にあったのがEchonet対応していた
※Echonet＝スマートホームを実現する通信プロトコルの一種。対応機器からの情報取得や操作指示を出すことができる通信規約
https://echonet.jp/about/
チョイスな理由
✓ node.jsで利用できるechonet-liteライブラリがある
✓ そう、そして今日のテーマであるAzure IoT 関連もNode.jsライブラリがある
https://www.npmjs.com/package/echonet-lite
そう！ラズパイ等の電子工作でAzure IoTへスマート家電の情報を送ることができるので
Echonet対応機器であれば、いとも簡単に制御システムが作れちゃうんです！
2022/11/28
Copyright © 2022 Takahiro Miyaura
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/PJXM8P9DEX.jpg)

今回のデモ環境
Azure IoT Hub
Event Grid
Azure
Functions
（System Topic）
SignalR
今回は対象外
Azure
Functions
コントローラ
(PC)
Home
Azure
Digital Twins
Event Grid
データ利活用を考える場合、Azure
Digital Twinsを通して実施。
ここから各種AIサービスとつなげることで活
用の幅が広がる！
テレメトリ情報
2022/11/28
Copyright © 2022 Takahiro Miyaura
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/3JKGKDPD7D.jpg)

マイホームからAzure IoT Hubへ
Microsoftの公式ドキュメントとサンプルが便利です
○ 【公式ドキュメント】
https://learn.microsoft.com/ja-jp/azure/iot-develop/set-up-environment
○ 【サンプルコード】
https://github.com/Azure/azure-iot-sdk-node
(azure-iot-sdk-node¥device¥samples¥javascript¥pnp_simple_thermostat.js)
最低限必要なNode モジュール
○ 【Azure IoT関連】
&gt; npm i azure-iot-device-mqtt
&gt; npm i azure-iot-provisioning-device-mqtt
&gt; npm i azure-iot-security-symmetric-key
○ 【Echonet – Liteライブラリのインストール】
&gt; npm i echonet-lite
2022/11/28
Copyright © 2022 Takahiro Miyaura
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/LE3NZRXPE5.jpg)

各種機器への情報発信はSignalR
Azure上でRest API公開して利用もできますが。。。
SignalRを使える機器なら通信部品作成の手間が減る
○ 【公式ドキュメント】
https://learn.microsoft.com/ja-jp/azure/azure-functions/functions-bindings-signalrservice?tabs=in-process&amp;pivots=programming-language-csharp
※SignalR Service メッセージを送信するサンプルが役に立ちます
こちらもかなり有用なサンプル
○ Azure Digital Twins を Azure SignalR Service と統合する
https://learn.microsoft.com/ja-jp/azure/digital-twins/howto-integrate-azure-signalr
2022/11/28
Copyright © 2022 Takahiro Miyaura
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/8EDWRY237G.jpg)

XRデバイスについては
(
ﾟдﾟ)ってならないでくださいね。。。
Unityで開発
○ UnityでもSignalRのライブラリ使えます。
○ .NET系は.netstandard 2.0に対応
○ HoloLens 2もMeta Quest 2/Pro（いい時代）
が！
SignalRがARM CPUアーキテクチャの64bitではうまくいかず。
ARM 32ビットアプリとして作成すると動いた。
※まだ調査途中で設定ミスの可能性もあるので、参考程度で。。。
2022/11/28
Copyright © 2022 Takahiro Miyaura
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/V7P9W61PJ8.jpg)

XRデバイスについては
(
ﾟдﾟ)ってならないでくださいね。。。
XR系気になる人のために【使用ライブラリ】
【Azure関連】
○ Microsoft.AspNetCore.SignalR.Client(5.0.17)
○ System.IdentityModel.Tokens.Jwt(6.25.0)
【XRデバイス向け】
○ MRTK3-pre.12
○ MRTK Input(3.0.0-pre.12)
○ MRTK Standard Assets(3.0.0-pre.12)
○ MRTK UX Conpoments(3.0.0-pre.12)
【HoloLens 2用】
○ Mixed Reality OpenXR Plugin(1.6.0)
【Meta Quest Pro用】
○ Meta XR Utilities(46.0.0-preview)
○ Oculuc XR Plugin(3.2.2)
※IL2CPP, .netstandard2.1で32bitライブラリで作成
2022/11/28
Copyright © 2022 Takahiro Miyaura
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/2JVM83YVJQ.jpg)

補足
今回は生データ送って処理していますが
Device Twins経由がお勧めだと思います。
【公式サイト】
https://learn.microsoft.com/ja-jp/azure/iot-hub/iot-hub-devguide-device-twins
○ デバイスがどういう制御/情報を扱えるかモデル化
○ Azure Digital Twins使用するモデル言語で記述
○
Digital Twins Definition Language(DTDL)
○ 組み込み機器⇔クラウド間の一種のデバイス規約
○ 仕様把握やデータ処理も容易
上記サイトより図を参照
2022/11/28
Copyright © 2022 Takahiro Miyaura
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/5EGG5391EL.jpg)

補足
今回はAzure IoT Hub Device Provisioning Service(DPS)使っています。
たまたま参照したサンプルがそうだったが本音ですがｗ
組み込み機器
Azure IoT Hub関連ライブラリ
直書き
Azure IoT Hub
Device
接続文字列
デバイスとAzure IoT Hubを直結した運用ではデバイス増やすときに
○ （Portalから）Azure IoT Hubにデバイスを追加し、その接続文字列などの情報を取得
○ 通信する組み込み機器に上記の情報を設定しAzure IoT Hubと通信
機器交換や、追加のたびに結構な手間がかかります。
2022/11/28
Copyright © 2022 Takahiro Miyaura
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/4JQXZ5WNEP.jpg)

補足
今回はAzure IoT Hub Device Provisioning Service(DPS)使っています。
たまたま参照したサンプルがそうだったが本音ですがｗ
デバイス名[Device]でIoT Hub使いたい
Azure IoT Hub
DPS
組み込み機器
要求あったよ
Azure IoT Hub
Azure IoT Hub関連ライブラリ
接続文字列を返す
なければ用意
Device
接続文字列
Azure IoT Hub DPSを入れるとAzure IoT Hub上でのデバイス管理から解放される
1. まずはDPSにAzure IoT Hubに対する接続要求を出す
2. DPSはAzure IoT Hubに問い合わせでデバイスの準備
3. Azure IoT Hubが未登録であれば自動で追加
4. デバイスに対する接続文字列を返却
5. 機器側は受け取った接続文字列でAzure IoT Hubに接続
2022/11/28
Copyright © 2022 Takahiro Miyaura
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/K74639K3E1.jpg)

まとめ
Azure IoTからのセンシングデータをXRで活用するには
✓ 実世界の情報をセンシング
✓
✓
情報をうまく分析/活用できる仕組みが必要
デモは簡易的でしたが。。。
現実世界の何を収集するかが実は重要（関心事はなに？）
✓ デジタル空間の情報として可視化してみる
✓
✓
✓
不可視のものを現実に視認することで新たな気付きをえる
遠隔地でも俯瞰的な情報を共有することで作業を効率化
AIなどと組み合わせるとより役に立つかも！？
IoTを活用したデジタルツインとXRという技術は相性がいい組み合わせ
面白い仕組みが増えてくると思うので楽しみですよ
2022/11/28
Copyright © 2022 Takahiro Miyaura
22


# Page. 23

![Page Image](https://bcdn.docswell.com/page/LJ1V1KXZEG.jpg)

大阪駆動開発
関西を中心に、IT系のおもしろそうなことを
楽しんでやるコミュニティ
2022/11/28


