---
title: 「Immersive Live with AR Guitar」技術 / 体験設計
tags: 
author: [Ekito](https://convert.docswell.com/user/ekito_station)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/GE8R5KLLJD.jpg?width=480
description: 2025年3月25日、BuzzFront Yokohamaで開催されたXR技術を活用したライブパフォーマンスイベント「Iwaken Lab. Performers Fest」にて、AR技術を用いたギター演奏パフォーマンス「Immersive Live with AR Guitar」を披露しました。  本パフォーマンスでは、「AR Guitar Effector」というシステムを開発し、演奏中にギターを壁や天井に向けることで音にエフェクトがかかる演出を取り入れました。 さらに観客はHMDを装着することで、楽曲の展開に応じて出現するMR演出をリアルタイムで体験できました。  本スライドでは、パフォーマンスの裏側で行っていた技術設計・体験設計についてまとめています。
published: April 12, 25
canonical: https://convert.docswell.com/s/ekito_station/5J4YMN-immersive-live-with-ar-guitar
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/GE8R5KLLJD.jpg)

Immersive Live with AR Guitar
技術 / 体験 設計
Ekito


# Page. 2

![Page Image](https://bcdn.docswell.com/page/LELKYZLQJR.jpg)

内容
●
AR Guitar Eﬀector
○
○
●
デモ動画
システム構成
Immersive Live with AR Guitar
○
○
○
○
ダイジェスト動画
システム構成
AR Guitar Eﬀector Ver. 3 (with Unreal Engine)
■ 技術面で難しかったこと
楽曲 &amp; 演出設計
■ 演出面で難しかったこと


# Page. 3

![Page Image](https://bcdn.docswell.com/page/4JM2NV1KJW.jpg)

AR Guitar Eﬀector


# Page. 4

![Page Image](https://bcdn.docswell.com/page/PJRMD2L6E9.jpg)

AR Guitar Eﬀector｜デモ動画
https://youtu.be/IuJFRhzgsK8


# Page. 5

![Page Image](https://bcdn.docswell.com/page/PEXV1DWD7X.jpg)

AR Guitar Eﬀector｜システム構成


# Page. 6

![Page Image](https://bcdn.docswell.com/page/3EKQ2XVDED.jpg)

AR Guitar Eﬀector｜(参考) 開発記録
Ver. 1:
Meta Quest 3 (Unity) + Ableton Live
Ver. 2:
Apple Vision Pro (Xcode) + Ableton Live
https://zenn.dev/ekito_station/articles/ar-guit
ar-eﬀector-intro
https://zenn.dev/ekito_station/articles/ar-guit
ar-eﬀector-avp


# Page. 7

![Page Image](https://bcdn.docswell.com/page/L73P45MPE5.jpg)

Immersive Live with AR Guitar


# Page. 8

![Page Image](https://bcdn.docswell.com/page/87DLQD63EG.jpg)

Immersive Live with AR Guitar｜ダイジェスト動画
https://youtu.be/-PyRZpqQPcs


# Page. 9

![Page Image](https://bcdn.docswell.com/page/VJP2LXYPJ8.jpg)

Immersive Live with AR Guitar｜システム構成


# Page. 10

![Page Image](https://bcdn.docswell.com/page/2EVDQLGVEQ.jpg)

Immersive Live with AR Guitar｜
AR Guitar Eﬀector Ver. 3 (with Unreal Engine)


# Page. 11

![Page Image](https://bcdn.docswell.com/page/57GYWX817L.jpg)

Immersive Live with AR Guitar｜AR Guitar Eﬀector Ver. 3
使用ソフト・ツール
●
Meta Quest 3
●
Unreal Engine
○
●
MR演出がUnreal Engineで制作されるため、それに合わせる形で今回初トライ！
Max for Live + Ableton Live


# Page. 12

![Page Image](https://bcdn.docswell.com/page/4EQM389NJP.jpg)

Immersive Live with AR Guitar｜AR Guitar Eﬀector Ver. 3
Meta Quest 3
ギターのヘッドにコントローラーを
取り付ける
→ギターの先からARレイを飛ばせるように


# Page. 13

![Page Image](https://bcdn.docswell.com/page/KJ4V12X3E1.jpg)

Immersive Live with AR Guitar｜AR Guitar Eﬀector Ver. 3
Unreal Engine
レイがスイッチに
○
○
当たったら→1
外れたら →0
のOSCメッセージを送信する


# Page. 14

![Page Image](https://bcdn.docswell.com/page/LE13GMNZJG.jpg)

Immersive Live with AR Guitar｜AR Guitar Eﬀector Ver. 3
Max for Live
OSCメッセージを受信する


# Page. 15

![Page Image](https://bcdn.docswell.com/page/GEWPK346J2.jpg)

Immersive Live with AR Guitar｜AR Guitar Eﬀector Ver. 3
Ableton Live
OSCメッセージに基づき
各エフェクトを制御


# Page. 16

![Page Image](https://bcdn.docswell.com/page/47ZKZV2R73.jpg)

Immersive Live with AR Guitar｜AR Guitar Eﬀector Ver. 3
技術面で難しかったこと
●
レイの向きがQuestコントローラーとズレる
○
●
レイがどのスイッチにも当たっていない時、たまに曲再生に問題が生じる
○
●
Unityではズレなかったので、Unreal Engine特有の問題かと
プチプチノイズが入ったり固まったり
→オーディオバッファサイズを大きくする（一方でレイテンシーが高くなる...）
ポート番号をたまに変えないとOSC通信できない場合がある


# Page. 17

![Page Image](https://bcdn.docswell.com/page/YJ6QZ5V1JV.jpg)

Immersive Live with AR Guitar｜
楽曲 &amp; 演出設計


# Page. 18

![Page Image](https://bcdn.docswell.com/page/GJ5RWYDL74.jpg)

Immersive Live with AR Guitar｜楽曲 &amp; 演出設計
楽曲
『春舟』
『光都』


# Page. 19

![Page Image](https://bcdn.docswell.com/page/9E2DQG83ER.jpg)

Immersive Live with AR Guitar｜楽曲 &amp; 演出設計
ARエフェクタースイッチ
Switch 2
●
会場の天井・壁に配置
●
各スイッチと紐づく
エフェクトは曲ごとに違う
Switch 3
Switch 1
Switch 4


# Page. 20

![Page Image](https://bcdn.docswell.com/page/D7Y2WV687M.jpg)

Immersive Live with AR Guitar｜楽曲 &amp; 演出設計
ARエフェクタースイッチ
Switch 3
Switch 1
https://youtu.be/-PyRZpqQPcs
?feature=shared&amp;t=11


# Page. 21

![Page Image](https://bcdn.docswell.com/page/VEN89MZ9J8.jpg)

Immersive Live with AR Guitar｜楽曲 &amp; 演出設計
演出面で難しかったこと
●
Quest 3を被りながらのギター演奏が難しい...
○
○
●
ギターで何をやっているのか観客に伝わりづらかった
○
○
●
場数を踏む
より良いMRゴーグルの登場を待つ
Quest Linkを使いながらMQDHでのミラーリングができず
ARレイやスイッチを観客からも見えるようにすべき（MR演出とバッティングしない形で）
→Next Actionで模索
AR Guitar Eﬀectorを楽曲ストーリーに上手く絡めるには？


# Page. 22

![Page Image](https://bcdn.docswell.com/page/Y79K2NZ373.jpg)

Immersive Live with AR Guitar｜Next Action
万博展示！


# Page. 23

![Page Image](https://bcdn.docswell.com/page/G78R5K1LED.jpg)

Immersive Live with AR Guitar｜関連リンク
●
「Immersive Live with AR Guitar」中間レポート
https://note.com/ekito_station/n/n06cf61e6c6ef
●
「Iwaken Lab. Performers Fest」イベントページ
https://lu.ma/9o0wuz9n?tk=dSOAms


