手指動作と音声を用いた振り付けの想起を可能とする記録手法の提案

2026.03.17 MVE研究会 手指動作と音声を用いた 振り付けの想起を可能とする記録手法の提案 明治大学B3 會田萌々花 鳩貝怜央 渡邉健斗 松田さゆり 中村聡史 會田萌々花 中村聡史 （明治大学） 株式会社ワコム 掛 晃幸

背景：ダンスの広がりと振り付け創作 ダンスは舞台芸術や娯楽として親しまれてきた表現活動 中学校体育の授業における必修化や SNS上でのダンス動画の広がりにより身近なものになっている 振り付けを考え表現することも楽しみ方の一つである 振り付けはスタジオのような十分に整った環境で考えることもあるが 日常生活のふとした瞬間に思いつくことも少なくない 後から見返した際に想起できる形で記録することが重要 文部科学省「武道・ダンス必修化」 https://www.mext.go.jp/sports/b_menu/sports/mcatetop04/list/1371915.htm. 1

• https://www.mext.go.jp/sports/b_menu/sports/mcatetop04/list/1371915.htm.

背景：既存のダンスの記録方法と問題点 テキスト記録 名称がある動きの記録に有効 言語化が困難なニュアンスの欠落 [Khan+ 2022] 全身動画撮影による記録 全身動作を忠実に記録 時間的・環境的制約 テキスト記録の例 注釈付与によるマルチモーダルな記録 [Cabral+ 2011] リハーサル時間外でのフィードバック共有が可能 あらかじめ撮影された動画が前提 D. Cabral et al., “A creation-tool for contemporary dance using multimodal video annotation,” Proc. of the MM’11, pp. 905–908, 2011. A. Khan et al., “To Type or to Speak? The Effect of Input Modality on Text Understanding During Note-Taking,” B. Proc. of the CHI’22, 2022. 2

目的 振り付けアイデアを手軽に記録し 後から見返した際に正しく想起できるようにする 3

提案手法：手指動作と音声による記録 日常生活で振り付けを記録するためには限られた空間や時間で記録可能で 動作のタイミングや言語化困難なニュアンスを保持した形で記録することが重要 手指動作による全身表現 [Tseng+ 2023] 手指の小さな動きで全身動作を代替 音声による記録 [Ruan+ 2018] キーボード入力と比較して高速で認知的負荷が少ない 音声特有のリズム感や抑揚を記録できる W.-J. Tseng et al., “Fingermapper: Mapping finger motions onto virtual arms to enable safe virtual reality interaction in confined spaces,” Proc. of the CHI’23, pp. 874:1–874:14, 2023. S. Ruan et al., “Comparing speech and keyboard text entry for short messages in two languages on touchscreen phones,” Proc. ACM Interact. Mob. Wearable Ubiquitous Technol., vol. 1, pp. 159:1–159:23, 2018. 4

提案手法 身体に見立てた手指動作と音声を組み合わせた記録手法を提案 ユーザ操作 スマートフォンと三脚を用いて上半身用・下半身用の2つの動画を撮影 システムに2つの動画を入力すると同期された動画が出力 「1,2,3,4」というカウントを音声で発話しカウントにあわせて手指動作を行う 補足のための音声メモとして音声で補足説明を記録する 5

提案手法：撮影動画例 手指動作(振り付け再現)と音声(カウント・補足)を組み合わせて振り付けを記録 上半身 下半身 6

システム 音声特徴に基づき短い発話を「カウント」連続した発話を「補足」として抽出 発話されたカウントに基づき自動で2つの動画のタイミングを同期して提示する 7

システム ホバー位置に応じて補足音声を再生 8

システム 9

実験 実験協力者：振り付け経験がある21歳から25歳の女性4名 比較手法：テキスト記録，実験者内比較 創作フェーズ 記録フェーズ 1週間 想起フェーズ 10

実験手順 創作フェーズ 記録フェーズ 1週間 想起フェーズ ➢ 8カウント×4曲分について振り付けを考えてもらう シナリオ あなたはサークルの追いコンで自分のナンバーを披露します あなたらしさを表現する振り付けを考えてください ➢ 正解データとして振り付けの全身動画を撮影 11

実験手順 創作フェーズ 記録フェーズ 1週間 想起フェーズ ➢ 提案手法・比較手法を用いて各2曲ずつ計4曲の振り付けを記録 ➢ 各記録終了時に記録時の作業負荷について5段階評価で回答 ➢ 全ての記録終了後アンケートとインタビューを実施 12

実験手順 創作フェーズ 記録フェーズ 1週間 想起フェーズ ➢ 記録を見て振り付けを想起 ➢ 全身動画を撮影 ➢ 主観評価を実施 ➢ 終了後アンケートとインタビューを実施 13

実験設計：評価指標 主観評価 ➢各振り付け再現後に10段階評価のアンケートを実施 ➢記録フェーズの全身動画と想起フェーズの全身動画を比較 ➢改めて10段階評価のアンケートを実施 客観評価 カウントごとに「指先，腕，胴体，足」の4カテゴリについて動きの一致度を評価 一致している場合に各カテゴリ1点を付与し8カウント分について最大32点満点で評価 14

実験 提案手法が振り付けアイデアを手軽に記録し 後から見返した際に正しく想起できるかを検証 H1：短時間で振り付けを記録できる H2：少ない作業負荷で記録できる H3：振り付けを正しく想起できる 15

結果：記録時間 提案手法が大幅に記録時間を短縮 提案手法：33.3秒，比較手法：284.1秒 16

結果：作業負荷 身体的作業負荷に大きな差はみられなかった 精神的作業負荷は提案手法の方が小さい傾向がみられた 表1：手法ごとの作業負荷の比較 提案手法 比較手法 身体的作業負荷 4.25 4.00 精神的作業負荷 3.50 1.88 ( 1：低評価，5：高評価 ） 17

結果：振り付け想起（主観評価） 提案手法がわずかに高評価であるが大きな差はみられなかった 表2：正解データ提示前後の主観評価の手法平均 提案手法 ユーザ 比較手法 正解提示前 正解提示後 正解提示前 正解提示後 1 9.0 9.5 9.0 10.0 2 9.0 9.5 9.0 8.0 3 10.0 10.0 8.0 8.0 4 10.0 9.5 9.0 9.0 平均 9.5 9.6 8.8 8.8 (1：低評価，10：高評価) 18

結果：振り付け想起（客観評価） 提案手法と比較手法において大きな差はみられなかった 表3：カテゴリごとの得点の比較 指先 腕 胴体 足 合計 提案手法 8.00 8.00 8.00 7.75 31.75 比較手法 7.50 7.63 7.88 7.50 30.50 19

考察：記録について 提案手法：「身体に振り付けが染み付いているため自然に記録できた」 手指動作による記録がダンスを踊る感覚に近い形で行われていた可能性 振り付けと手指動作の対応例 20

考察：記録について 比較手法：振り付けを頭の中で整理し 見返した際に想起できる形で言語化する必要がある 記録までに複数の認知的処理が行われ記録に時間を要した可能性 テキスト記録の例 21

考察：想起について 提案手法 手指を常に動かしているため情報の欠落が少ないことや タイミングが保持されていたため動きのイメージを想起しやすかった可能性 補足が不十分であった場合に振り付けの想起が困難 補足説明の内容が想起精度に影響する可能性 22

考察：想起について 比較手法 両手をどのような軌道で回すのか 左足をどの方向にどの程度伸ばすのか 不明確であった 左右の動きやカウントなどの構造的な情報を把握できる一方で 軌道や重心移動，身体の向きといった情報が欠落しやすい可能性 23

展望 ➢ スマートフォンを用いて片手で撮影を行い 反対の手で振り付けを表現するなど柔軟な利用形態の実現 ➢ 音声のみでの記録との比較による検証 24

まとめ 背景：振り付けを思いついたときに手軽に記録したい 目的：手軽に記録でき，見返した際に想起できるようにする 手法：手指動作と音声を組み合わせて振り付けを記録する 実験：振り付けを考えてもらい記録を見て想起する 結果：提案手法は短時間かつ少ない作業負荷で記録できる 展望：柔軟な利用形態の実現 25