NECが視線や姿勢で奏でる楽器を開発！「ANDCHESTRA（アンドケストラ）」の魅力とは？
「人と協調するAI」によって、ひとりひとりが人間性を発揮する社会の実現を目指すNECが、AIを活用して、視線や姿勢といった簡単な動作で演奏が可能な楽器を開発しました。
開発された楽器は、視線の向きによって音を奏でる「ANDCHESTRA TRUMPET（アンドケストラ トランペット）」と、手の位置や角度などの姿勢を検知して音を奏でる「ANDCHESTRA VIOLIN（アンドケストラ バイオリン）」の2種類です。
開発には、インクルーシブアドバイザーとして障がいのある方に使用してもらい、世界ゆるミュージック協会が参画しています。
■１：視線で奏でる「アンドケストラ トランペット（ANDCHESTRA TRUMPET）」
「ANDCHESTRA TRUMPET」は、画面上に配置された音のアイコンに視線を送ることで音が鳴る仕組み。NECの遠隔視線推定技術を使い、目頭や目尻、瞳などの目の周囲の特徴点位置を求め、白目の面積などを分析して、視線の向きを推定しています。
この技術は、今までに小売店舗で来店客が棚やディスプレイのどこを見ているのかを分析し、マーケティングに生かすといった活用をされています。
■２：動作で奏でる「アンドケストラ バイオリン（ANDCHESTRA VIOLIN）」
「ANDCHESTRA VIOLIN」は、音ごとに定められた姿勢を取ることで音が鳴る楽器。
姿勢推定技術は、NECが今回新たに開発し、カメラで撮影した映像をもとに、低解像度でも安定して認識することができるほか、混雑環境においても誤検知を抑制して、人物の姿勢を高精度に推定することができるのが特徴です。
また、車椅子の人でも利用できるように、上半身の右腕のポーズでドレミファソラシドの音が鳴る仕組みに。左手を加えれば、ひとつ高い音階にできるなど、ポーズの定義を広げて演奏が楽しめます。
今後は、「ANDCHESTRA」の技術向上を目指し、病院や介護施設などでのリハビリへの活用や、音楽・スポーツ（パラスポーツ含む）イベントへの出展などを検討しているNEC。AI技術によって子供や大人、障がいのある方が壁を越えて一緒に演奏を楽しめる明るい未来に期待したいです。
問い合わせ先
- TEXT ：
- Precious.jp編集部
