岐阜大学工学部応用情報学科 加藤研究室

画像処理を用いた演奏感覚性を高めるほうきギターの提案

 駅のホームなどで、傘をゴルフクラブに見立ててショットの練習をしている人を見かける。同じように、ほうきを抱え込むように持ったときには、ほうきをギターに見立て演奏の真似事をしてしまうことがある。これはほうきが”抱え込んで構えるだけで、まるでギタリストになったかのように立ち振る舞うことができる”という性質を持っていることに他ならない。
　このように、”ギタリストになりきる”ためのデバイスやソフトは数多く提案されている。しかしその多くがセンサーを内蔵した専用コントローラを用いて演奏を行うため、あたかもギターを弾いているような感覚は得られにくい。
　そこで本研究では、ユーザーの演奏の様子をカメラで取り込み処理することで、ほうきによるギター演奏を可能とした仮想楽器”ほうきギター”を提案する。

１．ほうきギターに要求されるもの
○即応性
・楽器には遅延が存在しない。
・楽しさの連鎖を断ち切ってはならない。
○娯楽性
・自分のプレイに陶酔できる仕組み
・弾けば弾くほど楽しくなる仕組み
○簡易性
・本物のように難しくてはならない。
・ほうきを抱え込むだけで楽しめる。


２．システムの概要
①カメラから取得したユーザーの演奏画像を取得
ユーザーはPCに接続されたカメラの前に立ちほうきを用いてギター演奏をする。
取得された画像はＰＣによって画像処理され、処理結果に応じた音声が再生される。


②色相を用いた肌検出
各画素の色相を求め肌色領域を抽出する。


③肌領域から両手の位置関係を推定
画像中の肌領域の変化に注目。

・２点間の距離からコード(和音)決定
・フレーム間の肌領域座標差分からストローク(音を出すトリガ)を検出

３．実装した３つの和音
　Ｂ、Ｄ、Ｅの和音を実装

2点間の距離を用い奏でる和音を変更する。

４．FPGAを用いたシステムの構築
FPGAは、内部に処理専用の回路を持つことができ、かつそれら回路はシーケンシャルに命令が実行されるプロセッサなどとは異なり、論理素子によって構築された電気的な回路であるため目的とする処理の並列化が行いやすい。

○遅延が少ないシステムを生成
－専用回路であるためオーバーヘッドが少ない。
○機能の実装
－並列化が行いやすいため様々な機能実装が可能

その他の研究分野