体感型ピアノ演奏システムの開発
~PlayOnThePiano~
代表者名
長尾 和彦
目次
要約.................................................................................................................................... 1
1. はじめに...................................................................................................................... 2
2. システム構成............................................................................................................... 2
3. 足鍵盤デバイス........................................................................................................... 3
4. 機能説明...................................................................................................................... 4
5. 演奏の評価方法........................................................................................................... 5
6. ネットワーク接続........................................................................................................ 6
7. まとめ......................................................................................................................... 8
8. 動作環境...................................................................................................................... 8
体感型ピアノ演奏システムの開発
~PlayOnThePiano~
代表者名
長尾 和彦[1]（弓削商船高等専門学校マイコン部）
要約
私たちは、歌を歌ったり、楽器を演奏したりするなど、さまざまな音に囲まれて生活してきた。音楽は情操教育にも大変良いとされ、義務教育の中で音楽の授業も行われている。しかし、楽器は上手に演奏しようと思うと難しく、練習を始めても基礎的な練習ばかりでは飽きてしまい、続かないといった傾向に陥りがちである。
そこで本研究では、誰もが憧れたことのあるピアノを、足鍵盤デバイスを用いて全身で音楽を感じながら演奏できるシステムを開発した。
このシステムは、大型の足鍵盤デバイスを踏むことでピアノを演奏することのできるシステムである。主な機能として、以下のようなものがある。
・自由にピアノを演奏する「じゆうえんそう」
・練習用の曲に合わせて演奏する「れんしゅう」
・発生した音を当てる「ドレミツイスター」
・複数のユーザと連弾を行える「連弾機能」
・オリジナル楽譜の作成機能
演奏する際には一人で演奏する「Solo」、二人で協力して演奏する「Duet」のどちらかを選ぶことができ、ネットワークにも対応しているため、遠くにいるユーザと連弾をすることも可能である。
本システムを小学生に体験してもらったところ、全身運動で音楽を楽しむことができると大変好評であった。
1. はじめに
数多くある楽器の中でも良く知られているピアノ。簡単に美しい音が出せて、幅広い音階を持つピアノを見て、触ってみたいと思ったり、先生や友達が上手に弾いているのを見て憧れた人もいることだろう。しかし、ピアノに興味を持っても、敷居が高いと感じてあきらめてしまったり、練習してもなかなか上達せず、挫折してしまう人も少なくないだろう。
一方、子供たちを取り巻く環境の悪化や、TVやゲームなどの発達によって、活発に外で遊ぶ子供たちは少なくなってきている。体を動かす機会が少なくなり、運動不足に陥りがちだ。それゆえ、子供たちが楽しみながら体を動かせるようなシステムが必要であると思った。
そこで私たちは、ピアノは指で弾くものだという発想を転換し、体全体を使って楽しみながらピアノを弾ける、足鍵盤デバイスによるピアノ演奏システムを提案し、開発した。
2.
システム構成
本システムは、PCと足鍵盤デバイスによって構成されている。足鍵盤デバイスはUSBデバイスとして構成されているため、PCへと容易に接続することができる。
図1 システム構成図
3. 足鍵盤デバイス
このシステムを開発するにあたって、全身を使って音楽を奏でるために必要な足鍵盤デバイスを開発した。
図2 足鍵盤デバイスの構造
このデバイスは市販のUSBマイコンボードを使用してインタフェースの実装を行った。これを使用する際は専用のコネクタを使用してPCに接続を行う。よって、同時に複数のデバイスを接続することが可能となった。
12鍵を1ブロックとし、2ブロックをつなげることで一つの鍵盤とすることができる。ネットワーク経由で複数の鍵盤を一つの鍵盤とすることも可能だ。
私たちが普段使用しているキーボードを手鍵盤として使用することも可能である。これは主に作譜の時に用いる。
図３ キーボードの割り当て
本システムはPCを用いた音楽体感システムである。ユーザにピアノで遊ぶことを楽しんでもらい、また、ピアノを通してコミュニケーションが取れるように、以下のような機能を提供する。
(ア) 「じゆうえんそう」
ユーザが自分で好きな音を出して遊ぶことができる。ユーザが足鍵盤デバイスで入力した音が画面上の五線譜に表示される。また、ユーザの演奏を一時的に録音しておくことも可能である。ユーザは自由に思いっきりピアノを演奏することができ、ピアノを演奏するという楽しさを体感することができる。
(イ) 「れんしゅう」
用意された練習用の曲の中から演奏したい曲を選択し、演奏していく。演奏したい曲を選択すると、画面上に楽譜が表示され、ユーザはそれを見ながら演奏していく形となる。次に弾く鍵盤の位置は画面下の鍵盤と、楽譜の音階で指示される。演奏が終了すると、その演奏の正確さが評価される。
図４ 「れんしゅう画面」
左下に表示されているキャラクターのネクタイがメトロノームの役割を果たしている。♩=60を演奏の基準値として、リズムの増減により難易度を調節する。演奏とリズムのタイミングによって、キャラクターの表情が変化する。
また、これらは一人で演奏する「Solo」と、二人で協力しながら演奏する「Duet」のどちらかを選ぶことができる。
(ウ) 「ドレミツイスター」
この機能では、ユーザは和音を聞いて、その音がなんであるかを当てていく。いくつかの難易度があり、難易度が低いうちは音が画面上に表示されるなどのヒントがあるが、高くなるとヒントが徐々に少なくなっていく。答えを入力するには足鍵盤デバイスを使用する。問題とする和音では、不協和音をかけるべきではないため、数種類の和音を登録してそれを使用している。
聞こえた音に対応する鍵盤を同時に踏み回答するので、音感訓練にも役立つとともに、バランス感覚を養い、身体を鍛えることもできる。
図５ 「ドレミツイスター」
(エ) 「みんなでピアノ」
一人ではできない連弾をすることができる。1台のPCに複数の足鍵盤デバイスを接続して、同時に演奏を行う。ほかにも、足鍵盤デバイスを接続したPCをネットワークに接続し、ネットワークを介して離れた位置にいるユーザと連弾を行うことも可能である。
(オ) 「作譜」
本システムでは、オリジナルの曲を作譜することもできる。キーボードを手鍵盤として使用し、音の長さと音階を入力して曲を作譜していく。他にもMIDIデータを取り込み、そのデータを使用して曲を作成することもできる。
5. 演奏の評価方法
今回、演奏を評価基準には音階と、タイミングの正確さを用いた。タイミングの誤差によって評価値が変化し、その値の合計を元に評価が表示される。タイミングの誤差はメトロノームを基準として算出する。メトロノームの速さを変更すると誤差の範囲が変化するため、難易度が変化する。
6.
ネットワーク接続
本システムでは、ネットを通しての2人演奏が可能となっています。以下にネットワーク接続の手順について説明します。
|
クライアント１（送信側） |
クライアント２(受信側) |
|||
|
① ネットワーク画面の表示 ② Skypeによる対戦相手の呼び出し ③ Skypeのコンタクトリストから通信相手を選び、通話ボタンを押します。 |
④ クライアント１から着信が着ます。 |
|||
|
⑤ Skype による通話 |
||||
|
⑥ 招待メッセージの送信 |
⑦ 招待メッセージを受信します。 |
|||
|
|
⑧ PlayOnThePianoを起動し、ネットワーク接続画面を開く |
|||
|
⑨ IPアドレスを送信 |
⑩ クライアント１のIPアドレスを受け取る。
|
|||
⑪ 接続 |
⑫ 接続 |
|||
|
⑬ 演奏の開始 |
⑭ 演奏の開始 |
|||
|
⑮ 演奏 |
||||
|
⑯ 切断 |
||||
7.
まとめ
今回開発したシステムを小学生数名に体験してもらったところ、「面白そう」と興味を示してくれた。このことから、本システムは子供たちにとって親しみやすいものであることを確認することができた。本システムを利用することで子どもたちは音楽を演奏する楽しさを知ることができ、さらに音楽に合わせて体を動かすことで、楽しく運動をすることが期待できる。
8. 動作環境
Windows XP（Vista動作不可）
DirectX 9
MIDI再生に対応したサウンドカード
インターネット接続、Skype（ネットワーク間演奏を行う場合）