情報処理装置及びプログラム
【課題】 外部装置からスピーカ等を介して放音される楽音に従い、楽音の進行に応じたコンテンツを適切なタイミングで切り替えながら外部表示器に表示する。
【解決手段】 外部装置からスピーカ等を介して放音される、楽音の再生位置を表す再生位置情報を含む表示制御情報を変換した可聴帯域の高帯域からなる音響信号を取得し、前記音響信号から抽出される再生位置情報に基づく楽音の再生位置を、外部機器から放音された前記音響信号を取得して前記再生位置情報を抽出するまでに発生する時間遅れに基づいて補正し、この補正後の楽音再生位置に基づいて表示対象のコンテンツを選択して表示手段に表示する。これにより、再生中の楽音の進行にあわせて表示器に表示するコンテンツを切り替える際に、楽音の再生位置に応じたコンテンツを適切なタイミングで切り替え表示することができるようになる。
【解決手段】 外部装置からスピーカ等を介して放音される、楽音の再生位置を表す再生位置情報を含む表示制御情報を変換した可聴帯域の高帯域からなる音響信号を取得し、前記音響信号から抽出される再生位置情報に基づく楽音の再生位置を、外部機器から放音された前記音響信号を取得して前記再生位置情報を抽出するまでに発生する時間遅れに基づいて補正し、この補正後の楽音再生位置に基づいて表示対象のコンテンツを選択して表示手段に表示する。これにより、再生中の楽音の進行にあわせて表示器に表示するコンテンツを切り替える際に、楽音の再生位置に応じたコンテンツを適切なタイミングで切り替え表示することができるようになる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、楽音の進行にあわせて表示器に表示するコンテンツの切り替えを行う情報処理装置及びプログラムに関する。特に、外部装置からスピーカ等を介して発音（放音）される楽音をマイク等により受信し、該受信した楽音に基づき表示器に表示するコンテンツを適切なタイミングで切り替える技術に関する。
【背景技術】
【０００２】
従来から、画像や映像あるいはテキスト等からなるコンテンツを本体に設けられた表示器に表示するような場合に、例えばデモ曲などの再生に基づき発音される楽音の進行に同期させて前記表示器に表示するコンテンツを自動的に切り替えることのできるようにした装置が知られている。こうした装置では、一般的に楽曲データ（例えばMIDIデータ）の所定タイミングに当該タイミングに表示させたいコンテンツを指定する情報（コンテンツ指定情報）を予め埋め込んでおき、このコンテンツ指定情報が楽音再生にあわせて読み出されることに応じて表示器上のコンテンツの表示を自動的に切り替えるようにしている。これによれば、例えば楽器のデモ曲を再生させながら音色紹介画像や機能紹介テキストなどを順次に切り替え表示するのでユーザに対して効果的なデモを提供することができるし、あるいは楽音の再生位置にあわせて歌詞画像を切り替え表示することでユーザが歌を練習するなどにも役立つ。この場合、楽音の再生とコンテンツの表示とは楽曲データに従って同一装置上で行われる。
【０００３】
ところで、装置本体にそもそも表示器が設けられていない場合や例え設けられていたとしても表示能力が十分でない小型の表示器であるような場合には、当然に上記したような音色紹介画像や機能紹介テキストあるいは歌詞画像などのコンテンツを表示させることが難しい。そこで、そのような場合であってもコンテンツを表示したいというユーザの要望を実現するために、楽器本体とは別途独立して構成されてなる外部機器の表示器（外部表示器）に上記したようなコンテンツを表示するようにしたものがある。特に、最近ではスレート型のパーソナルコンピュータ（タブレット端末などとも呼ばれる）やスマートフォンなどといったタッチ操作可能なタッチパネル式ディスプレイを有する情報処理装置に、例えば所定の音楽機能を実現する音楽アプリケーションプログラム（ソフトウェアプログラム）をインストールしておき、該プログラムを動作させることにより当該装置を外部表示器などとして動作させることのできるようになっている。
【０００４】
上記したような情報処理装置の表示器（外部表示器）に表示するコンテンツを楽音の進行に同期させて切り替える技術の一例を挙げると、例えば下記に示す特許文献１あるいは特許文献２に記載のものがある。特許文献１に記載の技術では、楽曲データに対応した表示進行データ（詳しくは変更対象のコンテンツを指定する情報を時間軸に並べて設定したデータであって、対応する楽曲データと時間的に同じ長さを持つ）を予め作成しておき、楽曲データの再生開始と同時に前記表示進行データの読み出しを情報処理装置側で開始することにより、情報処理装置において楽音の再生にあわせて適切なタイミングでコンテンツを切り替えるようにしている。また、楽曲データの再生装置から定期的に同期信号を情報処理装置に送信することで、情報処理装置ではその同期信号にあわせて表示進行データの再生状態を補正して、コンテンツの切り替えタイミングにずれが生じないようにしている。
【０００５】
特許文献２に記載の技術では、楽曲データの再生装置からスピーカを介して発音（放音）される楽器演奏音や音声等を含んでなる楽音をマイクによって取得し、該取得した楽音の解析により特定される楽音の再生位置にあったコンテンツを情報処理装置の表示器に表示させるようにしている。
【０００６】
また、オーディオデータに曲情報を電子透かしとして重畳し、受信側の機器（情報処理装置）において前記オーディオデータに基づいてコンテンツを特定するものが提案されている（下記に示す特許文献３参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平11-126066号公報
【特許文献２】特開2007-086572号公報
【特許文献３】特開2002-314980号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、上述した特許文献１に記載の技術では、楽音再生装置と情報処理装置といった異なる機器間で楽曲データ再生と表示進行データの読み出しとをタイミングを計って同時に開始する操作を行わなければならないがそうした操作は面倒であるし、また楽音の再生を任意の位置から行いたいような場合には楽曲データの再生開始位置と表示進行データの読み出し開始位置とをあわせて選択的に指定しなければならないがその指定は非常に難しいことであった。また、同期信号にあわせ楽音の再生位置と表示するコンテンツとのずれを補正するようにしているが、少なくとも同期信号を受信するまではそれらのずれを解消することができない、という問題があった。
【０００９】
特許文献２に記載の技術では、スピーカを介して放音される楽音の解析により特定される楽音の再生位置に基づいてコンテンツの切り替えがなされるが、これによると楽音の再生位置の認識に時間がかかったり再生位置を誤認識したりしやすいがため、楽音の再生位置とコンテンツの切り替えとがうまく同期しなくなる恐れが大きかった。また、周囲で発生する雑音などによってはマイクにより拾うことが難しくなる楽曲データの再生に応じて発生される広い範囲の可聴帯域の楽音（楽音信号）そのものを用いることから、マイク受信環境に影響を受けて正しく楽音の再生位置を抽出することができずにコンテンツの切り替えがうまくいかなくなる恐れが大きかった。
【００１０】
また、特許文献３に記載の技術は単にコンテンツを特定するだけで、機器同士で何らかの連係動作を行うものではないことから、そもそも外部表示器に表示されるコンテンツを楽音の進行にあわせて適切なタイミングで切り替えることは難しい。
【００１１】
本発明は上述の点に鑑みてなされたもので、外部装置からスピーカ等を介して発音（放音）された楽音をマイク等により受信し、該受信した楽音に基づき適切なタイミングでコンテンツを切り替える際に、楽音の再生位置に応じて適切なタイミングで表示器に反映させることのできるようにした、情報処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る情報処理装置は、コンテンツを多数記憶する記憶手段と、コンテンツを表示する表示手段と、外部機器から放音される可聴帯域の信号を取得する信号取得手段であって、当該信号取得手段は楽音の再生位置を表す再生位置情報を含む表示制御情報を変換した可聴帯域の高帯域からなる音響信号を取得するものと、前記取得した音響信号から再生位置情報を抽出する抽出手段と、前記抽出した再生位置情報に基づく楽音の再生位置を、外部機器から放音される前記音響信号の取得に伴い発生する時間遅れに基づいて補正する補正手段と、前記補正した楽音の再生位置に基づき表示対象のコンテンツを前記記憶された多数のコンテンツの中から選択する選択手段と、前記選択したコンテンツを前記表示手段に表示する表示制御手段とを備える。
【００１３】
本発明によると、情報処理装置は外部機器から放音される音響信号を取得する。前記音響信号は、楽音の再生位置を表す再生位置情報を含む表示制御情報を変換した可聴帯域の高帯域からなる。そして、この音響信号から再生位置情報を抽出して、これに基づく楽音の再生位置を補正する。この楽音の再生位置の補正は、外部機器から放音される前記音響信号の取得に伴い発生する時間遅れに基づいて行われる。補正後の楽音の再生位置に基づき表示対象のコンテンツを前記記憶された多数のコンテンツの中から選択して、前記選択したコンテンツを前記表示手段に表示する。すなわち、表示器に表示するコンテンツを切り替え制御するための再生位置情報は、外部機器から放音される音響信号として転送されるため、外部機器が音響信号の送信を開始してから情報処理装置が受信を完了するまでに所定の時間がかかる。この経過時間分を、楽音再生位置の時間遅れ（ずれ）として補正することで、情報処理装置が信号を受信した時点における楽音再生位置を正確に予測する。こうすることにより、本願発明では再生中の楽音の再生位置に応じたコンテンツを適切なタイミングで切り替えて表示器に反映させることができるようになる。これによると、表示進行データを必要としないことから、従来のような面倒な操作を行わなくてよく有利である。また、楽音信号を解析しなくてよいことから従来よりも処理に時間がかからないので、特に曲の途中から再生を開始する場合などに再生中の楽音の再生位置にコンテンツの表示を正確にまた素早く追従させることができる。さらに、音響信号は高帯域のみで構成される信号であるので、広い帯域で構成される楽音信号を解析して演奏位置を特定する従来技術に比べて受信環境が悪くても影響を受けにくい。
【００１４】
本発明は装置の発明として構成し実施することができるのみならず、方法の発明として構成し実施することができる。また、本発明は、コンピュータまたはＤＳＰ等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記憶媒体の形態で実施することもできる。
【発明の効果】
【００１５】
この発明によれば、楽音の再生位置を表す再生位置情報を含む表示制御情報を変換した可聴帯域の高帯域からなる音響信号を取得し、前記音響信号から抽出される前記再生位置情報に基づく楽音の再生位置を、外部機器から放音された前記音響信号を取得して前記再生位置情報を抽出するまでに発生する時間遅れに基づいて補正し、この補正後の楽音再生位置に基づいて表示対象のコンテンツを選択して表示手段に表示するようにした。これにより、再生中の楽音の進行にあわせて表示器に表示するコンテンツを切り替える際に、楽音の再生位置に応じたコンテンツを適切なタイミングで切り替え表示することができるようになる、という効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】楽音再生装置の全体構成の一実施例を示すハード構成ブロック図である。
【図２】情報処理装置の全体構成の一実施例を示すハード構成ブロック図である。
【図３】楽音再生装置における信号生成機能の概要を説明するための機能ブロック図である。
【図４】情報処理装置におけるコンテンツ表示機能の概要を説明するための機能ブロック図である。
【図５】表示制御テーブルのデータ構成を示す概念図である。
【図６】信号生成処理の一実施例を示すフローチャートである。
【図７】コンテンツ表示処理の一実施例を示すフローチャートである。
【図８】信号送受信とコンテンツ表示の各動作タイミングを説明するためのタイミングチャートの一例である。
【発明を実施するための形態】
【００１７】
以下、この発明の実施の形態を添付図面に従って詳細に説明する。
【００１８】
まず、表示器を有する情報処理装置（後述する図２参照）に対して、スピーカ等を介して楽音を放音する楽音再生装置（外部機器に相当）について説明する。図１は、楽音再生装置の全体構成の一実施例を示すハード構成ブロック図である。本実施例に示す楽音再生装置は少なくとも任意の楽曲データの再生に基づいて楽音を発音（放音）することの可能な例えば電子楽器であって、マイクロプロセッサユニット（ＣＰＵ）１、リードオンリメモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３からなるマイクロコンピュータによって制御される。ＣＰＵ１は、この楽音再生装置全体の動作を制御する（図３の制御部に相当）。このＣＰＵ１に対して、データ及びアドレスバスＤを介してＲＯＭ２、ＲＡＭ３、演奏操作子４、表示部５、設定操作子６、音源部７、記憶装置８、通信インタフェース（Ｉ／Ｆ）９がそれぞれ接続されている。更に、ＣＰＵ１には、タイマ割込み処理（インタラプト処理）における割込み時間や各種時間を計時するタイマ１Ａが接続されている。例えば、タイマ１Ａはクロックパルスを発生し、発生したクロックパルスをＣＰＵ１に対して処理タイミング命令として与えたり、あるいはＣＰＵ１に対してインタラプト命令として与える。ＣＰＵ１は、これらの命令に従って各種処理を実行する。
【００１９】
ＲＯＭ２は、ＣＰＵ１により実行あるいは参照される各種制御プログラムや各種データ等を格納する。ＲＡＭ３は、ＣＰＵ１が所定のプログラムを実行する際に発生する各種データなどを一時的に記憶するワーキングメモリとして、あるいは現在実行中のプログラムやそれに関連するデータを一時的に記憶するメモリ等として使用される。ＲＡＭ３の所定のアドレス領域がそれぞれの機能に割り当てられ、レジスタやフラグ、テーブル、テンポラリメモリなどとして利用される。
【００２０】
演奏操作子４は楽音の音高を選択するための複数の鍵を備えた例えば鍵盤等のようなものであり、各鍵に対応してキースイッチを有しており、この演奏操作子４（鍵盤等）はユーザ自身の手弾きによるマニュアル演奏のために使用することは勿論のこと、再生したい楽曲データの選択などのために使用することもできる。
【００２１】
表示部５は例えば液晶表示パネル（ＬＣＤ）やＣＲＴ等から構成される表示器（ディスプレイ）であって、当該装置における演奏環境／楽音制御に関する各種設定の設定状況や、ＲＯＭ２や記憶装置８に記憶されている各種データあるいはＣＰＵ１の制御状態などを表示する。ただし、この当該装置に設けられている表示部５は後述する情報処理装置の表示部１５とは異なり簡易な表示のみが可能な表示器、つまりは表示可能な文字／記号や文字数等が限定されており、複雑な表示や一度に多くの内容を表示することさらには画像などを表示することの難しい、表示領域の非常に狭い表示器である。
【００２２】
設定操作子（スイッチ等）６は、例えば当該装置を記憶装置８内に記憶された楽曲データ（デモ曲や内蔵曲など）に基づいて楽音を発音させる楽音再生モードに設定するモード選択スイッチ、再生対象の楽曲データを選択する曲選択スイッチ、楽曲データの再生開始及び再生停止などを行う再生制御スイッチ、音色や効果等の演奏環境／楽音制御に関する各種設定（パラメータ）を決定するためのスイッチ類、表示制御情報（図３参照）の出力オン／オフを切り替える切替ボタンなどの各種の操作子を含んで構成される。なお、設定操作子６は上記した以外にも音高、音色、効果等を選択・設定・制御するための数値データ入力用のテンキーや文字データ入力用のキーボード等の各種操作子を含んでいてもよい。これらの設定操作子６が操作された場合には、その操作されたスイッチに応じた情報やデータ等がデータ及びアドレスバスＤを介してＣＰＵ１（制御部）に入力される。
【００２３】
音源部７は複数のチャンネルで楽音信号の同時発生が可能であり、データ及びアドレスバス１Ｄを経由して与えられた、ユーザによる演奏操作子４の操作に応じて発生される及び／又は任意の楽曲データの再生に応じて発生される各種演奏情報に基づいて楽音信号を生成する。また、本実施形態においては前記楽音信号を生成するだけでなく、例えば直接スペクトラム拡散技術などを用いてデジタル信号である表示制御情報を可聴帯域の高周波信号（これを本明細書では音響信号と呼ぶ）に変調（変換）して、前記楽音信号に前記音響信号を重畳した楽音信号（これを便宜的に重畳信号と呼んで区別する）を生成することのできるようにもなっている（後述する図３（Ｂ）参照）。音源部７から発生される重畳信号は、アンプやスピーカなどを含むサウンドシステム７Ａから発音（放音）される。このサウンドシステム７Ａは、可聴帯域の信号を外部出力する。なお、音源部７とサウンドシステム７Ａの構成には、従来のいかなる構成を用いてもよい。例えば、音源部７はFM、PCM、物理モデル、フォルマント合成等の各種楽音合成方式のいずれを採用してもよく、また専用のハードウェアで構成してもよいし、ＤＳＰ（Digital Signal Processor）やＣＰＵ１によるソフトウェア処理で構成してもよい。
【００２４】
記憶装置８は、楽曲データなどの予め用意された各種データの他、ＣＰＵ１が実行する各種制御プログラム等を記憶する。なお、上述したＲＯＭ２に制御プログラムが記憶されていない場合、この記憶装置８（例えばハードディスク）に制御プログラムを記憶させておき、それをＲＡＭ３に読み込むことにより、ＲＯＭ２に制御プログラムを記憶している場合と同様の動作をＣＰＵ１に実行させることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、記憶装置８はハードディスク（HD）に限られず、フレキシブルディスク（FD）、コンパクトディスク（CD‐ROM・CD‐RAM）、光磁気ディスク（MO）、あるいはDVD（Digital Versatile Disk）等の様々な形態の記憶媒体を利用する記憶装置であればどのようなものであってもよい。あるいは、フラッシュメモリなどの半導体メモリであってもよい。
【００２５】
通信インタフェース（Ｉ／Ｆ）９は、当該装置と図示しない他の機器との間で制御プログラムや各種データなどの各種情報を送受信するためのインタフェースである。この通信インタフェース９は、例えばMIDIインタフェース，ＬＡＮ，インターネット，電話回線等であってよく、また有線あるいは無線のものいずれかでなく双方を具えていてよい。
【００２６】
なお、上述した実施例において、演奏操作子４は鍵盤楽器の形態に限らず、弦楽器や管楽器あるいは打楽器等どのようなタイプの形態でもよい。また、楽音再生装置は演奏操作子４や音源部７などを１つの装置本体に内蔵したものに限らず、それぞれが別々に構成され、MIDIインタフェースや各種ネットワーク等の通信インタフェース９を用いて各装置を接続するように構成されたものであってもよいことは言うまでもない。
なお、本発明に係る楽音再生装置は電子楽器に限らず、カラオケ装置、パーソナルコンピュータ、携帯電話等の携帯通信端末、あるいはゲーム装置など、楽曲データの再生に伴いスピーカ等を通じて楽音を放音することのできるものであればどのような形態の装置・機器であってもよい。携帯通信端末の場合、端末のみで所定の機能が完結している場合に限らず、機能の一部をサーバ側に持たせ、端末とサーバとからなるシステム全体として所定の機能を実現するようにしてもよい。
【００２７】
次に、上記した楽音再生装置とは別途独立に設けられてなり、コンテンツを表示するための表示部（外部表示器）を備える情報処理装置について説明する。図２は、情報処理装置の全体構成の一実施例を示すハード構成ブロック図である。図２に示す情報処理装置はＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３からなるマイクロコンピュータによって制御されてなるものであって、前記コンピュータが所定の音楽機能を実現するプログラム（例えば後述する「コンテンツ表示処理」プログラム）を実行することに基づき、表示部１５へのコンテンツ表示切り替えに係る処理を実施することが可能となる、例えばタブレット端末やスマートフォン等の電子機器である。ＣＰＵ１１はこの情報処理装置全体の動作を制御するものであり（図４の制御部参照）、このＣＰＵ１には各種時間を計時するタイマ１１Ａが接続されている。ＲＯＭ１２は制御プログラムやデータ等を恒常的に記憶し、ＲＡＭ１３はそれらを一時的に記憶する。
【００２８】
入力操作部１４は物理操作子であって、例えば電源オン／オフスイッチ、外部出力音量やマイク感度などの調整スイッチなどである。表示部１５は、ユーザタッチ操作を検出（認識）する検知機能を有してなるタッチパネル式のディスプレイである（表示手段に相当）。表示部１５へのユーザタッチ操作の検出に応じて、例えば当該装置上で動作させるプログラムの選択／実行などを行うことができる。また、本実施形態における情報処理装置の表示部１５は、上述した楽音再生装置にて再生中の楽音に関連するデモ画像などのコンテンツを表示する外部表示器としても機能し得る。
【００２９】
音声入力部１６はマイクロフォンであって、上記した楽音再生装置のスピーカから放音される重畳信号を集音し、集音した信号をＣＰＵ１１（制御部）に出力する。この音声入力部１６（マイク）は、可聴帯域の信号を取得する信号取得手段に相当する。記憶装置１７は、ＣＰＵ１１が実行する各種制御プログラムや多種多様なコンテンツあるいは後述する表示制御テーブルなどの各種データを記憶する（コンテンツ記憶手段に相当）。通信インタフェース（Ｉ／Ｆ）１８は、例えばLANやインターネット、電話回線等の有線あるいは無線の通信ネットワークに接続されており、該通信ネットワークを介して図示を省略したサーバコンピュータ等と接続され、当該サーバから制御プログラムあるいは各種データなどを本装置側に取り込むためのインタフェースである。
【００３０】
図１に示した楽音再生装置は従来知られている楽音再生装置と同様に、ユーザ選択に従ってＲＯＭ２あるいは記憶装置８等から読み出された楽曲データの再生に応じて発生される楽音信号をスピーカから放音する。ただし、ここに示す楽音再生装置は、単に楽曲データの再生に応じて発生される楽音信号をそのままスピーカから放音することだけに留まらず、表示制御情報がスピーカとマイクとを用いてデータ転送可能な信号に変調された音響信号を重畳した楽音信号（重畳信号）をスピーカから放音することができる。これによって、マイク等を介して重畳信号を受信した情報処理装置では、表示部１５（外部表示器）に表示するコンテンツの切り替えをタイミングよく行うことのできるようにしている。楽曲再生装置において例えば楽音再生モードにて多数の曲の一部のみを連続的に再生するデモ曲の楽曲データが再生された場合には、楽曲再生装置でのデモ曲の楽音進行にあわせて例えば再生曲が変わるたびに外部表示器に表示される画像やテキストなどのコンテンツが適切なタイミングで切り替えられる。以下、説明する。
【００３１】
図３は、楽音再生装置における信号生成機能の概要を説明するための機能ブロック図である。図３（Ａ）に示すように、制御部１は楽曲データ取得部Ａと曲情報取得部Ｂと表示制御情報生成部Ｃとに大きく分けることができる。楽曲データ取得部Ａは、設定操作子６の操作に応じて出力される選曲指示に従って記憶装置８から再生対象の楽曲データを読み出すと共に、再生指示に従って読み出した楽曲データを音源部８に出力する。楽曲データは曲名や歌手名等の他に楽曲を特定するための情報（曲情報）の一つとして曲毎に固有の曲ＩＤを含んでおり、曲情報取得部Ｂは前記読み出した楽曲データの曲情報から抽出した曲ＩＤを表示制御情報生成部Ｃに送る。表示制御情報生成部Ｃは、設定操作子６の切替スイッチがオンされると能動化し、曲情報取得部Ｂから出力される曲ＩＤと音源部７における楽音信号再生部Ｄから出力される再生位置情報（後述のタイミング情報）とに基づいて、表示制御情報を所定の時間間隔で（例えば０．５秒毎に）生成する。この表示制御情報は、切替スイッチがオンであれば楽曲データの再生状況に関わらず常に生成される。切替スイッチがオフされると表示制御情報生成部Ｃはその動作を停止し、表示制御情報は生成されない。なお、表示制御情報が生成される時間間隔Δｔは、後述する時間遅れに等しい。これは、楽音再生装置側では１つの表示制御情報の生成及び送信を完了すると、すぐに次の表示制御情報の生成及び送信を開始するようになっていること、また楽音再生装置から情報処理装置へ１つの表示制御情報を送信し終わるまでには常に同じ時間が必要とされることから、情報処理装置には楽音再生装置から送信された１つの表示制御情報が前記時間だけ遅れて到達することになる。その結果として、表示制御情報の生成時間間隔と後述する時間遅れ（楽音再生装置が表示制御情報の送信を開始してから情報処理装置が受信を完了するまでにかかる経過時間）とは等しくなる。
【００３２】
表示制御情報はデジタル信号であって、当該信号がコンテンツ切り替え制御に関する信号であることを示す情報や制御データ全体の長さが識別できる情報を含むヘッダー情報（１byte程度）と、曲ＩＤ及びタイミング情報からなる制御データ（２byte程度）と、制御データの終わりを示す情報からなるフッター情報（１byte程度）とにより構成されてなる。
【００３３】
音源部７は、楽音信号再生部Ｄと変調制御部Ｅとに分けることができる。楽音信号再生部Ｄは、設定操作子６の再生制御スイッチにより再生開始が指示されていると、楽曲データ取得部Ａから出力された楽曲データを再生して楽音信号を生成する。また、演奏操作子４で演奏操作が行われると、演奏操作に応じた演奏情報に従う楽音信号を生成する。生成された楽音信号は、変調制御部Ｅに出力される。さらに、楽音信号再生部Ｄは楽曲データを再生している場合に、現在再生中の楽音進行上の時間的な再生位置を表す再生位置情報を表示制御情報生成部Ｃに出力する。この再生位置情報は、再生中の楽音（詳しくは楽曲データ）の再生位置を例えば「分：秒：ミリ秒」や「小節：拍：MIDIクロック数」などで表したタイミング情報である。
【００３４】
変調制御部Ｅは、表示制御情報生成部Ｃからの表示制御情報を可聴帯域内の高帯域からなる音響信号に変調して、楽音信号再生部Ｄから楽音信号が出力されているときには該楽音信号に重畳し、この音響信号が重畳された楽音信号（重畳信号）をサウンドシステム７Ａに出力する。サウンドシステム７Ａは、スピーカを通じて重畳信号を放音する。なお、楽音信号再生部Ｄから楽音信号が出力されていないときつまり楽音再生中でない場合には、音響信号が単独でサウンドシステム７Ａ（スピーカ）に出力され放音される。
【００３５】
デジタル信号である表示制御情報を音響信号に変調して伝送する技術では、表示制御情報を可聴帯域の高周波信号（音響信号）に変調することで、一般的なスピーカで再生可能な帯域（可聴帯域）のうち人（特には成人）の耳にはほとんど聞き取ることのできない約18kHz程度の可聴帯域内の高帯域を利用してデータ伝送することのできるようにしている。これによれば、データ転送速度は最大で約80bps程度とそれほど速くはないが、10メートル以上離れた場所にも表示制御情報をデータ伝送することができる、複数の受信対象に同時に（１対多に）配信できる、既存のスピーカ設備を利用できる、スピーカ側の音量調節によって伝送範囲を制御できるといったメリットがある。なお、表示制御情報を音響信号に変調するのに利用する周波数帯域は、人に通常聴こえないような可聴帯域内の高帯域であれば上記したような約18kHz程度の周波数帯域に限られない。
【００３６】
変調制御部Ｅにおける楽音信号に音響信号を重畳する方式はどのような方式であってもよいが、変調成分が上記したような人に聴取し難いような手法を用いるのが好ましい。例えば、Ｍ系列やＧｏｌｄ系列等の拡散符号（ＰＮ符号）を、聴感上違和感のない微弱なレベルで可聴帯域内の高帯域に重畳するとよい。ここで、変調制御部Ｅの構成の一例を図３（Ｂ）に示す。変調制御部Ｅは、ＬＰＦ２０、加算器２１、拡散符号発生部２２、乗算器２３、ＸＯＲ回路２４、遅延器２５、ＬＰＦ２６、乗算器２７、およびキャリア信号発生器２８を備えている。
【００３７】
拡散符号発生部２２は、表示制御情報生成部Ｃの指示に従って定期的にＭ系列等の拡散符号を発生する。拡散符号発生部２２が発生する拡散符号と表示制御情報生成部Ｃで生成／出力される表示制御情報（−１、１に２値化した符号列）は、乗算器２３で乗算される。これにより、拡散符号を位相変調する。すなわち、ビットデータが１の場合に位相が正転、ビットデータが０の場合には位相が反転した拡散符号となる。
【００３８】
位相変調後の拡散符号は、ＸＯＲ回路２４に入力される。ＸＯＲ回路２４は、乗算器２３から入力された符号と遅延器２５を経て入力された１サンプル前の出力符号の排他的論理和を出力する。差動符号化後の信号は、−１、１で２値化しておくものとする。−１、１に２値化した差動符号を出力することで、復調側では、連続する２サンプルの差動符号を乗算することにより差動符号化前の拡散符号を抽出することができる。
【００３９】
そして、差動符号化した拡散符号は、ＬＰＦ２６においてベースバンド内で帯域制限され、乗算器２７に入力される。乗算器２７は、キャリア信号発生器２８が出力するキャリア信号（可聴帯域内の高域のキャリア信号）とＬＰＦ２６の出力信号を乗算し、差動符号化後の拡散符号をパスバンドに周波数シフトする。なお、差動符号化後の拡散符号は、アップサンプリングしてから周波数シフトしてもよい。周波数シフトされた後の拡散符号は、加算器２１により楽音信号再生部Ｄで生成される楽音信号と加算（合成）される。ただし、楽音信号は加算前にＬＰＦ２０で拡散符号の周波数成分と異なる帯域に制限される。このようにして、表示制御情報は可聴帯域の高帯域からなる音響信号に変調され楽音信号に重畳される。
【００４０】
図４は、情報処理装置におけるコンテンツ表示機能の概要を説明するための機能ブロック図である。図４（Ａ）に示すように、音声入力部１６（マイク）により重畳信号又は音響信号のみが集音された場合には、集音されたこれらの信号が制御部１１の復調部Ｆに出力される。復調部Ｆは、音声入力部１６から入力された重畳信号（又は音響信号のみ、以下同じ）を復調して該重畳信号に重畳されている音響信号を表示制御情報に復号することにより、該復号した表示制御情報に含まれる曲ＩＤ及びタイミング情報を抽出する（抽出手段に相当）。
【００４１】
図４（Ｂ）は、復調部Ｆの構成の一例を示すブロック図である。復調部Ｆは、ＨＰＦ３１、遅延器３２、乗算器３３、ＬＰＦ３４、相関器３５、ピーク検出部３６、符号判定部３７を備えている。音声入力部１６（マイク）が集音した重畳信号は、ＨＰＦ３１に入力される。ＨＰＦ３１は、楽音信号に重畳された音響信号のみを抽出するためのフィルタである。ＨＰＦ３１の出力信号は、遅延器３２及び乗算器３３に入力される。
【００４２】
遅延器３３の遅延量は、差動符号の１サンプル分の時間に設定される。差動符号をアップサンプリングしている場合、アップサンプリング後の１サンプル分の時間に設定される。乗算器３３は、ＨＰＦ３１から入力される信号と、遅延器３２から出力される１サンプル前の信号とを乗算し、遅延検波処理を行う。差動符号化された信号は、−１、１に２値化されており、１サンプル前の符号からの位相変化を示したものであるため、１サンプル前の信号と乗算することにより、差動符号化前の拡散符号が抽出される。
【００４３】
そして、乗算器３３の出力信号は、ＬＰＦ３４を経てベースバンド信号として抽出され、相関器３５に入力される。相関器３５は、フィルタ係数として拡散符号発生部２２で発生する拡散符号が設定されたＦＩＲフィルタ（マッチドフィルタ）からなり、入力された重畳信号又は音響信号と拡散符号との相関値を求める。拡散符号は、Ｍ系列やＧｏｌｄ系列等の自己相関性が高い符号を用いているため、相関器３５が出力する相関値は、ピーク検出部３６で拡散符号の周期（データ符号の周期）で正負のピーク成分が抽出される。符号判定部３７は、各ピーク成分を表示制御情報のデータ符号（正のピークを１、負のピークを０）として復号する。
【００４４】
図４（Ａ）の説明に戻って、表示制御部Ｇは表示部１５にコンテンツを適宜に切り替えながら表示する制御を行う。表示制御部Ｇは、コンテンツ選択部Ｇａとタイミング制御部Ｇｂとに分けることができる。コンテンツ選択部Ｇａは復号された表示制御情報に含まれる曲ＩＤに応じて、記憶装置１７に記憶された中から該当する表示制御テーブル（図５参照）を検索し特定する。コンテンツ選択部Ｇａは、曲ＩＤに対応する表示制御テーブルが見つかった場合に当該テーブルを記憶装置１７から読み出す。また、コンテンツ選択部Ｇａは、前記特定した表示制御テーブルを復号された表示制御情報に含まれるタイミング情報に基づき参照することによって、表示部１５に表示するコンテンツを選択する（選択手段に相当）。
【００４５】
ここで、コンテンツ選択のために用いる表示制御テーブルについて説明する。図５は、表示制御テーブルのデータ構成を示す概念図である。図５に示すように、表示制御テーブルは楽曲データ単位に（詳しくは曲ＩＤに対応付けられて）記憶装置１７に記憶されてなり、各曲ＩＤに対応付けられた表示制御テーブルは、１乃至複数のタイミングデータ及びコンテンツＩＤの組み合わせを定義する。タイミングデータは上述した表示制御情報に含まれるタイミング情報と同種のデータであり、タイミング情報と同じ形式例えば「分：秒：ミリ秒」やMIDIクロック数などの形式で表される情報である。コンテンツＩＤは、記憶装置１７に記憶されているコンテンツを特定するための各コンテンツに固有の情報である。したがって、このタイミングデータ及びコンテンツＩＤの組み合わせによれば、各タイミング時において表示器１５に表示すべき対象コンテンツを選択できる。図示の例では、楽音の再生開始からタイミング「Ｔ１」経過後（０秒後を含んでよい）に「画像ａ」、楽音の再生開始からタイミング「Ｔ２」経過後に「画像ｂ」、楽音の再生開始からタイミング「Ｔ３」経過後にコンテンツ「画像ｃ」、楽音の再生開始からタイミング「Ｔ４」経過後にコンテンツ「画像ｄ」がそれぞれ選択される。
【００４６】
図４（Ａ）の説明に戻り、上述したように、コンテンツ選択部Ｇａは復号された表示制御情報に含まれるタイミング情報に基づきコンテンツの選択を行うが、前記タイミング情報は楽音再生装置のスピーカから楽音信号に重畳されて（又は単独で）放音される音響信号をマイクにより受信することによって取得することのできる情報である。したがって、楽音再生装置から放音された音響信号を取得して該当のコンテンツを選択するまでの間にも、楽音再生装置では楽音再生が続けられており放音される楽音の再生位置は進行することから、情報処理装置側で得られるタイミング情報（楽音の再生位置）は楽音再生装置から音響信号として楽音信号に重畳され放音された時点から時間的に遅れることになる。そこで、コンテンツ選択部Ｇａでは、抽出したタイミング情報が示す楽音の再生位置を、楽音再生装置から放音された音響信号の取得に伴い発生する時間遅れ（具体的には表示制御情報の転送に係る時間）に基づいて補正し、該補正後のタイミング情報に基づき前記表示制御テーブルを参照してコンテンツを選択する。
【００４７】
ところで、図５に示した表示制御テーブルには、必ずしも補正後のタイミング情報に一致するタイミングデータが定義されているとは限らない。そこで、補正後のタイミング情報に一致するタイミングデータが定義されていない場合には、補正後のタイミング情報からさらに前記時間遅れに対応する時間内にあるタイミングデータを特定して、該特定したタイミングデータに組み合わされているコンテンツを選択する。
【００４８】
前記コンテンツ選択部Ｇａで選択されたコンテンツは、タイミング制御部Ｇｂによる制御に従って表示部１５へ出力される。タイミング制御部Ｇｂ（表示制御手段に相当）は、補正後のタイミング情報に一致するタイミングデータが定義されている場合には、コンテンツの選択に応じて表示部１５にコンテンツを出力する制御を行う。他方、補正後のタイミング情報に一致するタイミングデータが定義されていない場合には、タイマ制御に基づき補正後のタイミング情報が示す楽音の再生位置からタイマ計時を開始して、当該タイマ計時による時間経過に伴い前記特定したタイミングデータが示す楽音の再生位置への到達時に表示部１５にコンテンツを出力する制御を行う。これにより、表示部１５に表示するコンテンツの切り替えが適切なタイミングで行われる。
【００４９】
上述した楽音再生装置における信号生成機能及び情報処理装置におけるコンテンツ表示機能を実現する各制御プログラムについて、図６及び図７を用いて説明する。図６は、楽音再生装置における信号生成機能を実現する信号生成御処理の一実施例を示すフローチャートである。この「信号生成処理」は楽音再生装置のＣＰＵ１によって制御される処理であって、ユーザによるモード選択スイッチの操作に伴って当該装置が楽音再生モードに移行することに応じて開始される。
【００５０】
ステップＳ１は、ユーザによる楽音再生モードから他のモードへと移行するモード選択スイッチ操作が行われておらず、未だ当該装置が楽音再生モードに機器設定されているか否かを判定する。他のモードに移行済みであり楽音再生モードに機器設定されていないと判定した場合には（ステップＳ１のＮＯ）、当該処理を終了する。他のモードに移行されることなく未だ楽音再生モードに機器設定されていると判定した場合には（ステップＳ１のＹＥＳ）、予めユーザにより楽曲データが選択されていれば当該楽曲データの曲情報から曲ＩＤを取得し、ユーザにより楽曲データが選択されていなければ初期設定されている楽曲データを自動的に選択して該楽曲データの曲情報から曲ＩＤを取得すると共に、選択された楽曲データの再生位置に応じたタイミング情報を取得する（ステップＳ２）。ただし、このときに、楽曲データの再生開始前である場合には、例えば楽曲データの再生位置先頭を表す「00：00：00」のタイミング情報を取得するか、あるいは楽曲データの再生位置をユーザが任意に指定してそこから楽音再生を開始させようとする場合であったならば、ユーザにより指定された再生位置に該当するタイミング情報を取得する。
【００５１】
ステップＳ３は、前記取得した曲ＩＤとタイミング情報とを含んでなる上述した表示制御情報を生成する。ステップＳ４は、音源部７に対して前記生成した表示制御情報を供給する。ステップＳ５は、選択済みの楽曲データに基づく楽音再生中であるか否かを判定する。この楽音再生中であるか否かの判定は、例えば再生制御スイッチがオンされて楽曲データの再生開始が指示されている場合を楽音再生中であると判定し、再生制御スイッチがオフされて楽曲データの再生停止が指示されている場合を楽音再生中でないと判定させるなどしてよい。楽音再生中でないと判定した場合には（ステップＳ５のＮＯ）、前記生成した表示制御情報を音響信号に変調し、当該音響信号のみをサウンドシステム７Ａを介して外部出力する制御を行う（ステップＳ８）。そして、ステップＳ１の処理に戻る。
【００５２】
他方、楽音再生中であると判定した場合には（ステップＳ５のＹＥＳ）、選択済みの楽曲データを音源部７に供給して再生させることにより楽音信号を生成する制御を行う（ステップＳ６）。ステップＳ７は、前記生成した表示制御情報を音響信号に変調し、前記生成させた楽音信号に当該音響信号を重畳した重畳信号をサウンドシステム７Ａを介して外部出力する制御を行う。そして、ステップＳ１の処理に戻る。これらステップＳ１〜ステップＳ８の処理は、所定時間間隔毎（例えば０．５秒毎）に繰り返し実行される。これによると、楽曲データの再生中でない場合には、タイミング情報の変わらない同じ表示制御情報が音響信号として所定時間間隔毎にスピーカを通じて放音される一方、楽曲データの再生中である場合には、再生中の楽音の再生位置が進行するに連れてタイミング情報の異なる表示制御情報が音響信号として楽音信号に重畳され、所定時間間隔毎にスピーカを通じて放音されることになる。
【００５３】
図７は、情報処理装置におけるコンテンツ表示機能を実現するコンテンツ表示処理の一実施例を示すフローチャートである。この「コンテンツ表示処理」は情報処理装置のＣＰＵ１１によって制御される処理であって、重畳信号（又は音響信号）の受信に応じて開始される。一例として、ＣＰＵ１１は上述した復調部Ｆの機能を実現する処理（図示省略）を短い周期で繰り返し実行しており、当該処理において表示制御情報が抽出できた場合に当該「コンテンツ表示処理」を開始させるとよい。
【００５４】
ステップＳ１１は、受信した重畳信号（又は音響信号）に含まれていた表示制御情報から曲ＩＤとタイミング情報とを抽出する。ステップＳ１２は、抽出した曲ＩＤに一致する表示制御テーブルを記憶装置１７から読み出す。ステップＳ１３は、抽出したタイミング情報に基づいて楽音再生装置から放音されている現在の楽音再生位置を算出する。この現在の楽音再生位置の算出は、上述したコンテンツ選択部Ｇａによる前記抽出したタイミング情報が示す楽音の再生位置を、外部機器から放音される前記音響信号の取得に伴い発生する時間遅れに基づいて補正することに相当する。
【００５５】
ステップＳ１４は、算出した現在の再生位置つまり補正後の楽音再生位置がコンテンツの切替タイミングと一致するか否かを判定する。すなわち、表示制御テーブルに定義されているタイミングデータに前記算出した現在の再生位置に一致するものがあるか否かを検索する。算出した現在の再生位置がコンテンツの切替タイミングと一致すると判定した場合には（ステップＳ１４のＹＥＳ）、再生位置に対応したコンテンツを選択する（ステップＳ１５）。ステップＳ１６は、選択したコンテンツに切り替え表示する制御を行う。
【００５６】
他方、算出した現在の再生位置がコンテンツの切替タイミングと一致しないと判定した場合には（ステップＳ１４のＮＯ）、算出した現在の再生位置からさらに表示制御情報が生成される時間間隔に等しい時間Δｔ以内にコンテンツの切替タイミングが到来するか否かを判定する（ステップＳ１７）。つまり、時間Δｔ後には次の表示制御信号を楽音再生装置から受信することが予測されるため、それより前にコンテンツを切り替える必要があるかどうかを判定する。時間Δｔ以内にコンテンツの切替タイミングが到来しないと判定した場合には（ステップＳ１７のＮＯ）、当該処理を終了する。時間Δｔ以内にコンテンツの切替タイミングが到来すると判定した場合には（ステップＳ１７のＹＥＳ）、次の切替タイミングにて表示すべきコンテンツを選択する（ステップＳ１８）。これは、上述したコンテンツ選択部Ｇａにおいて、表示制御テーブルに補正後のタイミング情報に一致するタイミングデータが定義されていない場合に、補正後のタイミング情報から時間遅れに対応する時間内（つまり表示制御情報が生成される時間間隔Δｔ以内）にあるタイミングデータを特定し、当該タイミングデータと組み合わされているコンテンツを選択することに相当する処理である。
【００５７】
ステップＳ１９は、次の切り替えタイミングまでの時間を計測する。ステップＳ２０は、切り替えタイミングに到達したら選択済みの次のコンテンツに切り替え表示する制御を行う。これらは、上述したタイミング制御部Ｇｂにおいて、補正後のタイミング情報に一致するタイミングデータが定義されていない場合には、タイマ制御に基づき、受信したタイミング情報から算出される現在の（補正後の）楽音再生位置からタイマ計時を開始して、当該タイマ計時による時間経過に伴い上記ステップＳ１７にて特定されたタイミング到達した時点で、表示部１５にコンテンツを出力する制御を行うことに相当する処理である。
【００５８】
ここで、表示制御情報（音響信号）の送受信とコンテンツ表示の各動作タイミングを説明するためのタイミングチャートの一例を図８に示す。上段に楽音再生装置による表示制御情報（音響信号）の送信タイミング、下段に情報処理装置による表示制御情報（音響信号）の受信タイミングを示している。なお、ここでは表示制御テーブルにおいて、タイミング情報である経過時刻ｔ０に一致するタイミングデータＴ１にコンテンツ画像ａ、経過時刻ｔ２に一致するタイミングデータＴ２にコンテンツ画像ｂ、経過時刻ｔ３〜ｔ４間の何れかの時刻に一致するタイミングデータＴ３にコンテンツ画像ｃが組み合わされているものとする。
【００５９】
楽音再生装置の動作を説明すると、設定操作子６の操作により楽音再生モードに入ると表示制御情報の生成が指示され（図中における情報生成開始）、表示制御情報（以下、単に情報と呼ぶ）を生成し送信する処理を開始する。ただし、この時点では楽音再生開始前であるため、タイミング情報として経過時刻「ｔ０（00：00：00）」を持つ情報ｔ０（ここでは区別するために便宜的に楽曲先頭からの楽音再生位置を表す前記経過時刻を付す）の送信が終わると、すぐに同じタイミング情報を持つ情報ｔ０を生成し送信する。ここで、１つの情報の送受信にΔｔだけの時間（例えば０．５秒）がかかるとすれば、各情報が送信される時間間隔はΔｔである。図中に示す時刻０に楽音再生が開始された場合、時刻０の時点においては経過時刻「ｔ０」の情報ｔ０が生成され送信される。ただし、それ以降に関しては楽音再生に伴い楽音が進行するので、時刻０のΔｔ後には楽音の再生位置が「ｔ１」となるので、経過時刻「ｔ１」を持つ情報ｔ１が生成され送信される。こうした情報の送受信は、楽音再生開始前であろうと楽音再生開始後（つまり楽音再生中）であろうと何ら関係なくΔｔ間隔で行われる。このようにして、楽音再生装置ではΔｔ間隔で情報を次々に生成して送信する（図中の情報ｔ０〜情報ｔ４参照）。
【００６０】
次に、情報処理装置の動作を説明する。図７のステップＳ１３で説明したとおり、情報処理装置では、受信した表示制御情報に含まれるタイミング情報から表示制御情報の送受信にかかる時間Δｔを用いて現在の楽音再生位置を算出する。しかし、受信したタイミング情報の内容によっては、以下の２つのうちどちらか（あるいは両方）の例外処理を行なうことが望ましい。第一の例外処理としては、受信したタイミング情報が「ｔ０(00:00:00)」のように曲の先頭位置である場合であり、その場合には、楽音再生を開始する前である可能性が極めて高いため、楽音再生位置の補正を行なわないこととする。すなわち、情報ｔ０を初めて受信したタイミングで、ただちに、現時刻がタイミングデータＴ１と一致する「ｔ０」であると判断し、タイミングデータＴ１に組み合わされている画像ａを表示部１５に表示する。なお、受信したタイミング情報が「ｔ０(00:00:00)」であった場合、受信した曲ＩＤに関わらず楽音再生開始前に表示する初期コンテンツを用意しておき、該初期コンテンツを表示部１５に表示するようにしてもよい。この場合、楽音再生装置が楽音再生モードに入ると情報処理装置はタイミング情報「ｔ０」を含む音響信号を受信することになるので、楽音再生開始前に楽音再生モードの紹介や機器の操作方法などを案内する専用画面を表示部１５に表示することができる。
【００６１】
第二の例外処理としては、同じタイミング情報を所定回数以上例えば２回以上受信した場合であり、その場合には、楽音再生の停止中であると判断してタイミング情報の補正処理を行なわないこととする。例えば、図８の例では情報ｔ０が楽音再生装置から３回送信されているが、情報処理装置がはじめて情報ｔ０を受信したときには、現在の再生位置を（時刻ｔ０+Δｔ）であると算出する。この「ｔ０＋Δｔ」は表示制御テーブルに一致するタイミングデータがないため、コンテンツ画像の切り替え処理を行なわない。２度目に情報ｔ０を受信したときには、前回受信したタイミング情報ｔ０と同じであることから現在の楽音再生位置をΔｔで補正せず、受信したｔ０が現在の楽音再生位置であると算出する。このｔ０は、表示制御テーブルに一致するタイミングデータＴ１があるため、このタイミングデータＴ１に組み合わされている画像ａを表示部１５に表示する。上記のいずれかの例外処理を設けることで、楽音再生開始前あるいは楽音再生停止中のコンテンツ表示を適切に行なうことができる。
【００６２】
楽音再生開始後においては、楽音の進行に応じた経過時刻の異なる情報を順次に受信し、受信したタイミング情報を１つの表示制御情報（音響信号）の送受信にかかる時間Δｔにて補正して、現在の楽音再生位置を算出する。図８の例では、３回続けて受信した情報ｔ０の後に続いて受信する情報ｔ１は経過時刻「ｔ１」を持つが、この情報ｔ１の受信が完了するのは時刻（ｔ１+Δｔ）時点であることから、この場合、楽音再生装置から放音されている楽音の再生位置は経過時刻で表すならば（ｔ１＋Δｔ）だけ進行した位置である。そこで、この情報ｔ１が持つ経過時刻「ｔ１」（楽音再生位置）を補正して現在の楽音の再生位置として経過時刻「ｔ２」（ｔ１＋Δｔ）に特定する。この特定した経過時刻「ｔ２」はタイミングデータＴ２に一致するので、時刻（ｔ１＋Δｔ）時点すなわち時刻「ｔ２」時点では表示部１５の表示が画像ａから画像ｂに切り替えられる。情報ｔ１に続いて受信する情報ｔ２は経過時刻「ｔ２」を持つが、補正後の経過時刻「ｔ３」（ｔ２+Δｔ）に一致するタイミングデータがない。しかし、補正後の経過時刻「ｔ３」からさらに上述した時間遅れに対応する時間（Δｔ）内までのいずれかに一致するタイミングデータＴ３があることから、当該タイミングデータＴ３に組み合わされている画像ｃを表示対象コンテンツに選択する。この場合、情報ｔ２の受信時である時刻ｔ３からからタイマによる計時を開始して、前記タイミングデータＴ３に一致する時間に到達した時点で、表示部１５の表示を画像ｂから前記選択した画像ｃに切り替える。
【００６３】
以上のように、本実施形態における情報処理装置では外部機器から放音される、楽音の再生位置を表す再生位置情報を変調した可聴帯域の高帯域からなる音響信号が重畳された楽音信号を取得する。そして、この音響信号を復号して再生位置情報を取得し、これに基づき選択したコンテンツを表示手段に表示する。ただし、前記音響信号は外部機器から放音されるものであり、当該音響信号の取得時には放音されている楽音の再生位置は進行する。そこで、前記取得した再生位置情報に基づく楽音の再生位置を補正する。この楽音の再生位置の補正は楽音再生装置から放音される前記音響信号の取得に伴い発生する時間遅れに基づいて行われ、該補正後の楽音の再生位置に基づき選択したコンテンツを表示手段に表示する。このようにして、再生位置情報が楽音再生装置から音響信号として放音されるが故に生じる楽音再生位置の時間遅れ（ずれ）を補正することによって、再生中の楽音の再生位置に応じたコンテンツを適切なタイミングで切り替えて表示器に表示させることができるようになる。
【００６４】
以上、図面に基づいて実施形態の一例を説明したが、本発明はこれに限定されるものではなく、様々な実施形態が可能であることは言うまでもない。例えば、上述した楽譜制御処理プログラムや楽譜表示処理プログラムはコンピュータソフトウェアの形態に限らず、DSP（ディジタル・シグナル・プロセッサ）によって処理されるマイクロプログラムの形態でも実施可能であり、またこの種のプログラムの形態に限らず、ディスクリート回路又は集積回路若しくは大規模集積回路等を含んで構成された専用のハードウェア装置の形態で実施してもよい。
なお、上述した実施例では、重畳信号や音響信号をスピーカを通じて放音させる一方でそれらの信号をマイクにより受信することにより外部表示器（情報処理装置の表示部１５）に表示されたコンテンツの切り替え制御を行うものを例に示したがこれに限らず、重畳信号や音響信号の前記楽音再生装置と前記情報処理装置間の送受信は有線によってもよい。
【００６５】
上述した実施例では、曲ＩＤ及びタイミング情報を含むデジタルの表示制御情報を生成しこれを変調する例を示したが、曲ＩＤ及びタイミング情報に対応した音響信号を予め用意しておき、抽出した曲ＩＤ及びタイミング情報に対応した音響信号を読み出してこれを楽音信号に加算（合成）することにより重畳信号を生成し出力する、又は読み出した音響信号そのものを出力するようにしてもよい。この場合、情報処理装置では、音響信号と曲ＩＤ及びタイミング情報との対応を記した変換テーブルを予め記憶しておき、受信した音響信号に基づいて前記変換テーブルを照合することにより、曲ＩＤ及びタイミング情報を抽出するようにするとよい。
【符号の説明】
【００６６】
１，１１…ＣＰＵ、１Ａ，１１Ａ…タイマ、２，１２…ＲＯＭ、３，１３…ＲＡＭ、４…演奏操作子、５，１５…表示部、６…設定操作子、７…音源部、８，１７…記憶装置、９，１８…通信インタフェース、１４…入力操作部、１６…音声入力部（マイク）、Ｄ，１Ｄ…データ及びアドレスバス、Ａ…楽曲データ取得部、Ｂ…曲情報取得部、Ｃ…表示制御情報生成部、Ｄ…楽音信号再生部、Ｅ…変調制御部、Ｆ…復調部、Ｇ…表示制御部、Ｇａ…コンテンツ選択部、Ｇｂ…タイミング制御部
【技術分野】
【０００１】
この発明は、楽音の進行にあわせて表示器に表示するコンテンツの切り替えを行う情報処理装置及びプログラムに関する。特に、外部装置からスピーカ等を介して発音（放音）される楽音をマイク等により受信し、該受信した楽音に基づき表示器に表示するコンテンツを適切なタイミングで切り替える技術に関する。
【背景技術】
【０００２】
従来から、画像や映像あるいはテキスト等からなるコンテンツを本体に設けられた表示器に表示するような場合に、例えばデモ曲などの再生に基づき発音される楽音の進行に同期させて前記表示器に表示するコンテンツを自動的に切り替えることのできるようにした装置が知られている。こうした装置では、一般的に楽曲データ（例えばMIDIデータ）の所定タイミングに当該タイミングに表示させたいコンテンツを指定する情報（コンテンツ指定情報）を予め埋め込んでおき、このコンテンツ指定情報が楽音再生にあわせて読み出されることに応じて表示器上のコンテンツの表示を自動的に切り替えるようにしている。これによれば、例えば楽器のデモ曲を再生させながら音色紹介画像や機能紹介テキストなどを順次に切り替え表示するのでユーザに対して効果的なデモを提供することができるし、あるいは楽音の再生位置にあわせて歌詞画像を切り替え表示することでユーザが歌を練習するなどにも役立つ。この場合、楽音の再生とコンテンツの表示とは楽曲データに従って同一装置上で行われる。
【０００３】
ところで、装置本体にそもそも表示器が設けられていない場合や例え設けられていたとしても表示能力が十分でない小型の表示器であるような場合には、当然に上記したような音色紹介画像や機能紹介テキストあるいは歌詞画像などのコンテンツを表示させることが難しい。そこで、そのような場合であってもコンテンツを表示したいというユーザの要望を実現するために、楽器本体とは別途独立して構成されてなる外部機器の表示器（外部表示器）に上記したようなコンテンツを表示するようにしたものがある。特に、最近ではスレート型のパーソナルコンピュータ（タブレット端末などとも呼ばれる）やスマートフォンなどといったタッチ操作可能なタッチパネル式ディスプレイを有する情報処理装置に、例えば所定の音楽機能を実現する音楽アプリケーションプログラム（ソフトウェアプログラム）をインストールしておき、該プログラムを動作させることにより当該装置を外部表示器などとして動作させることのできるようになっている。
【０００４】
上記したような情報処理装置の表示器（外部表示器）に表示するコンテンツを楽音の進行に同期させて切り替える技術の一例を挙げると、例えば下記に示す特許文献１あるいは特許文献２に記載のものがある。特許文献１に記載の技術では、楽曲データに対応した表示進行データ（詳しくは変更対象のコンテンツを指定する情報を時間軸に並べて設定したデータであって、対応する楽曲データと時間的に同じ長さを持つ）を予め作成しておき、楽曲データの再生開始と同時に前記表示進行データの読み出しを情報処理装置側で開始することにより、情報処理装置において楽音の再生にあわせて適切なタイミングでコンテンツを切り替えるようにしている。また、楽曲データの再生装置から定期的に同期信号を情報処理装置に送信することで、情報処理装置ではその同期信号にあわせて表示進行データの再生状態を補正して、コンテンツの切り替えタイミングにずれが生じないようにしている。
【０００５】
特許文献２に記載の技術では、楽曲データの再生装置からスピーカを介して発音（放音）される楽器演奏音や音声等を含んでなる楽音をマイクによって取得し、該取得した楽音の解析により特定される楽音の再生位置にあったコンテンツを情報処理装置の表示器に表示させるようにしている。
【０００６】
また、オーディオデータに曲情報を電子透かしとして重畳し、受信側の機器（情報処理装置）において前記オーディオデータに基づいてコンテンツを特定するものが提案されている（下記に示す特許文献３参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平11-126066号公報
【特許文献２】特開2007-086572号公報
【特許文献３】特開2002-314980号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、上述した特許文献１に記載の技術では、楽音再生装置と情報処理装置といった異なる機器間で楽曲データ再生と表示進行データの読み出しとをタイミングを計って同時に開始する操作を行わなければならないがそうした操作は面倒であるし、また楽音の再生を任意の位置から行いたいような場合には楽曲データの再生開始位置と表示進行データの読み出し開始位置とをあわせて選択的に指定しなければならないがその指定は非常に難しいことであった。また、同期信号にあわせ楽音の再生位置と表示するコンテンツとのずれを補正するようにしているが、少なくとも同期信号を受信するまではそれらのずれを解消することができない、という問題があった。
【０００９】
特許文献２に記載の技術では、スピーカを介して放音される楽音の解析により特定される楽音の再生位置に基づいてコンテンツの切り替えがなされるが、これによると楽音の再生位置の認識に時間がかかったり再生位置を誤認識したりしやすいがため、楽音の再生位置とコンテンツの切り替えとがうまく同期しなくなる恐れが大きかった。また、周囲で発生する雑音などによってはマイクにより拾うことが難しくなる楽曲データの再生に応じて発生される広い範囲の可聴帯域の楽音（楽音信号）そのものを用いることから、マイク受信環境に影響を受けて正しく楽音の再生位置を抽出することができずにコンテンツの切り替えがうまくいかなくなる恐れが大きかった。
【００１０】
また、特許文献３に記載の技術は単にコンテンツを特定するだけで、機器同士で何らかの連係動作を行うものではないことから、そもそも外部表示器に表示されるコンテンツを楽音の進行にあわせて適切なタイミングで切り替えることは難しい。
【００１１】
本発明は上述の点に鑑みてなされたもので、外部装置からスピーカ等を介して発音（放音）された楽音をマイク等により受信し、該受信した楽音に基づき適切なタイミングでコンテンツを切り替える際に、楽音の再生位置に応じて適切なタイミングで表示器に反映させることのできるようにした、情報処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る情報処理装置は、コンテンツを多数記憶する記憶手段と、コンテンツを表示する表示手段と、外部機器から放音される可聴帯域の信号を取得する信号取得手段であって、当該信号取得手段は楽音の再生位置を表す再生位置情報を含む表示制御情報を変換した可聴帯域の高帯域からなる音響信号を取得するものと、前記取得した音響信号から再生位置情報を抽出する抽出手段と、前記抽出した再生位置情報に基づく楽音の再生位置を、外部機器から放音される前記音響信号の取得に伴い発生する時間遅れに基づいて補正する補正手段と、前記補正した楽音の再生位置に基づき表示対象のコンテンツを前記記憶された多数のコンテンツの中から選択する選択手段と、前記選択したコンテンツを前記表示手段に表示する表示制御手段とを備える。
【００１３】
本発明によると、情報処理装置は外部機器から放音される音響信号を取得する。前記音響信号は、楽音の再生位置を表す再生位置情報を含む表示制御情報を変換した可聴帯域の高帯域からなる。そして、この音響信号から再生位置情報を抽出して、これに基づく楽音の再生位置を補正する。この楽音の再生位置の補正は、外部機器から放音される前記音響信号の取得に伴い発生する時間遅れに基づいて行われる。補正後の楽音の再生位置に基づき表示対象のコンテンツを前記記憶された多数のコンテンツの中から選択して、前記選択したコンテンツを前記表示手段に表示する。すなわち、表示器に表示するコンテンツを切り替え制御するための再生位置情報は、外部機器から放音される音響信号として転送されるため、外部機器が音響信号の送信を開始してから情報処理装置が受信を完了するまでに所定の時間がかかる。この経過時間分を、楽音再生位置の時間遅れ（ずれ）として補正することで、情報処理装置が信号を受信した時点における楽音再生位置を正確に予測する。こうすることにより、本願発明では再生中の楽音の再生位置に応じたコンテンツを適切なタイミングで切り替えて表示器に反映させることができるようになる。これによると、表示進行データを必要としないことから、従来のような面倒な操作を行わなくてよく有利である。また、楽音信号を解析しなくてよいことから従来よりも処理に時間がかからないので、特に曲の途中から再生を開始する場合などに再生中の楽音の再生位置にコンテンツの表示を正確にまた素早く追従させることができる。さらに、音響信号は高帯域のみで構成される信号であるので、広い帯域で構成される楽音信号を解析して演奏位置を特定する従来技術に比べて受信環境が悪くても影響を受けにくい。
【００１４】
本発明は装置の発明として構成し実施することができるのみならず、方法の発明として構成し実施することができる。また、本発明は、コンピュータまたはＤＳＰ等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記憶媒体の形態で実施することもできる。
【発明の効果】
【００１５】
この発明によれば、楽音の再生位置を表す再生位置情報を含む表示制御情報を変換した可聴帯域の高帯域からなる音響信号を取得し、前記音響信号から抽出される前記再生位置情報に基づく楽音の再生位置を、外部機器から放音された前記音響信号を取得して前記再生位置情報を抽出するまでに発生する時間遅れに基づいて補正し、この補正後の楽音再生位置に基づいて表示対象のコンテンツを選択して表示手段に表示するようにした。これにより、再生中の楽音の進行にあわせて表示器に表示するコンテンツを切り替える際に、楽音の再生位置に応じたコンテンツを適切なタイミングで切り替え表示することができるようになる、という効果が得られる。
【図面の簡単な説明】
【００１６】
【図１】楽音再生装置の全体構成の一実施例を示すハード構成ブロック図である。
【図２】情報処理装置の全体構成の一実施例を示すハード構成ブロック図である。
【図３】楽音再生装置における信号生成機能の概要を説明するための機能ブロック図である。
【図４】情報処理装置におけるコンテンツ表示機能の概要を説明するための機能ブロック図である。
【図５】表示制御テーブルのデータ構成を示す概念図である。
【図６】信号生成処理の一実施例を示すフローチャートである。
【図７】コンテンツ表示処理の一実施例を示すフローチャートである。
【図８】信号送受信とコンテンツ表示の各動作タイミングを説明するためのタイミングチャートの一例である。
【発明を実施するための形態】
【００１７】
以下、この発明の実施の形態を添付図面に従って詳細に説明する。
【００１８】
まず、表示器を有する情報処理装置（後述する図２参照）に対して、スピーカ等を介して楽音を放音する楽音再生装置（外部機器に相当）について説明する。図１は、楽音再生装置の全体構成の一実施例を示すハード構成ブロック図である。本実施例に示す楽音再生装置は少なくとも任意の楽曲データの再生に基づいて楽音を発音（放音）することの可能な例えば電子楽器であって、マイクロプロセッサユニット（ＣＰＵ）１、リードオンリメモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３からなるマイクロコンピュータによって制御される。ＣＰＵ１は、この楽音再生装置全体の動作を制御する（図３の制御部に相当）。このＣＰＵ１に対して、データ及びアドレスバスＤを介してＲＯＭ２、ＲＡＭ３、演奏操作子４、表示部５、設定操作子６、音源部７、記憶装置８、通信インタフェース（Ｉ／Ｆ）９がそれぞれ接続されている。更に、ＣＰＵ１には、タイマ割込み処理（インタラプト処理）における割込み時間や各種時間を計時するタイマ１Ａが接続されている。例えば、タイマ１Ａはクロックパルスを発生し、発生したクロックパルスをＣＰＵ１に対して処理タイミング命令として与えたり、あるいはＣＰＵ１に対してインタラプト命令として与える。ＣＰＵ１は、これらの命令に従って各種処理を実行する。
【００１９】
ＲＯＭ２は、ＣＰＵ１により実行あるいは参照される各種制御プログラムや各種データ等を格納する。ＲＡＭ３は、ＣＰＵ１が所定のプログラムを実行する際に発生する各種データなどを一時的に記憶するワーキングメモリとして、あるいは現在実行中のプログラムやそれに関連するデータを一時的に記憶するメモリ等として使用される。ＲＡＭ３の所定のアドレス領域がそれぞれの機能に割り当てられ、レジスタやフラグ、テーブル、テンポラリメモリなどとして利用される。
【００２０】
演奏操作子４は楽音の音高を選択するための複数の鍵を備えた例えば鍵盤等のようなものであり、各鍵に対応してキースイッチを有しており、この演奏操作子４（鍵盤等）はユーザ自身の手弾きによるマニュアル演奏のために使用することは勿論のこと、再生したい楽曲データの選択などのために使用することもできる。
【００２１】
表示部５は例えば液晶表示パネル（ＬＣＤ）やＣＲＴ等から構成される表示器（ディスプレイ）であって、当該装置における演奏環境／楽音制御に関する各種設定の設定状況や、ＲＯＭ２や記憶装置８に記憶されている各種データあるいはＣＰＵ１の制御状態などを表示する。ただし、この当該装置に設けられている表示部５は後述する情報処理装置の表示部１５とは異なり簡易な表示のみが可能な表示器、つまりは表示可能な文字／記号や文字数等が限定されており、複雑な表示や一度に多くの内容を表示することさらには画像などを表示することの難しい、表示領域の非常に狭い表示器である。
【００２２】
設定操作子（スイッチ等）６は、例えば当該装置を記憶装置８内に記憶された楽曲データ（デモ曲や内蔵曲など）に基づいて楽音を発音させる楽音再生モードに設定するモード選択スイッチ、再生対象の楽曲データを選択する曲選択スイッチ、楽曲データの再生開始及び再生停止などを行う再生制御スイッチ、音色や効果等の演奏環境／楽音制御に関する各種設定（パラメータ）を決定するためのスイッチ類、表示制御情報（図３参照）の出力オン／オフを切り替える切替ボタンなどの各種の操作子を含んで構成される。なお、設定操作子６は上記した以外にも音高、音色、効果等を選択・設定・制御するための数値データ入力用のテンキーや文字データ入力用のキーボード等の各種操作子を含んでいてもよい。これらの設定操作子６が操作された場合には、その操作されたスイッチに応じた情報やデータ等がデータ及びアドレスバスＤを介してＣＰＵ１（制御部）に入力される。
【００２３】
音源部７は複数のチャンネルで楽音信号の同時発生が可能であり、データ及びアドレスバス１Ｄを経由して与えられた、ユーザによる演奏操作子４の操作に応じて発生される及び／又は任意の楽曲データの再生に応じて発生される各種演奏情報に基づいて楽音信号を生成する。また、本実施形態においては前記楽音信号を生成するだけでなく、例えば直接スペクトラム拡散技術などを用いてデジタル信号である表示制御情報を可聴帯域の高周波信号（これを本明細書では音響信号と呼ぶ）に変調（変換）して、前記楽音信号に前記音響信号を重畳した楽音信号（これを便宜的に重畳信号と呼んで区別する）を生成することのできるようにもなっている（後述する図３（Ｂ）参照）。音源部７から発生される重畳信号は、アンプやスピーカなどを含むサウンドシステム７Ａから発音（放音）される。このサウンドシステム７Ａは、可聴帯域の信号を外部出力する。なお、音源部７とサウンドシステム７Ａの構成には、従来のいかなる構成を用いてもよい。例えば、音源部７はFM、PCM、物理モデル、フォルマント合成等の各種楽音合成方式のいずれを採用してもよく、また専用のハードウェアで構成してもよいし、ＤＳＰ（Digital Signal Processor）やＣＰＵ１によるソフトウェア処理で構成してもよい。
【００２４】
記憶装置８は、楽曲データなどの予め用意された各種データの他、ＣＰＵ１が実行する各種制御プログラム等を記憶する。なお、上述したＲＯＭ２に制御プログラムが記憶されていない場合、この記憶装置８（例えばハードディスク）に制御プログラムを記憶させておき、それをＲＡＭ３に読み込むことにより、ＲＯＭ２に制御プログラムを記憶している場合と同様の動作をＣＰＵ１に実行させることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、記憶装置８はハードディスク（HD）に限られず、フレキシブルディスク（FD）、コンパクトディスク（CD‐ROM・CD‐RAM）、光磁気ディスク（MO）、あるいはDVD（Digital Versatile Disk）等の様々な形態の記憶媒体を利用する記憶装置であればどのようなものであってもよい。あるいは、フラッシュメモリなどの半導体メモリであってもよい。
【００２５】
通信インタフェース（Ｉ／Ｆ）９は、当該装置と図示しない他の機器との間で制御プログラムや各種データなどの各種情報を送受信するためのインタフェースである。この通信インタフェース９は、例えばMIDIインタフェース，ＬＡＮ，インターネット，電話回線等であってよく、また有線あるいは無線のものいずれかでなく双方を具えていてよい。
【００２６】
なお、上述した実施例において、演奏操作子４は鍵盤楽器の形態に限らず、弦楽器や管楽器あるいは打楽器等どのようなタイプの形態でもよい。また、楽音再生装置は演奏操作子４や音源部７などを１つの装置本体に内蔵したものに限らず、それぞれが別々に構成され、MIDIインタフェースや各種ネットワーク等の通信インタフェース９を用いて各装置を接続するように構成されたものであってもよいことは言うまでもない。
なお、本発明に係る楽音再生装置は電子楽器に限らず、カラオケ装置、パーソナルコンピュータ、携帯電話等の携帯通信端末、あるいはゲーム装置など、楽曲データの再生に伴いスピーカ等を通じて楽音を放音することのできるものであればどのような形態の装置・機器であってもよい。携帯通信端末の場合、端末のみで所定の機能が完結している場合に限らず、機能の一部をサーバ側に持たせ、端末とサーバとからなるシステム全体として所定の機能を実現するようにしてもよい。
【００２７】
次に、上記した楽音再生装置とは別途独立に設けられてなり、コンテンツを表示するための表示部（外部表示器）を備える情報処理装置について説明する。図２は、情報処理装置の全体構成の一実施例を示すハード構成ブロック図である。図２に示す情報処理装置はＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３からなるマイクロコンピュータによって制御されてなるものであって、前記コンピュータが所定の音楽機能を実現するプログラム（例えば後述する「コンテンツ表示処理」プログラム）を実行することに基づき、表示部１５へのコンテンツ表示切り替えに係る処理を実施することが可能となる、例えばタブレット端末やスマートフォン等の電子機器である。ＣＰＵ１１はこの情報処理装置全体の動作を制御するものであり（図４の制御部参照）、このＣＰＵ１には各種時間を計時するタイマ１１Ａが接続されている。ＲＯＭ１２は制御プログラムやデータ等を恒常的に記憶し、ＲＡＭ１３はそれらを一時的に記憶する。
【００２８】
入力操作部１４は物理操作子であって、例えば電源オン／オフスイッチ、外部出力音量やマイク感度などの調整スイッチなどである。表示部１５は、ユーザタッチ操作を検出（認識）する検知機能を有してなるタッチパネル式のディスプレイである（表示手段に相当）。表示部１５へのユーザタッチ操作の検出に応じて、例えば当該装置上で動作させるプログラムの選択／実行などを行うことができる。また、本実施形態における情報処理装置の表示部１５は、上述した楽音再生装置にて再生中の楽音に関連するデモ画像などのコンテンツを表示する外部表示器としても機能し得る。
【００２９】
音声入力部１６はマイクロフォンであって、上記した楽音再生装置のスピーカから放音される重畳信号を集音し、集音した信号をＣＰＵ１１（制御部）に出力する。この音声入力部１６（マイク）は、可聴帯域の信号を取得する信号取得手段に相当する。記憶装置１７は、ＣＰＵ１１が実行する各種制御プログラムや多種多様なコンテンツあるいは後述する表示制御テーブルなどの各種データを記憶する（コンテンツ記憶手段に相当）。通信インタフェース（Ｉ／Ｆ）１８は、例えばLANやインターネット、電話回線等の有線あるいは無線の通信ネットワークに接続されており、該通信ネットワークを介して図示を省略したサーバコンピュータ等と接続され、当該サーバから制御プログラムあるいは各種データなどを本装置側に取り込むためのインタフェースである。
【００３０】
図１に示した楽音再生装置は従来知られている楽音再生装置と同様に、ユーザ選択に従ってＲＯＭ２あるいは記憶装置８等から読み出された楽曲データの再生に応じて発生される楽音信号をスピーカから放音する。ただし、ここに示す楽音再生装置は、単に楽曲データの再生に応じて発生される楽音信号をそのままスピーカから放音することだけに留まらず、表示制御情報がスピーカとマイクとを用いてデータ転送可能な信号に変調された音響信号を重畳した楽音信号（重畳信号）をスピーカから放音することができる。これによって、マイク等を介して重畳信号を受信した情報処理装置では、表示部１５（外部表示器）に表示するコンテンツの切り替えをタイミングよく行うことのできるようにしている。楽曲再生装置において例えば楽音再生モードにて多数の曲の一部のみを連続的に再生するデモ曲の楽曲データが再生された場合には、楽曲再生装置でのデモ曲の楽音進行にあわせて例えば再生曲が変わるたびに外部表示器に表示される画像やテキストなどのコンテンツが適切なタイミングで切り替えられる。以下、説明する。
【００３１】
図３は、楽音再生装置における信号生成機能の概要を説明するための機能ブロック図である。図３（Ａ）に示すように、制御部１は楽曲データ取得部Ａと曲情報取得部Ｂと表示制御情報生成部Ｃとに大きく分けることができる。楽曲データ取得部Ａは、設定操作子６の操作に応じて出力される選曲指示に従って記憶装置８から再生対象の楽曲データを読み出すと共に、再生指示に従って読み出した楽曲データを音源部８に出力する。楽曲データは曲名や歌手名等の他に楽曲を特定するための情報（曲情報）の一つとして曲毎に固有の曲ＩＤを含んでおり、曲情報取得部Ｂは前記読み出した楽曲データの曲情報から抽出した曲ＩＤを表示制御情報生成部Ｃに送る。表示制御情報生成部Ｃは、設定操作子６の切替スイッチがオンされると能動化し、曲情報取得部Ｂから出力される曲ＩＤと音源部７における楽音信号再生部Ｄから出力される再生位置情報（後述のタイミング情報）とに基づいて、表示制御情報を所定の時間間隔で（例えば０．５秒毎に）生成する。この表示制御情報は、切替スイッチがオンであれば楽曲データの再生状況に関わらず常に生成される。切替スイッチがオフされると表示制御情報生成部Ｃはその動作を停止し、表示制御情報は生成されない。なお、表示制御情報が生成される時間間隔Δｔは、後述する時間遅れに等しい。これは、楽音再生装置側では１つの表示制御情報の生成及び送信を完了すると、すぐに次の表示制御情報の生成及び送信を開始するようになっていること、また楽音再生装置から情報処理装置へ１つの表示制御情報を送信し終わるまでには常に同じ時間が必要とされることから、情報処理装置には楽音再生装置から送信された１つの表示制御情報が前記時間だけ遅れて到達することになる。その結果として、表示制御情報の生成時間間隔と後述する時間遅れ（楽音再生装置が表示制御情報の送信を開始してから情報処理装置が受信を完了するまでにかかる経過時間）とは等しくなる。
【００３２】
表示制御情報はデジタル信号であって、当該信号がコンテンツ切り替え制御に関する信号であることを示す情報や制御データ全体の長さが識別できる情報を含むヘッダー情報（１byte程度）と、曲ＩＤ及びタイミング情報からなる制御データ（２byte程度）と、制御データの終わりを示す情報からなるフッター情報（１byte程度）とにより構成されてなる。
【００３３】
音源部７は、楽音信号再生部Ｄと変調制御部Ｅとに分けることができる。楽音信号再生部Ｄは、設定操作子６の再生制御スイッチにより再生開始が指示されていると、楽曲データ取得部Ａから出力された楽曲データを再生して楽音信号を生成する。また、演奏操作子４で演奏操作が行われると、演奏操作に応じた演奏情報に従う楽音信号を生成する。生成された楽音信号は、変調制御部Ｅに出力される。さらに、楽音信号再生部Ｄは楽曲データを再生している場合に、現在再生中の楽音進行上の時間的な再生位置を表す再生位置情報を表示制御情報生成部Ｃに出力する。この再生位置情報は、再生中の楽音（詳しくは楽曲データ）の再生位置を例えば「分：秒：ミリ秒」や「小節：拍：MIDIクロック数」などで表したタイミング情報である。
【００３４】
変調制御部Ｅは、表示制御情報生成部Ｃからの表示制御情報を可聴帯域内の高帯域からなる音響信号に変調して、楽音信号再生部Ｄから楽音信号が出力されているときには該楽音信号に重畳し、この音響信号が重畳された楽音信号（重畳信号）をサウンドシステム７Ａに出力する。サウンドシステム７Ａは、スピーカを通じて重畳信号を放音する。なお、楽音信号再生部Ｄから楽音信号が出力されていないときつまり楽音再生中でない場合には、音響信号が単独でサウンドシステム７Ａ（スピーカ）に出力され放音される。
【００３５】
デジタル信号である表示制御情報を音響信号に変調して伝送する技術では、表示制御情報を可聴帯域の高周波信号（音響信号）に変調することで、一般的なスピーカで再生可能な帯域（可聴帯域）のうち人（特には成人）の耳にはほとんど聞き取ることのできない約18kHz程度の可聴帯域内の高帯域を利用してデータ伝送することのできるようにしている。これによれば、データ転送速度は最大で約80bps程度とそれほど速くはないが、10メートル以上離れた場所にも表示制御情報をデータ伝送することができる、複数の受信対象に同時に（１対多に）配信できる、既存のスピーカ設備を利用できる、スピーカ側の音量調節によって伝送範囲を制御できるといったメリットがある。なお、表示制御情報を音響信号に変調するのに利用する周波数帯域は、人に通常聴こえないような可聴帯域内の高帯域であれば上記したような約18kHz程度の周波数帯域に限られない。
【００３６】
変調制御部Ｅにおける楽音信号に音響信号を重畳する方式はどのような方式であってもよいが、変調成分が上記したような人に聴取し難いような手法を用いるのが好ましい。例えば、Ｍ系列やＧｏｌｄ系列等の拡散符号（ＰＮ符号）を、聴感上違和感のない微弱なレベルで可聴帯域内の高帯域に重畳するとよい。ここで、変調制御部Ｅの構成の一例を図３（Ｂ）に示す。変調制御部Ｅは、ＬＰＦ２０、加算器２１、拡散符号発生部２２、乗算器２３、ＸＯＲ回路２４、遅延器２５、ＬＰＦ２６、乗算器２７、およびキャリア信号発生器２８を備えている。
【００３７】
拡散符号発生部２２は、表示制御情報生成部Ｃの指示に従って定期的にＭ系列等の拡散符号を発生する。拡散符号発生部２２が発生する拡散符号と表示制御情報生成部Ｃで生成／出力される表示制御情報（−１、１に２値化した符号列）は、乗算器２３で乗算される。これにより、拡散符号を位相変調する。すなわち、ビットデータが１の場合に位相が正転、ビットデータが０の場合には位相が反転した拡散符号となる。
【００３８】
位相変調後の拡散符号は、ＸＯＲ回路２４に入力される。ＸＯＲ回路２４は、乗算器２３から入力された符号と遅延器２５を経て入力された１サンプル前の出力符号の排他的論理和を出力する。差動符号化後の信号は、−１、１で２値化しておくものとする。−１、１に２値化した差動符号を出力することで、復調側では、連続する２サンプルの差動符号を乗算することにより差動符号化前の拡散符号を抽出することができる。
【００３９】
そして、差動符号化した拡散符号は、ＬＰＦ２６においてベースバンド内で帯域制限され、乗算器２７に入力される。乗算器２７は、キャリア信号発生器２８が出力するキャリア信号（可聴帯域内の高域のキャリア信号）とＬＰＦ２６の出力信号を乗算し、差動符号化後の拡散符号をパスバンドに周波数シフトする。なお、差動符号化後の拡散符号は、アップサンプリングしてから周波数シフトしてもよい。周波数シフトされた後の拡散符号は、加算器２１により楽音信号再生部Ｄで生成される楽音信号と加算（合成）される。ただし、楽音信号は加算前にＬＰＦ２０で拡散符号の周波数成分と異なる帯域に制限される。このようにして、表示制御情報は可聴帯域の高帯域からなる音響信号に変調され楽音信号に重畳される。
【００４０】
図４は、情報処理装置におけるコンテンツ表示機能の概要を説明するための機能ブロック図である。図４（Ａ）に示すように、音声入力部１６（マイク）により重畳信号又は音響信号のみが集音された場合には、集音されたこれらの信号が制御部１１の復調部Ｆに出力される。復調部Ｆは、音声入力部１６から入力された重畳信号（又は音響信号のみ、以下同じ）を復調して該重畳信号に重畳されている音響信号を表示制御情報に復号することにより、該復号した表示制御情報に含まれる曲ＩＤ及びタイミング情報を抽出する（抽出手段に相当）。
【００４１】
図４（Ｂ）は、復調部Ｆの構成の一例を示すブロック図である。復調部Ｆは、ＨＰＦ３１、遅延器３２、乗算器３３、ＬＰＦ３４、相関器３５、ピーク検出部３６、符号判定部３７を備えている。音声入力部１６（マイク）が集音した重畳信号は、ＨＰＦ３１に入力される。ＨＰＦ３１は、楽音信号に重畳された音響信号のみを抽出するためのフィルタである。ＨＰＦ３１の出力信号は、遅延器３２及び乗算器３３に入力される。
【００４２】
遅延器３３の遅延量は、差動符号の１サンプル分の時間に設定される。差動符号をアップサンプリングしている場合、アップサンプリング後の１サンプル分の時間に設定される。乗算器３３は、ＨＰＦ３１から入力される信号と、遅延器３２から出力される１サンプル前の信号とを乗算し、遅延検波処理を行う。差動符号化された信号は、−１、１に２値化されており、１サンプル前の符号からの位相変化を示したものであるため、１サンプル前の信号と乗算することにより、差動符号化前の拡散符号が抽出される。
【００４３】
そして、乗算器３３の出力信号は、ＬＰＦ３４を経てベースバンド信号として抽出され、相関器３５に入力される。相関器３５は、フィルタ係数として拡散符号発生部２２で発生する拡散符号が設定されたＦＩＲフィルタ（マッチドフィルタ）からなり、入力された重畳信号又は音響信号と拡散符号との相関値を求める。拡散符号は、Ｍ系列やＧｏｌｄ系列等の自己相関性が高い符号を用いているため、相関器３５が出力する相関値は、ピーク検出部３６で拡散符号の周期（データ符号の周期）で正負のピーク成分が抽出される。符号判定部３７は、各ピーク成分を表示制御情報のデータ符号（正のピークを１、負のピークを０）として復号する。
【００４４】
図４（Ａ）の説明に戻って、表示制御部Ｇは表示部１５にコンテンツを適宜に切り替えながら表示する制御を行う。表示制御部Ｇは、コンテンツ選択部Ｇａとタイミング制御部Ｇｂとに分けることができる。コンテンツ選択部Ｇａは復号された表示制御情報に含まれる曲ＩＤに応じて、記憶装置１７に記憶された中から該当する表示制御テーブル（図５参照）を検索し特定する。コンテンツ選択部Ｇａは、曲ＩＤに対応する表示制御テーブルが見つかった場合に当該テーブルを記憶装置１７から読み出す。また、コンテンツ選択部Ｇａは、前記特定した表示制御テーブルを復号された表示制御情報に含まれるタイミング情報に基づき参照することによって、表示部１５に表示するコンテンツを選択する（選択手段に相当）。
【００４５】
ここで、コンテンツ選択のために用いる表示制御テーブルについて説明する。図５は、表示制御テーブルのデータ構成を示す概念図である。図５に示すように、表示制御テーブルは楽曲データ単位に（詳しくは曲ＩＤに対応付けられて）記憶装置１７に記憶されてなり、各曲ＩＤに対応付けられた表示制御テーブルは、１乃至複数のタイミングデータ及びコンテンツＩＤの組み合わせを定義する。タイミングデータは上述した表示制御情報に含まれるタイミング情報と同種のデータであり、タイミング情報と同じ形式例えば「分：秒：ミリ秒」やMIDIクロック数などの形式で表される情報である。コンテンツＩＤは、記憶装置１７に記憶されているコンテンツを特定するための各コンテンツに固有の情報である。したがって、このタイミングデータ及びコンテンツＩＤの組み合わせによれば、各タイミング時において表示器１５に表示すべき対象コンテンツを選択できる。図示の例では、楽音の再生開始からタイミング「Ｔ１」経過後（０秒後を含んでよい）に「画像ａ」、楽音の再生開始からタイミング「Ｔ２」経過後に「画像ｂ」、楽音の再生開始からタイミング「Ｔ３」経過後にコンテンツ「画像ｃ」、楽音の再生開始からタイミング「Ｔ４」経過後にコンテンツ「画像ｄ」がそれぞれ選択される。
【００４６】
図４（Ａ）の説明に戻り、上述したように、コンテンツ選択部Ｇａは復号された表示制御情報に含まれるタイミング情報に基づきコンテンツの選択を行うが、前記タイミング情報は楽音再生装置のスピーカから楽音信号に重畳されて（又は単独で）放音される音響信号をマイクにより受信することによって取得することのできる情報である。したがって、楽音再生装置から放音された音響信号を取得して該当のコンテンツを選択するまでの間にも、楽音再生装置では楽音再生が続けられており放音される楽音の再生位置は進行することから、情報処理装置側で得られるタイミング情報（楽音の再生位置）は楽音再生装置から音響信号として楽音信号に重畳され放音された時点から時間的に遅れることになる。そこで、コンテンツ選択部Ｇａでは、抽出したタイミング情報が示す楽音の再生位置を、楽音再生装置から放音された音響信号の取得に伴い発生する時間遅れ（具体的には表示制御情報の転送に係る時間）に基づいて補正し、該補正後のタイミング情報に基づき前記表示制御テーブルを参照してコンテンツを選択する。
【００４７】
ところで、図５に示した表示制御テーブルには、必ずしも補正後のタイミング情報に一致するタイミングデータが定義されているとは限らない。そこで、補正後のタイミング情報に一致するタイミングデータが定義されていない場合には、補正後のタイミング情報からさらに前記時間遅れに対応する時間内にあるタイミングデータを特定して、該特定したタイミングデータに組み合わされているコンテンツを選択する。
【００４８】
前記コンテンツ選択部Ｇａで選択されたコンテンツは、タイミング制御部Ｇｂによる制御に従って表示部１５へ出力される。タイミング制御部Ｇｂ（表示制御手段に相当）は、補正後のタイミング情報に一致するタイミングデータが定義されている場合には、コンテンツの選択に応じて表示部１５にコンテンツを出力する制御を行う。他方、補正後のタイミング情報に一致するタイミングデータが定義されていない場合には、タイマ制御に基づき補正後のタイミング情報が示す楽音の再生位置からタイマ計時を開始して、当該タイマ計時による時間経過に伴い前記特定したタイミングデータが示す楽音の再生位置への到達時に表示部１５にコンテンツを出力する制御を行う。これにより、表示部１５に表示するコンテンツの切り替えが適切なタイミングで行われる。
【００４９】
上述した楽音再生装置における信号生成機能及び情報処理装置におけるコンテンツ表示機能を実現する各制御プログラムについて、図６及び図７を用いて説明する。図６は、楽音再生装置における信号生成機能を実現する信号生成御処理の一実施例を示すフローチャートである。この「信号生成処理」は楽音再生装置のＣＰＵ１によって制御される処理であって、ユーザによるモード選択スイッチの操作に伴って当該装置が楽音再生モードに移行することに応じて開始される。
【００５０】
ステップＳ１は、ユーザによる楽音再生モードから他のモードへと移行するモード選択スイッチ操作が行われておらず、未だ当該装置が楽音再生モードに機器設定されているか否かを判定する。他のモードに移行済みであり楽音再生モードに機器設定されていないと判定した場合には（ステップＳ１のＮＯ）、当該処理を終了する。他のモードに移行されることなく未だ楽音再生モードに機器設定されていると判定した場合には（ステップＳ１のＹＥＳ）、予めユーザにより楽曲データが選択されていれば当該楽曲データの曲情報から曲ＩＤを取得し、ユーザにより楽曲データが選択されていなければ初期設定されている楽曲データを自動的に選択して該楽曲データの曲情報から曲ＩＤを取得すると共に、選択された楽曲データの再生位置に応じたタイミング情報を取得する（ステップＳ２）。ただし、このときに、楽曲データの再生開始前である場合には、例えば楽曲データの再生位置先頭を表す「00：00：00」のタイミング情報を取得するか、あるいは楽曲データの再生位置をユーザが任意に指定してそこから楽音再生を開始させようとする場合であったならば、ユーザにより指定された再生位置に該当するタイミング情報を取得する。
【００５１】
ステップＳ３は、前記取得した曲ＩＤとタイミング情報とを含んでなる上述した表示制御情報を生成する。ステップＳ４は、音源部７に対して前記生成した表示制御情報を供給する。ステップＳ５は、選択済みの楽曲データに基づく楽音再生中であるか否かを判定する。この楽音再生中であるか否かの判定は、例えば再生制御スイッチがオンされて楽曲データの再生開始が指示されている場合を楽音再生中であると判定し、再生制御スイッチがオフされて楽曲データの再生停止が指示されている場合を楽音再生中でないと判定させるなどしてよい。楽音再生中でないと判定した場合には（ステップＳ５のＮＯ）、前記生成した表示制御情報を音響信号に変調し、当該音響信号のみをサウンドシステム７Ａを介して外部出力する制御を行う（ステップＳ８）。そして、ステップＳ１の処理に戻る。
【００５２】
他方、楽音再生中であると判定した場合には（ステップＳ５のＹＥＳ）、選択済みの楽曲データを音源部７に供給して再生させることにより楽音信号を生成する制御を行う（ステップＳ６）。ステップＳ７は、前記生成した表示制御情報を音響信号に変調し、前記生成させた楽音信号に当該音響信号を重畳した重畳信号をサウンドシステム７Ａを介して外部出力する制御を行う。そして、ステップＳ１の処理に戻る。これらステップＳ１〜ステップＳ８の処理は、所定時間間隔毎（例えば０．５秒毎）に繰り返し実行される。これによると、楽曲データの再生中でない場合には、タイミング情報の変わらない同じ表示制御情報が音響信号として所定時間間隔毎にスピーカを通じて放音される一方、楽曲データの再生中である場合には、再生中の楽音の再生位置が進行するに連れてタイミング情報の異なる表示制御情報が音響信号として楽音信号に重畳され、所定時間間隔毎にスピーカを通じて放音されることになる。
【００５３】
図７は、情報処理装置におけるコンテンツ表示機能を実現するコンテンツ表示処理の一実施例を示すフローチャートである。この「コンテンツ表示処理」は情報処理装置のＣＰＵ１１によって制御される処理であって、重畳信号（又は音響信号）の受信に応じて開始される。一例として、ＣＰＵ１１は上述した復調部Ｆの機能を実現する処理（図示省略）を短い周期で繰り返し実行しており、当該処理において表示制御情報が抽出できた場合に当該「コンテンツ表示処理」を開始させるとよい。
【００５４】
ステップＳ１１は、受信した重畳信号（又は音響信号）に含まれていた表示制御情報から曲ＩＤとタイミング情報とを抽出する。ステップＳ１２は、抽出した曲ＩＤに一致する表示制御テーブルを記憶装置１７から読み出す。ステップＳ１３は、抽出したタイミング情報に基づいて楽音再生装置から放音されている現在の楽音再生位置を算出する。この現在の楽音再生位置の算出は、上述したコンテンツ選択部Ｇａによる前記抽出したタイミング情報が示す楽音の再生位置を、外部機器から放音される前記音響信号の取得に伴い発生する時間遅れに基づいて補正することに相当する。
【００５５】
ステップＳ１４は、算出した現在の再生位置つまり補正後の楽音再生位置がコンテンツの切替タイミングと一致するか否かを判定する。すなわち、表示制御テーブルに定義されているタイミングデータに前記算出した現在の再生位置に一致するものがあるか否かを検索する。算出した現在の再生位置がコンテンツの切替タイミングと一致すると判定した場合には（ステップＳ１４のＹＥＳ）、再生位置に対応したコンテンツを選択する（ステップＳ１５）。ステップＳ１６は、選択したコンテンツに切り替え表示する制御を行う。
【００５６】
他方、算出した現在の再生位置がコンテンツの切替タイミングと一致しないと判定した場合には（ステップＳ１４のＮＯ）、算出した現在の再生位置からさらに表示制御情報が生成される時間間隔に等しい時間Δｔ以内にコンテンツの切替タイミングが到来するか否かを判定する（ステップＳ１７）。つまり、時間Δｔ後には次の表示制御信号を楽音再生装置から受信することが予測されるため、それより前にコンテンツを切り替える必要があるかどうかを判定する。時間Δｔ以内にコンテンツの切替タイミングが到来しないと判定した場合には（ステップＳ１７のＮＯ）、当該処理を終了する。時間Δｔ以内にコンテンツの切替タイミングが到来すると判定した場合には（ステップＳ１７のＹＥＳ）、次の切替タイミングにて表示すべきコンテンツを選択する（ステップＳ１８）。これは、上述したコンテンツ選択部Ｇａにおいて、表示制御テーブルに補正後のタイミング情報に一致するタイミングデータが定義されていない場合に、補正後のタイミング情報から時間遅れに対応する時間内（つまり表示制御情報が生成される時間間隔Δｔ以内）にあるタイミングデータを特定し、当該タイミングデータと組み合わされているコンテンツを選択することに相当する処理である。
【００５７】
ステップＳ１９は、次の切り替えタイミングまでの時間を計測する。ステップＳ２０は、切り替えタイミングに到達したら選択済みの次のコンテンツに切り替え表示する制御を行う。これらは、上述したタイミング制御部Ｇｂにおいて、補正後のタイミング情報に一致するタイミングデータが定義されていない場合には、タイマ制御に基づき、受信したタイミング情報から算出される現在の（補正後の）楽音再生位置からタイマ計時を開始して、当該タイマ計時による時間経過に伴い上記ステップＳ１７にて特定されたタイミング到達した時点で、表示部１５にコンテンツを出力する制御を行うことに相当する処理である。
【００５８】
ここで、表示制御情報（音響信号）の送受信とコンテンツ表示の各動作タイミングを説明するためのタイミングチャートの一例を図８に示す。上段に楽音再生装置による表示制御情報（音響信号）の送信タイミング、下段に情報処理装置による表示制御情報（音響信号）の受信タイミングを示している。なお、ここでは表示制御テーブルにおいて、タイミング情報である経過時刻ｔ０に一致するタイミングデータＴ１にコンテンツ画像ａ、経過時刻ｔ２に一致するタイミングデータＴ２にコンテンツ画像ｂ、経過時刻ｔ３〜ｔ４間の何れかの時刻に一致するタイミングデータＴ３にコンテンツ画像ｃが組み合わされているものとする。
【００５９】
楽音再生装置の動作を説明すると、設定操作子６の操作により楽音再生モードに入ると表示制御情報の生成が指示され（図中における情報生成開始）、表示制御情報（以下、単に情報と呼ぶ）を生成し送信する処理を開始する。ただし、この時点では楽音再生開始前であるため、タイミング情報として経過時刻「ｔ０（00：00：00）」を持つ情報ｔ０（ここでは区別するために便宜的に楽曲先頭からの楽音再生位置を表す前記経過時刻を付す）の送信が終わると、すぐに同じタイミング情報を持つ情報ｔ０を生成し送信する。ここで、１つの情報の送受信にΔｔだけの時間（例えば０．５秒）がかかるとすれば、各情報が送信される時間間隔はΔｔである。図中に示す時刻０に楽音再生が開始された場合、時刻０の時点においては経過時刻「ｔ０」の情報ｔ０が生成され送信される。ただし、それ以降に関しては楽音再生に伴い楽音が進行するので、時刻０のΔｔ後には楽音の再生位置が「ｔ１」となるので、経過時刻「ｔ１」を持つ情報ｔ１が生成され送信される。こうした情報の送受信は、楽音再生開始前であろうと楽音再生開始後（つまり楽音再生中）であろうと何ら関係なくΔｔ間隔で行われる。このようにして、楽音再生装置ではΔｔ間隔で情報を次々に生成して送信する（図中の情報ｔ０〜情報ｔ４参照）。
【００６０】
次に、情報処理装置の動作を説明する。図７のステップＳ１３で説明したとおり、情報処理装置では、受信した表示制御情報に含まれるタイミング情報から表示制御情報の送受信にかかる時間Δｔを用いて現在の楽音再生位置を算出する。しかし、受信したタイミング情報の内容によっては、以下の２つのうちどちらか（あるいは両方）の例外処理を行なうことが望ましい。第一の例外処理としては、受信したタイミング情報が「ｔ０(00:00:00)」のように曲の先頭位置である場合であり、その場合には、楽音再生を開始する前である可能性が極めて高いため、楽音再生位置の補正を行なわないこととする。すなわち、情報ｔ０を初めて受信したタイミングで、ただちに、現時刻がタイミングデータＴ１と一致する「ｔ０」であると判断し、タイミングデータＴ１に組み合わされている画像ａを表示部１５に表示する。なお、受信したタイミング情報が「ｔ０(00:00:00)」であった場合、受信した曲ＩＤに関わらず楽音再生開始前に表示する初期コンテンツを用意しておき、該初期コンテンツを表示部１５に表示するようにしてもよい。この場合、楽音再生装置が楽音再生モードに入ると情報処理装置はタイミング情報「ｔ０」を含む音響信号を受信することになるので、楽音再生開始前に楽音再生モードの紹介や機器の操作方法などを案内する専用画面を表示部１５に表示することができる。
【００６１】
第二の例外処理としては、同じタイミング情報を所定回数以上例えば２回以上受信した場合であり、その場合には、楽音再生の停止中であると判断してタイミング情報の補正処理を行なわないこととする。例えば、図８の例では情報ｔ０が楽音再生装置から３回送信されているが、情報処理装置がはじめて情報ｔ０を受信したときには、現在の再生位置を（時刻ｔ０+Δｔ）であると算出する。この「ｔ０＋Δｔ」は表示制御テーブルに一致するタイミングデータがないため、コンテンツ画像の切り替え処理を行なわない。２度目に情報ｔ０を受信したときには、前回受信したタイミング情報ｔ０と同じであることから現在の楽音再生位置をΔｔで補正せず、受信したｔ０が現在の楽音再生位置であると算出する。このｔ０は、表示制御テーブルに一致するタイミングデータＴ１があるため、このタイミングデータＴ１に組み合わされている画像ａを表示部１５に表示する。上記のいずれかの例外処理を設けることで、楽音再生開始前あるいは楽音再生停止中のコンテンツ表示を適切に行なうことができる。
【００６２】
楽音再生開始後においては、楽音の進行に応じた経過時刻の異なる情報を順次に受信し、受信したタイミング情報を１つの表示制御情報（音響信号）の送受信にかかる時間Δｔにて補正して、現在の楽音再生位置を算出する。図８の例では、３回続けて受信した情報ｔ０の後に続いて受信する情報ｔ１は経過時刻「ｔ１」を持つが、この情報ｔ１の受信が完了するのは時刻（ｔ１+Δｔ）時点であることから、この場合、楽音再生装置から放音されている楽音の再生位置は経過時刻で表すならば（ｔ１＋Δｔ）だけ進行した位置である。そこで、この情報ｔ１が持つ経過時刻「ｔ１」（楽音再生位置）を補正して現在の楽音の再生位置として経過時刻「ｔ２」（ｔ１＋Δｔ）に特定する。この特定した経過時刻「ｔ２」はタイミングデータＴ２に一致するので、時刻（ｔ１＋Δｔ）時点すなわち時刻「ｔ２」時点では表示部１５の表示が画像ａから画像ｂに切り替えられる。情報ｔ１に続いて受信する情報ｔ２は経過時刻「ｔ２」を持つが、補正後の経過時刻「ｔ３」（ｔ２+Δｔ）に一致するタイミングデータがない。しかし、補正後の経過時刻「ｔ３」からさらに上述した時間遅れに対応する時間（Δｔ）内までのいずれかに一致するタイミングデータＴ３があることから、当該タイミングデータＴ３に組み合わされている画像ｃを表示対象コンテンツに選択する。この場合、情報ｔ２の受信時である時刻ｔ３からからタイマによる計時を開始して、前記タイミングデータＴ３に一致する時間に到達した時点で、表示部１５の表示を画像ｂから前記選択した画像ｃに切り替える。
【００６３】
以上のように、本実施形態における情報処理装置では外部機器から放音される、楽音の再生位置を表す再生位置情報を変調した可聴帯域の高帯域からなる音響信号が重畳された楽音信号を取得する。そして、この音響信号を復号して再生位置情報を取得し、これに基づき選択したコンテンツを表示手段に表示する。ただし、前記音響信号は外部機器から放音されるものであり、当該音響信号の取得時には放音されている楽音の再生位置は進行する。そこで、前記取得した再生位置情報に基づく楽音の再生位置を補正する。この楽音の再生位置の補正は楽音再生装置から放音される前記音響信号の取得に伴い発生する時間遅れに基づいて行われ、該補正後の楽音の再生位置に基づき選択したコンテンツを表示手段に表示する。このようにして、再生位置情報が楽音再生装置から音響信号として放音されるが故に生じる楽音再生位置の時間遅れ（ずれ）を補正することによって、再生中の楽音の再生位置に応じたコンテンツを適切なタイミングで切り替えて表示器に表示させることができるようになる。
【００６４】
以上、図面に基づいて実施形態の一例を説明したが、本発明はこれに限定されるものではなく、様々な実施形態が可能であることは言うまでもない。例えば、上述した楽譜制御処理プログラムや楽譜表示処理プログラムはコンピュータソフトウェアの形態に限らず、DSP（ディジタル・シグナル・プロセッサ）によって処理されるマイクロプログラムの形態でも実施可能であり、またこの種のプログラムの形態に限らず、ディスクリート回路又は集積回路若しくは大規模集積回路等を含んで構成された専用のハードウェア装置の形態で実施してもよい。
なお、上述した実施例では、重畳信号や音響信号をスピーカを通じて放音させる一方でそれらの信号をマイクにより受信することにより外部表示器（情報処理装置の表示部１５）に表示されたコンテンツの切り替え制御を行うものを例に示したがこれに限らず、重畳信号や音響信号の前記楽音再生装置と前記情報処理装置間の送受信は有線によってもよい。
【００６５】
上述した実施例では、曲ＩＤ及びタイミング情報を含むデジタルの表示制御情報を生成しこれを変調する例を示したが、曲ＩＤ及びタイミング情報に対応した音響信号を予め用意しておき、抽出した曲ＩＤ及びタイミング情報に対応した音響信号を読み出してこれを楽音信号に加算（合成）することにより重畳信号を生成し出力する、又は読み出した音響信号そのものを出力するようにしてもよい。この場合、情報処理装置では、音響信号と曲ＩＤ及びタイミング情報との対応を記した変換テーブルを予め記憶しておき、受信した音響信号に基づいて前記変換テーブルを照合することにより、曲ＩＤ及びタイミング情報を抽出するようにするとよい。
【符号の説明】
【００６６】
１，１１…ＣＰＵ、１Ａ，１１Ａ…タイマ、２，１２…ＲＯＭ、３，１３…ＲＡＭ、４…演奏操作子、５，１５…表示部、６…設定操作子、７…音源部、８，１７…記憶装置、９，１８…通信インタフェース、１４…入力操作部、１６…音声入力部（マイク）、Ｄ，１Ｄ…データ及びアドレスバス、Ａ…楽曲データ取得部、Ｂ…曲情報取得部、Ｃ…表示制御情報生成部、Ｄ…楽音信号再生部、Ｅ…変調制御部、Ｆ…復調部、Ｇ…表示制御部、Ｇａ…コンテンツ選択部、Ｇｂ…タイミング制御部
【特許請求の範囲】
【請求項１】
コンテンツを多数記憶する記憶手段と、
コンテンツを表示する表示手段と、
外部機器から放音される可聴帯域の信号を取得する信号取得手段であって、当該信号取得手段は楽音の再生位置を表す再生位置情報を含む表示制御情報を変換した可聴帯域の高帯域からなる音響信号を取得するものと、
前記取得した音響信号から再生位置情報を抽出する抽出手段と、
前記抽出した再生位置情報に基づく楽音の再生位置を、外部機器から放音される前記音響信号の取得に伴い発生する時間遅れに基づいて補正する補正手段と、
前記補正した楽音の再生位置に基づき表示対象のコンテンツを前記記憶された多数のコンテンツの中から選択する選択手段と、
前記選択したコンテンツを前記表示手段に表示する表示制御手段と
を備える情報処理装置。
【請求項２】
前記選択手段は、前記補正した楽音の再生位置が予め決められた切替タイミングに一致する場合には該切替タイミングに対応付けられたコンテンツを選択し、前記補正した楽音の再生位置が予め決められた切替タイミングに一致しない場合には前記補正後の再生位置からさらに前記時間遅れに対応する時間内にある切替タイミングを特定し、該特定した切替タイミングに対応付けられたコンテンツを選択することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示制御手段は、前記補正した再生位置が予め決められた切替タイミングに一致しない場合、前記補正した楽音の再生位置から計時を開始した時間の経過に伴う前記特定した切替タイミングの到達時に前記選択したコンテンツを表示する制御を行うことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
コンピュータに、
外部機器から放音される可聴帯域の信号であって、楽音の再生位置を表す再生位置情報を含む表示制御情報を変換した可聴帯域の高帯域からなる音響信号を取得する手順と、
前記取得した音響信号から再生位置情報を抽出する手順と、
前記抽出した再生位置情報に基づく楽音の再生位置を、外部機器から放音される前記音響信号の取得に伴い発生する時間遅れに基づいて補正する手順と、
前記補正した楽音の再生位置に基づき表示対象のコンテンツを選択する手順と、
前記選択したコンテンツを表示する手順と
を実行させるプログラム。
【請求項１】
コンテンツを多数記憶する記憶手段と、
コンテンツを表示する表示手段と、
外部機器から放音される可聴帯域の信号を取得する信号取得手段であって、当該信号取得手段は楽音の再生位置を表す再生位置情報を含む表示制御情報を変換した可聴帯域の高帯域からなる音響信号を取得するものと、
前記取得した音響信号から再生位置情報を抽出する抽出手段と、
前記抽出した再生位置情報に基づく楽音の再生位置を、外部機器から放音される前記音響信号の取得に伴い発生する時間遅れに基づいて補正する補正手段と、
前記補正した楽音の再生位置に基づき表示対象のコンテンツを前記記憶された多数のコンテンツの中から選択する選択手段と、
前記選択したコンテンツを前記表示手段に表示する表示制御手段と
を備える情報処理装置。
【請求項２】
前記選択手段は、前記補正した楽音の再生位置が予め決められた切替タイミングに一致する場合には該切替タイミングに対応付けられたコンテンツを選択し、前記補正した楽音の再生位置が予め決められた切替タイミングに一致しない場合には前記補正後の再生位置からさらに前記時間遅れに対応する時間内にある切替タイミングを特定し、該特定した切替タイミングに対応付けられたコンテンツを選択することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示制御手段は、前記補正した再生位置が予め決められた切替タイミングに一致しない場合、前記補正した楽音の再生位置から計時を開始した時間の経過に伴う前記特定した切替タイミングの到達時に前記選択したコンテンツを表示する制御を行うことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
コンピュータに、
外部機器から放音される可聴帯域の信号であって、楽音の再生位置を表す再生位置情報を含む表示制御情報を変換した可聴帯域の高帯域からなる音響信号を取得する手順と、
前記取得した音響信号から再生位置情報を抽出する手順と、
前記抽出した再生位置情報に基づく楽音の再生位置を、外部機器から放音される前記音響信号の取得に伴い発生する時間遅れに基づいて補正する手順と、
前記補正した楽音の再生位置に基づき表示対象のコンテンツを選択する手順と、
前記選択したコンテンツを表示する手順と
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−６８９００（Ｐ２０１３−６８９００Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０９１１８（Ｐ２０１１−２０９１１８）
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]