説明

マルチメディア配信システム及びその配信サーバ、通信端末

【課題】 データ配信量を抑制しつつマルチメディア製作者の意図に基づき再生可能なマルチメディア配信システム及びその配信サーバ、通信端末を提供する。
【解決手段】 配信サーバ10は、基準メディアとして指定した音声メディアコンテンツをストリーミング配信しつつ、その他の静的メディアを、上記基準メディアの再生過程における再生タイミングに先んじて配信する。一方、携帯電話機20側では、受信した基準メディアをストリーミング再生しつつ、そのストリームデータ列中に記述された各データブロックIDを検知したときは、そのデータブロックIDに対応する静的メディアを再生する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マルチメディア配信システム及びその配信サーバ、通信端末に関する。
【背景技術】
【0002】
従来のマルチメディア配信システムは、例えば動画ファイルと音声ファイルとをストリームデータとして同期をとりつつ配信(いわゆるストリーミング配信)されている。このストリームデータは、映像ストリームのデータブロックと音声ストリームのデータブロックとがそれぞれ事前に決定されたデータ量単位で交互に配信され、これを受信する通信端末にて両者の同期をとりつつ再生される(例えば下記特許文献1参照)。
【特許文献1】特表2002−523156公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、従来のマルチメディア配信システムでは、上記動画メディアや音声メディア等の動的メディアの再生過程において同じ内容で所定時間だけ再生されるテキストや静止画等の静的メディアについても動的メディアとして取り扱う必要があった。つまり、例えば静止画であれば同じ内容の静止画データが連続的に連なるストリームデータとして配信しなければならないため、必ずしてもマルチメディア製作者の意図したとおりに再生されないおそれがあった。また、データ配信量が増大するという問題があった。
【0004】
本発明は上記のような事情に基づいて完成されたものであって、データ配信量を抑制しつつマルチメディア製作者の意図に基づき再生可能なマルチメディア配信システム及びその配信サーバ、通信端末を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記の目的を達成するための手段として、請求項1の発明に係るマルチメディア配信システムは、互いに通信可能に接続される通信端末及び配信サーバを備え、時間経過に伴って再生内容が変化する1次メディアコンテンツ、及び、当該1次メディアコンテンツの再生過程における所定のタイミングで再生される2次メディアコンテンツを含むマルチメディアコンテンツを、前記配信サーバから配信し、前記通信端末にて受信しつつ当該通信端末に備えられた再生手段で再生するマルチメディア配信システムにおいて、前記配信サーバが配信するマルチメディアコンテンツのうち、前記2次メディアコンテンツを構成するデータブロックには、そのブロック識別情報が付与される一方で、基準メディアとして指定された前記1次メディアコンテンツには、その再生過程における、前記2次メディアコンテンツの再生タイミングに対応するデータ位置にそのデータブロックに付与されたブロック識別情報が記述されており、前記通信端末は、前記再生手段での前記基準メディアの再生中に、前記ブロック識別情報を検知する検知手段と、前記検知手段で検知されたブロック識別情報に対応する前記2次メディアコンテンツのデータブロックを、その検知タイミングに同期したタイミングで前記再生手段にて再生させる再生制御手段と、を備えて構成されていることを特徴とする。
<用語説明>
本発明でいう「1次メディアコンテンツ」は、時間的要素を含み、時間経過に伴って再生内容が変化する動的メディア(例えば、音声(特に音楽)、テキスト、動画など)をいう。
また、「2次メディアコンテンツ」は、主として時間経過に伴って再生内容が変化しない静的メディア(静止画、音など)をいうが、これに限らず、1次メディアコンテンツの再生過程で再生されるものであれば上記の動的メディアであってもよい。
更に、通信端末と配信サーバとの通信は、有線配信であっても無線配信であってもよい。
また、「通信端末」は、設置型のパーソナルコンピュータであってもよい。これに限らず、例えば携帯電話機等の移動体通信装置や携帯型の個人情報機器(PDA)等であってもよい。
また、「再生手段」には、LRT等の表示手段やスピーカ等の発音手段などが含まれる。
【0006】
請求項2の発明は、請求項1に記載のマルチメディア配信システムにおいて、前記2次メディアコンテンツには、前記通信端末が有する機能を実行させるための指令情報が含まれていることを特徴とする。
<用語説明>
なお、「指令情報」としては、例えば、発音手段や発光手段を起動させたり、携帯電話のバイブレータ機能を起動させたり、メールを受信して表示させたり、また表示手段の表示パターン(ディスプレイの画面表示パターン、発光灯の発光パターンなど)を制御したりする機能などを実行させるための制御コマンドが含まれる。
【0007】
請求項3の発明に係る配信サーバは、時間の流れに沿って継続的に再生される1次メディアコンテンツ、及び、当該1次メディアコンテンツの再生過程における所定のタイミングで再生される2次メディアコンテンツを含むマルチメディアコンテンツを、通信可能に接続される通信端末へ配信する配信サーバであって、前記マルチメディアコンテンツのうち、前記2次メディアコンテンツを構成するデータブロックには、そのブロック識別情報が付与される一方で、基準メディアとして指定された前記1次メディアコンテンツには、その再生過程における、前記2次メディアコンテンツの再生タイミングに対応するデータ位置にそのデータブロックに付与されたブロック識別情報が記述されており、前記1次メディアコンテンツをストリーム配信しつつ、前記2次メディアコンテンツを、前記通信端末での再生タイミングに先んじて配信することを特徴とする。
【0008】
請求項4の発明は、請求項3に記載の配信サーバにおいて、前記2次メディアコンテンツには、前記通信端末が有する機能を実行させるための指令情報が含まれていることを特徴とする。
【0009】
請求項5の発明に係る通信端末は、時間の流れに沿って継続的に再生される1次メディアコンテンツ、及び、当該1次メディアコンテンツの再生過程における所定のタイミングで再生される2次メディアコンテンツを含むマルチメディアコンテンツを、通信可能に接続される配信サーバから受信しつつ再生手段で再生する通信端末であって、前記マルチメディアコンテンツのうち、前記2次メディアコンテンツを構成するデータブロックには、そのブロック識別情報が付与される一方で、基準メディアとして指定された前記1次メディアコンテンツには、その再生過程における、前記2次メディアコンテンツの再生タイミングに対応するデータ位置にそのデータブロックに付与されたブロック識別情報が記述されており、前記再生手段での前記基準メディアの再生中に、前記ブロック識別情報を検知する検知手段と、前記検知手段で検知されたブロック識別情報に対応する前記2次メディアコンテンツのデータブロックを、その検知タイミングに同期したタイミングで前記再生手段にて再生させる再生制御手段と、を備えて構成されていることを特徴とする。
【0010】
請求項6の発明は、請求項5に記載の通信端末において、前記2次メディアコンテンツには、前記通信端末が有する機能を実行させるための指令情報が含まれていることを特徴とする。
【発明の効果】
【0011】
<請求項1,3,5の発明>
本構成によれば、配信サーバは、基準メディアとして指定した1次メディアコンテンツ(動的メディア)をストリーミング配信しつつ、その他のメディアコンテンツ(静的メディアや、例えば1次メディアコンテンツが複数含まれる場合には上記基準メディア以外の動的メディア)を、上記基準メディアの再生過程における再生タイミングに先んじて配信する。一方、通信端末側では、受信した基準メディアをストリーミング再生しつつ、そのストリームデータに記述されたブロック識別情報を検知したときは、そのブロック識別情報に対応する他のメディアコンテンツを再生する。
このような構成であれば、例えば静的メディアコンテンツのデータをストリームデータとして配信する必要がなくなり、また、通信端末において、マルチメディア製作者の意図に基づく正確な再生が可能になる。
【0012】
<請求項2,4,6の発明>
本構成によれば、通信端末が有する機能を実行させるための指令情報も配信サーバから配信され、基準メディアの再生過程における所定の再生タイミングで当該機能を実行させることができる。
【発明を実施するための最良の形態】
【0013】
本発明の一実施形態について図1,2を参照しつつ説明する。
本実施形態に係るマルチメディア配信システム1は、静的メディア及び動的メディアを含むマルチメディアコンテンツを配信サーバ10から配信し、それを受信する通信端末20にて上記動的メディアを基準メディアとしてストリーミング再生しつつ、その再生過程における所定のタイミングで静的メディアを再生させるためのものである。なお、本実施形態では、マルチメディアコンテンツには、動的メディア(1次メディアコンテンツ)として音声メディアが、静的メディア(2次メディアコンテンツ)として静止画メディア、テキストメディア及び制御コマンドが含まれているものとして説明する。また、音声メディアは、本実施形態では、音楽メディアであるが、これに限らず、例えば小説などを朗読する人の声などであってもよい。
【0014】
1.コンテンツ配信システムの全体構成
コンテンツ配信システム1は、図1に示すように、配信サーバ10と携帯端末20とを備え、移動通信ネットワーク30を介して互いにデータ通信可能に接続される構成になっている。
【0015】
(1)配信サーバ
このうち配信サーバ10は、通信部11、CPU12、ROM13及びメモリ14(例えばRAMやハードディスク等)を備えるサーバコンピュータである。メモリ14には、メディア配信マネージャなどの各種のアプリケーションを実行可能なプログラムが記憶されているプログラム記憶領域15がある。また、メモリ14には、各種のマルチメディアコンテンツデータを記憶するコンテンツ記憶領域16があり、ここには、各マルチメディアコンテンツを構成する動的メディア及び静的メディアがそれぞれファイル化されて上記各マルチメディアコンテンツ毎に対応付けられて記憶されている。本実施形態では、音声メディア記憶領域16a、静止画メディア記憶領域16b、テキストメディア領域16c及び制御コマンド領域16dが確保されている。
【0016】
また、コンテンツ記憶領域16には、各マルチメディアコンテンツ名と、その基準メディアとして予め指定されたメディアの種類(ここでは、音声メディアか、静止画メディアか、テキストメディアか、制御コマンドかの種別)との対応関係情報が記憶されている。従って、後述するように、CPU12は、通信端末20から配信要求信号を受けたときに、上記メディア配信マネージャを読み込む。そして、上記配信要求信号に対応するマルチメディアコンテンツ名の基準メディアをコンテンツ記憶領域16から読み出してストリーミング配信を実行する。
【0017】
(2)携帯端末
本実施形態の携帯端末20は、例えば移動体通信装置(以下、「携帯電話機20」)であり、これには例えばインターネット40を介して上記通信サーバ10とデータ通信可能に接続される無線通信部21、CPU22、バッファメモリ23、メモリ24、入力部25、ディスプレイ26(本発明の「再生手段」に相当)、及び、オーディオアンプ部27(本発明の「再生手段」に相当)を有している。
【0018】
このうち、バッファメモリ23は、マルチメディアコンテンツデータを一時的に保管するためのものである。また、メモリ24には、静的メディアデータが、基準メディアのストリーミング再生過程における自己の再生タイミングより前に予め配信されて記憶される。入力部25は、携帯電話機20の各種機能を実行させるための入力操作がされるもの(例えば操作キー、コンソールやタッチパネルなど)であり、例えば配信サーバ10への特定のコンテンツ配信要求もこの入力部26での入力操作によって実行される。また、ディスプレイ26には、配信された静止画メディアやテキストメディア、後述するメニューリスト画面等が画面表示される。また、オーディオアンプ部27は、ストリーミング再生される音声メディアをD/A変換しつつ増幅し、例えばヘッドホン28が接続される出力端子に音声信号を出力する。また、内蔵スピーカ29から音声出力することもできるようになっている。
【0019】
また、メモリ24には、各メディアを再生可能なメディアプレイヤーソフトが記憶されている。このメディアプレイヤーソフトは、各メディアの再生タイミングを制御するメディア再生マネージャと、各メディアの再生ソフトとを備えている。例えば、静止画対応の再生ソフトとしてはJPEGプレイヤー、音声対応の再生ソフトとしてはMP3プレイヤー、テキスト対応の再生ソフトとしてはタイポグラファーである。また、制御コマンド対応のソフトとしてはディスプレー制御ソフトやバイブレータ制御ソフトなどである。
【0020】
(3)各メディアのデータ構造
図2は、携帯電話機20における各メディアの受信及び再生タイミングを模式的に示した説明図である。
(a)音声メディアデータ
同図に示すように、音声メディアデータは、ストリームデータとして配信サーバ10から配信されるわけであるが、このストリームデータ列には、他の静止画メディア、テキストメディア及び制御コマンドの各再生タイミングに対応するデータ位置に、それぞれのデータブロックID(本発明の「ブロック識別情報」に相当)が記述されている。より具体的には、音声メディアのストリームデータ列の先頭側には、静止画1のデータブロックID「P−1」が記述され、その後のデータ位置に制御コマンド1のデータブロックID「C−1」が記述されている。また、その後のデータ位置にテキスト1のデータブロックID「T−1」が記述され、更にその後のデータ位置に静止画2のデータブロックID「P−2」が記述されている。
【0021】
(b)静的メディアデータ
一方、静止画1データブロックの先頭にはそのデータブロックID「P−1」が付与され、制御コマンド1データブロックの先頭にはそのデータブロックID「C−1」が付与されている。また、テキスト1データブロックの先頭にはそのデータブロックID「T−1」が付与され、静止画2データブロックの先頭にはそのデータブロックID「P−2」が付与されている。
なお、上記静的メディアの再生タイミングは、例えば配信サーバ10側で、予め、基準メディアである音声メディアデータ列における各データブロックIDの記述位置を変更することで、マルチメディアコンテンツ製作者の意図に柔軟に対応した再生が可能になる。
【0022】
2.本実施形態の動作
まず、ユーザは、自分の所有する携帯電話機20の入力部25において配信サーバ10へのアクセス操作を行う。すると、携帯電話機20のCPU22は無線通信部21を介して配信サーバ10へアクセスする。これにより、配信サーバ10からメニューリストデータが携帯電話機20に配信され、携帯電話機20のCPU22は、無線通信部21で受信したメニューリストデータを取得してそのメニューリスト画面(図示せず)を例えばブラウザソフト等によってディスプレイ26上に表示する。
【0023】
このメニューリスト画面には、例えば配信サーバ10が提供可能な複数のマルチメディアコンテンツ名等が一覧表示されており、ユーザは携帯電話機20の入力部25での入力操作によって所望のマルチメディアコンテンツ名をクリックして選択する。すると、CPU22は、選択されたマルチメディアコンテンツIDを含んだダウンロード要求信号を配信サーバ10に送信する。
【0024】
これにより配信サーバ10のCPU12は、受信したマルチメディアコンテンツIDに対応したマルチメディアコンテンツ名及びその基準メディアの種別をコンテンツ記憶領域16から抽出する。そして、その基準メディアとして指定された音声メディアデータを音声メディア記憶領域16aから読み込む。次いで、この音声メディアデータをストリームデータとして移動通信ネットワーク30を介して携帯電話機20に配信する。このとき、CPU12は、上記音声メディアデータの読み込み過程において、音声メディアデータ列中に記述された各静的メディアのデータブロックIDを先取り的に検知し、それに対応するメディアのデータブロックをコンテンツ記憶領域16から読み出す。そして、CPU12は、後述するように、携帯電話機20での音声メディアの再生過程において、少なくとも静的メディアの再生タイミング前に当該静的メディアのデータブロックが携帯電話機20に受信されているように計画して配信する(図2の下図参照)。なお、上記配信方式としてはマルチキャスト方式、ユニキャスト方式のいずれの方式であってもよい。
【0025】
一方、携帯電話機20側では、次述するように、CPU22は、本発明の「検知手段」「再生制御手段」として機能する。即ち、CPU22は、受信した音声メディアデータをバッファメモリ23に一時的に格納しつつストリーミング再生を実行する一方で、随時配信されてくる各静的メディアのデータブロックをメモリ24に格納する。音声メディアのストリーミング再生が実行されると、図2に示すように、まず、携帯電話機20の内蔵スピーカ29から音声が流れ始める(同図(a))。そして、そのストリーミング再生がある程度進行し、CPU22が音声メディアデータ列中に静止画1のデータブロックID「P−1」の記述を検知すると、その検知タイミングに同期したタイミングでメモリ24から静止画1データブロックを読み出してその静止画1をディスプレイ26に画面表示する(同図(b))。
【0026】
なお、この静止画面1は、一時的に画面表示してもよいが、それ以降に再生される他の静的メディア(例えば次の静止画2)の再生タイミングまで継続的に画面表示する構成であってもよい。また、静止画1データブロックに再生時間情報を予め付与しておいて、携帯電話機20側では、静止画1をその再生タイミングから上記再生時間情報に応じた所定の時間だけ再生させる構成であってもよい。以下に説明する他の静的メディア(制御コマンド1、テキスト1及び静止画2)についても同様に上記した各構成を採用することができる。
【0027】
そして、音声メディアのストリーミング再生が更に進行し、CPU22が音声メディアデータ列中に制御コマンド1のデータブロックID「C−1」の記述を検知すると、その検知タイミングに同期したタイミングでメモリ24から制御コマンド1データを読み出してその制御内容を実行する。本実施形態では、図2(c)に示すように、CPU22はバイブレータ機能を実行させる。
【0028】
また、その後、CPU22が音声メディアデータ列中にテキスト1のデータブロックID「T−1」の記述を検知すると、その検知タイミングに同期したタイミングでメモリ24からテキスト1データを読み出してそのテキスト内容をディスプレイ26に画面表示する(同図(d))。なお、このとき、上記静止画1を表示したままその前面にテキスト内容を画面表示する構成であっても勿論よい。
【0029】
そして、更にその後、CPU22が音声メディアデータ列中に静止画2のデータブロックID「P−2」の記述を検知すると、その検知タイミングに同期したタイミングでメモリ24から静止画2のデータブロックを読み出してその静止画2をディスプレイ26に画面表示する(同図(e))。
【0030】
3.本実施形態の効果
(1)本実施形態によれば、配信サーバ10は、基準メディアとして指定した音声メディアコンテンツ(動的メディア)をストリーミング配信しつつ、その他の静的メディアを、上記基準メディアの再生過程における再生タイミングに先んじて配信する。一方、携帯電話機20側では、受信した基準メディアをストリーミング再生しつつ、そのストリームデータ列中に記述された各データブロックIDを検知したときは、そのデータブロックIDに対応する静的メディアを再生する。
このような構成であれば、例えば静的メディアデータをストリームデータとして配信する必要がなくなり、また、携帯電話機20において、マルチメディア製作者の意図に基づく正確な再生が可能になる。
【0031】
(2)また、携帯電話機20が有する機能を実行させるための制御コマンドも配信サーバ10から配信され、基準メディアの再生過程における所定の再生タイミングで当該機能を実行させることができる。
【0032】
<他の実施形態>
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
(1)上記実施形態では、基準メディアとして音声メディアを指定したが、これに限らず、動画メディアであってもよい。また、テキストメディアであっても時間経過に伴って再生内容が順次変化するものであれば動的メディアに該当し、基準メディアとして指定することもできる。例えば、動的メディアとしてのテキストメディア(またはそのテキスト内容を朗読する人の音声メディア)を基準メディアとして、その基準メディアのストリーミング再生過程において、静止画メディア等を随時再生する構成であってもよい。これにより例えば物語の文字や朗読等を順次ストリーミング再生しつつ所定のタイミングで表示画面の背景を切り替えるなど、紙芝居的な再生が可能になる。
また、マルチメディアコンテンツとしては、その一部にストリーミング再生可能な動的メディアを含むものであれば、ゲームソフトにおいてユーザの所定の操作に応じて再生されるものであってもよい。
【0033】
(2)また、携帯電話機20において同じ静的メディアを異なる再生タイミングで複数回再生する構成であってもよい。
【0034】
(3)上記実施形態では、移動通信ネットワーク30を介して配信サーバ10と携帯電話機20とのデータ通信を行う構成であったが、これに限らず、インターネットや、社内のイントラネットを介してデータ通信を行う構成であってもよい。また、有線・無線のいずれであってもよい。
【図面の簡単な説明】
【0035】
【図1】本発明の一実施形態に係るマルチメディア配信システムの全体構成を示すブロック図
【図2】携帯電話機における各メディアの受信及び再生タイミングを模式的に示した説明図
【符号の説明】
【0036】
1…コンテンツ配信システム
10…配信サーバ
11…通信部
12…CPU
20…携帯電話機(通信端末)
26…ディスプレイ(再生手段)
27…オーディオアンプ部(再生手段)
30…移動通信ネットワーク(通信回線)

【特許請求の範囲】
【請求項1】
互いに通信可能に接続される通信端末及び配信サーバを備え、
時間経過に伴って再生内容が変化する1次メディアコンテンツ、及び、当該1次メディアコンテンツの再生過程における所定のタイミングで再生される2次メディアコンテンツを含むマルチメディアコンテンツを、前記配信サーバから配信し、前記通信端末にて受信しつつ当該通信端末に備えられた再生手段で再生するマルチメディア配信システムにおいて、
前記配信サーバが配信するマルチメディアコンテンツのうち、前記2次メディアコンテンツを構成するデータブロックには、そのブロック識別情報が付与される一方で、基準メディアとして指定された前記1次メディアコンテンツには、その再生過程における、前記2次メディアコンテンツの再生タイミングに対応するデータ位置にそのデータブロックに付与されたブロック識別情報が記述されており、
前記通信端末は、前記再生手段での前記基準メディアの再生中に、前記ブロック識別情報を検知する検知手段と、
前記検知手段で検知されたブロック識別情報に対応する前記2次メディアコンテンツのデータブロックを、その検知タイミングに同期したタイミングで前記再生手段にて再生させる再生制御手段と、を備えて構成されていることを特徴とするマルチメディア配信システム。
【請求項2】
前記2次メディアコンテンツには、前記通信端末が有する機能を実行させるための指令情報が含まれていることを特徴とする請求項1に記載のマルチメディア配信システム。
【請求項3】
時間の流れに沿って継続的に再生される1次メディアコンテンツ、及び、当該1次メディアコンテンツの再生過程における所定のタイミングで再生される2次メディアコンテンツを含むマルチメディアコンテンツを、通信可能に接続される通信端末へ配信する配信サーバであって、
前記マルチメディアコンテンツのうち、前記2次メディアコンテンツを構成するデータブロックには、そのブロック識別情報が付与される一方で、基準メディアとして指定された前記1次メディアコンテンツには、その再生過程における、前記2次メディアコンテンツの再生タイミングに対応するデータ位置にそのデータブロックに付与されたブロック識別情報が記述されており、
前記1次メディアコンテンツをストリーム配信しつつ、前記2次メディアコンテンツを、前記通信端末での再生タイミングに先んじて配信することを特徴とする配信サーバ。
【請求項4】
前記2次メディアコンテンツには、前記通信端末が有する機能を実行させるための指令情報が含まれていることを特徴とする請求項3に記載の配信サーバ。
【請求項5】
時間の流れに沿って継続的に再生される1次メディアコンテンツ、及び、当該1次メディアコンテンツの再生過程における所定のタイミングで再生される2次メディアコンテンツを含むマルチメディアコンテンツを、通信可能に接続される配信サーバから受信しつつ再生手段で再生する通信端末であって、
前記マルチメディアコンテンツのうち、前記2次メディアコンテンツを構成するデータブロックには、そのブロック識別情報が付与される一方で、基準メディアとして指定された前記1次メディアコンテンツには、その再生過程における、前記2次メディアコンテンツの再生タイミングに対応するデータ位置にそのデータブロックに付与されたブロック識別情報が記述されており、
前記再生手段での前記基準メディアの再生中に、前記ブロック識別情報を検知する検知手段と、
前記検知手段で検知されたブロック識別情報に対応する前記2次メディアコンテンツのデータブロックを、その検知タイミングに同期したタイミングで前記再生手段にて再生させる再生制御手段と、を備えて構成されていることを特徴とする通信端末。
【請求項6】
前記2次メディアコンテンツには、前記通信端末が有する機能を実行させるための指令情報が含まれていることを特徴とする請求項5に記載の通信端末。

【図1】
image rotate

【図2】
image rotate


【公開番号】特開2006−42265(P2006−42265A)
【公開日】平成18年2月9日(2006.2.9)
【国際特許分類】
【出願番号】特願2004−223319(P2004−223319)
【出願日】平成16年7月30日(2004.7.30)
【出願人】(504292772)
【Fターム(参考)】