画像処理装置及びその制御方法、プログラム、並びに記憶媒体
【課題】画像再生時に自動で最適な画像効果を挿入することができる技術の実現。
【解決手段】画像処理装置は、記録媒体に記録されている複数の画像データを再生する再生手段と、複数の再生項目を含み、再生項目ごとに順序が指定されている再生制御情報を記憶する記憶手段と、前記複数の再生項目に対して前記記録媒体に記録されている画像データを割り当てる割り当て手段と、前記再生手段により再生される画像データに対して画像効果を付加する画像処理手段と、前記割り当て手段により割り当てられた再生項目に従って前記再生項目ごとに指定された順序で画像データを再生するように前記再生手段を制御する制御手段と、を有し、前記制御手段は、前記画像データが割り当てられている再生項目より後の順番の再生項目に画像データが割り当てられていない場合、次に画像データが割り当てられている再生項目の順番までの間に画像効果を付加しないように前記画像処理手段を制御する。
【解決手段】画像処理装置は、記録媒体に記録されている複数の画像データを再生する再生手段と、複数の再生項目を含み、再生項目ごとに順序が指定されている再生制御情報を記憶する記憶手段と、前記複数の再生項目に対して前記記録媒体に記録されている画像データを割り当てる割り当て手段と、前記再生手段により再生される画像データに対して画像効果を付加する画像処理手段と、前記割り当て手段により割り当てられた再生項目に従って前記再生項目ごとに指定された順序で画像データを再生するように前記再生手段を制御する制御手段と、を有し、前記制御手段は、前記画像データが割り当てられている再生項目より後の順番の再生項目に画像データが割り当てられていない場合、次に画像データが割り当てられている再生項目の順番までの間に画像効果を付加しないように前記画像処理手段を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像再生時に画像効果を付加する画像処理技術に関する。
【背景技術】
【０００２】
近年、運動会や結婚式等の画像を撮影し、記録する機器として、デジタルビデオカメラやデジタルスチルカメラ等が広く普及している。また、上記の機器には、画像効果（映像効果、ＢＧＭ効果など）を自動で挿入して再生する機能などがあり、ユーザは作品のような演出を容易に実現させることができる。
【０００３】
一方、特許文献１では、撮影するイベント（運動会や結婚式等）に対して記録すべき画像（挨拶のシーン、入場シーンなど）リストを撮影機器が提供し、ユーザがリストに記載の項目を記録するだけで、プロが用意するような画像（素材）を作ることできる。そして、リスト通りに画像を再生することにより、プロが作るような場面構成や再生順となり、作品らしさを演出することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−０７８８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記項目切り替え時に、適切な画像効果を自動で挿入することで、より作品らしさを演出して再生することができる。ここで、自動で適切な画像効果を挿入するためには、それぞれの項目の切り替えに合った画像効果を用意し、項目の切り替えごとに用意した画像効果を挿入する必要がある。しかし、項目の切り替えごとに画像効果を挿入すると、次に再生する項目に画像が割り当てられていない場合に、画像があることを前提に画像効果を挿入することになるため、項目の切り替え時に挿入される画像効果が必ずしも適切であるとは限らない。
【０００６】
本発明は、上記課題に鑑みてなされ、その目的は、画像再生時に自動で最適な画像効果を挿入することができる技術を実現することである。
【課題を解決するための手段】
【０００７】
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、記録媒体に記録されている複数の画像データを再生する再生手段と、複数の再生項目を含み、再生項目ごとに順序が指定されている再生制御情報を記憶する記憶手段と、前記複数の再生項目に対して前記記録媒体に記録されている画像データを割り当てる割り当て手段と、前記再生手段により再生される画像データに対して画像効果を付加する画像処理手段と、前記割り当て手段により割り当てられた再生項目に従って前記再生項目ごとに指定された順序で画像データを再生するように前記再生手段を制御する制御手段と、を有し、前記制御手段は、前記画像データが割り当てられている再生項目より後の順番の再生項目に画像データが割り当てられていない場合、次に画像データが割り当てられている再生項目の順番までの間に画像効果を付加しないように前記画像処理手段を制御する。
【発明の効果】
【０００８】
本発明によれば、画像再生時に自動で最適な画像効果を挿入することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像処理装置のブロック図（ａ）及び外観図（ｂ）、（ｃ）。
【図２】実施形態１のシナリオ構成ファイル（ａ）及びシナリオ管理ファイルを例示する図（ｂ）。
【図３】実施形態１のシナリオ撮影モード時の表示画面を例示する図。
【図４】実施形態１の再生モード時の表示画面を例示する図。
【図５】実施形態１のシナリオ再生処理を示すフローチャート。
【図６】実施形態２のシナリオ再生処理を示すフローチャート。
【図７】実施形態１のシナリオ再生手順（ａ）及び実施形態２のシナリオ再生手順（ｂ）を例示する図。
【発明を実施するための形態】
【００１０】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１１】
［実施形態１］以下に、本発明の画像処理装置をデジタルビデオカメラに適用した例について説明する。
【００１２】
＜装置構成＞図１を参照して、本実施形態のデジタルビデオカメラ（以下、ビデオカメラ）の構成について説明する。
【００１３】
このビデオカメラは、動画撮影モードの１つとして「シナリオ撮影モード」を備える。「シナリオ撮影モード」とは、選んだテーマに応じてビデオカメラが案内する撮影シナリオに沿って撮影するだけで、本格的な映像作品を簡単に作れるモードである。ここで、テーマとしては、“旅行”や“運動会”や“卒業式”等が例に挙げられる。また、撮影シナリオとは、テーマに対して撮影すべき項目のリストであり、例えば、テーマが“旅行”である場合は、“旅のプランを紹介”“移動中の風景あれこれ”、“いただきます”などが挙げられる。本実施形態において、ある撮影シナリオに沿って撮影した一連の動画を作品と呼び、また「シナリオ撮影モード」においての撮影をシナリオ撮影と呼び、シナリオ撮影時の処理については後述する。
【００１４】
ＣＰＵ１０９は、プログラム・データ記憶部１１０からプログラムを読み込み、これに従ってビデオカメラ全体を統括して制御する。読み込まれたプログラムは、ＣＰＵ１０９に複数のタスクを並列に実行させるための機能を備えており、ＣＰＵ１０９の制御によって「モード制御タスク」、「カメラ制御タスク」、「レコーダ制御タスク」及び「表示制御タスク」が実行される。表示制御タスクを実行するＣＰＵ１０９が、表示制御部１１１としての機能を果たす。また、一時記憶部１０３の一部は、ＣＰＵ１０９のワーク領域として機能し、後述する動画用フレームバッファ、ＯＳＤ用フレームバッファを提供する。
【００１５】
カメラ部１０１は、アナログ映像信号を入力する。カメラ部１０１は、被写体からの光を結像させるためのレンズ、レンズよって結像された被写体像を光電変換する撮像素子、撮像素子を駆動する回路等も含む。映像処理部１０２は、カメラ部１０１で入力されたアナログ映像信号をデジタルの動画データに変換し、適切に補正する。カメラ部１０１及び映像処理部１０２の動作は、ＣＰＵ１０９が実行する上記カメラ制御タスクによって制御される。
【００１６】
エンコーダ・デコーダ部１０４は、映像処理部１０２からの動画データを符号化する。エンコーダ・デコーダ部１０４によって符号化された動画データは、一時記憶部１０３に一旦記憶されたのち、付随する管理データとともに動画記憶部１０５に送出され、記録媒体１１６に記録される。動画再生時は反対に、動画記憶部１０５により記録媒体１１６から読み出された符号化された動画データ（画像データ）が一時記憶部１０３を介してエンコーダ・デコーダ部１０４で復号化され、再び一時記憶部１０３の動画用フレームバッファに展開される。エンコーダ・デコーダ部１０４及び動画記憶部１０５の制御は、ＣＰＵ１０９が実行する上記レコーダ制御タスクによって制御される。
【００１７】
動画記憶部１０５から読み出された管理データは、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）データ、すなわち、撮影画像もしくは再生画像に重畳される文字表示やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の生成に利用される。そして、生成されたＯＳＤデータは、一時記憶部１０３内のＯＳＤ用フレームバッファに描画される。
【００１８】
動画用フレームバッファとＯＳＤ用フレームバッファの各内容は、表示制御部１１１で重畳されて、ＬＣＤパネル１１２に表示される。ＯＳＤデータに関する制御及び表示制御部１１１とＬＣＤパネル１１２の制御は、ＣＰＵ１０９が実行する上記表示制御タスクによって制御される。シナリオキー１０６、操作キー１０７、及びタッチパネル１０８はいずれもユーザによる操作指示を受け付けるための操作部である。
【００１９】
図１（ｂ）、（ｃ）は、本実施形態のビデオカメラの外観図である。ビデオカメラは、カメラ部１０１（図１（ａ））を有する本体部１１４と、ヒンジによって本体部１１４に回動可能に取り付けられたバリアングルＬＣＤ部１１３と、バリアングルＬＣＤ部１１３の反対側面に、グリップ部１１５とを有する。
【００２０】
ＬＣＤパネル１１２とタッチパネル１０８とは一体的に構成され、バリアングルＬＣＤ部１１３に配設される。例えば、光の透過率がＬＣＤパネル１１２の表示を妨げないようにタッチパネル１０８を構成し、ＬＣＤパネル１１２の表示面の上層に取り付ける。そして、タッチパネル１０８における入力座標と、ＬＣＤパネル１１２上の表示座標とを対応付ける。これにより、あたかもユーザがＬＣＤパネル１１２に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。
【００２１】
また、ＣＰＵ１０９は、タッチパネル１０８に対する以下の操作を検出できる。タッチパネル１０８を指やペンで触れたこと（以下、タッチダウン）。タッチパネル１０８を指やペンで触れている状態であること（以下、タッチオン）。タッチパネル１０８を指やペンで触れたまま移動していること（以下、ムーブ）。タッチパネル１０８へ触れていた指やペンを離したこと（以下、タッチアップ）。タッチパネル１０８に何も触れていない状態（以下、タッチオフ）。これらの操作や、タッチパネル１０８上に指やペンが触れている位置座標は、ＣＰＵ１０９に通知され、ＣＰＵ１０９は通知された情報に基づいてタッチパネル１０８上にどのような操作が行われたか否かを判定する。
【００２２】
ムーブについては、タッチパネル１０８上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１０８上の垂直成分・水平成分ごとに判定される。また、タッチパネル１０８上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたことと判定される。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル１０８上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル１０８上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定される。
【００２３】
また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定される。
【００２４】
ＣＰＵ１０９によって実行される上記モード制御タスクは、次のように動作する。すなわち、操作部（シナリオキー１０６、操作キー１０７、タッチパネル１０８）からの指示、他タスクからの要求、あるいはモード制御タスク自身が管理する内部状態の変化に従って、ビデオカメラ全体の動作状態を遷移させ、各タスクへイベントを通知する。
【００２５】
まず、通常撮影モードの処理を説明する。操作キー１０７により電源が投入されると、ＣＰＵ１０９は各部を制御し、カメラ部１０１による撮影を開始すると共に、撮影された動画像信号を映像処理部１０２により処理させ、表示制御部１１１によりＬＣＤパネル１１２に表示する。この撮影待機状態において、操作キー１０７より撮影開始の指示があると、ＣＰＵ１０９は、エンコーダ・デコーダ部１０４に対して、一時記憶部１０３に記憶された動画信号を順次符号化するように制御指令を送出する。エンコーダ・デコーダ部１０４は、一時記憶部１０３から動画信号を読み出して符号化し、動画記憶部１０５に送出する。動画記憶部１０５は、符号化された動画信号を記録媒体１１６に記録する。このように動画記録を続け、操作キー１０７より撮影停止の指示を受けると、ＣＰＵ１０９は、動画記憶部１０５に対して動画信号の記録を停止するように制御指令を送出する。本実施形態では、所定のファイルシステムに従い、撮影開始から撮影停止の指示を受けるまでの間に記録された一連の動画信号を１つの動画ファイルとして管理する。また、ＣＰＵ１０９は、記録された動画ファイルに関連した管理ファイルを生成して動画記憶部１０５に送送出し、記録媒体１１６に記録する。
【００２６】
次に、シナリオ撮影モードについて説明する。
【００２７】
図２（ａ）は、作品を作成する（シナリオ撮影を実現する）上で基本となる情報（再生制御情報）から構成されるシナリオ構成ファイルの一例であり、本実施形態では、図２（ａ）のシナリオ構成ファイルが記録媒体１１６に記録されている。シナリオ構成ファイルとは、テーマ番号２０１、テーマ名２０２、撮影シナリオ番号２０３、撮影シナリオ名２０４、画像効果番号２０５の要素を持つ。そして、これらを関連付ける情報として、テーマ名２０２ごとに用意された撮影シナリオ名２０４、各テーマ名２０２に対応するテーマ番号２０１、各撮影シナリオ名２０４に対応する撮影シナリオ番号２０３及び画像効果番号２０５が存在する。撮影シナリオ番号２０３と撮影シナリオ名２０４は、基本的には１対１の関係であり、撮影シナリオ番号２０３は各テーマの再生をする際に撮影シナリオ名２０４に対応する映像をどの順序で再生させるかを示す。例えば、テーマ名２０２が旅行である場合には、“旅行のプランを紹介″、“移動中の風景あれこれ”、“いただきます”、“おやすみなさい”の順で再生される。ただし、撮影シナリオ番号２０３が０の時は、再生開始時の画像効果番号２０５の指定を示し、撮影シナリオ番号２０３が０の時に対応する撮影シナリオ名２０４は存在しない。
【００２８】
図２（ｂ）は、シナリオ撮影の状況（各作品の完成状況）を管理する管理情報で構成されるシナリオ管理ファイルを例示している。シナリオ管理ファイルには、作品番号２０６、テーマ番号２０７、撮影シナリオ番号２０８、映像番号２０９の要素がある。そして、テーマ番号２０７や撮影シナリオ番号２０８はシナリオ構成ファイルの情報を参照して作成され、ＣＰＵ１０９によって記録媒体１１６に記録される。作品番号２０６は作品を区別するための番号であり、シナリオ管理ファイルに同一の作品番号が割り当てられることはない。映像番号２０９は、撮影シナリオ番号２０８に対応した映像は何番目のシーンが対応しているか、もしくは未撮影であることを記録する領域であり、１つの撮影シナリオ番号２０８に対して複数存在することもある。映像番号２０９は記録された各動画ファイルが識別可能な情報であればよく、例えばファイル名でもよい。作品番号２０６が１である場合を例にすると、作品のテーマ名は、運動会であり、“練習の様子”、“当日の朝”、“いよいよ本番”の撮影シナリオ名に対しては、映像が記録されていることを示す。また、テーマ名２０２が旅行である作品を新たに作成した際には、テーマ番号２０７が１、撮影シナリオ番号２０８が０〜５を持ち、作品番号２０６が４である作品が追記され、ＣＰＵ１０９によって記録媒体１１６に記録される。
【００２９】
図３は、通常撮影モード画面からシナリオ撮影モードで撮影するまでの画面遷移「（ａ）⇒（ｂ）⇒（ｃ）⇒（ｄ）の順」を示している。
【００３０】
図３（ａ）は、通常撮影モードにおける撮影待機状態において、ＬＣＤパネル１１２に表示される画面を例示している。ＬＣＤパネル１１２上部には、ビデオカメラ本体の情報である撮影時間情報３０２と録画状態情報（現在録画中か録画スタンバイ状態であるかを示す）３０３と残バッテリ情報３０１とがＯＳＤで表示されている。画面上にはさらに、タッチボタンであるカメラＦＵＮＣボタン３０４、静止画撮影ボタン３０５、メニューボタン３０６がそれぞれＯＳＤで表示されており、いずれもタッチによる操作が可能である。
【００３１】
図３（ｂ）は、作品を新規作成する場合のテーマ選択時にＬＣＤパネル１１２に表示される画面を例示している。図３（ａ）の画面においてシナリオキー１０６が押されると、図３（ｂ）の画面へ遷移し、モード制御タスクは通常撮影モードからシナリオ撮影モードへ切り替える。ＬＣＤパネル１１２上部には、画面タイトル３０７と残バッテリ情報３０１と、タッチボタンであるバツボタン３０８がＯＳＤで表示され、バツボタン３０８はタッチによる操作が可能である。バツボタン３０８がタッチされると、図３（ａ）の画面に戻り、モード制御タスクはシナリオ撮影モードから通常撮影モードへ切り替える。また、画面上中央には、タッチボタンであるテーマ名ボタン３０９、３１０、３１１がＯＳＤで表示されており、いずれもタッチによる操作が可能である。図３（ａ）において、ユーザは作成したい作品のテーマを選択することができる。テーマ名ボタン３０９，３１０または３１１がタッチされたら、図３（ｃ）撮影シナリオ選択画面へ遷移する。なお、図３（ｂ）のテーマ名ボタン３０９〜３１１上に表示されているテーマ名は、シナリオ構成ファイルに記載のテーマ名２０２の情報を基に表示される。さらに、図３（ｂ）の画面上には、タッチボタンである矢印ボタン３１２、３１３がＯＳＤで表示されており、いずれもタッチによる操作が可能である。矢印ボタン３１２、３１３がタッチされると、画面上に表示されているテーマを切り替わる。また、画面上にはタッチボタンである既存撮影テーマ選択ボタン３１４がＯＳＤで表示されており、既存撮影テーマ選択ボタン３１４はタッチによる操作が可能である。既存撮影テーマ選択ボタン３１４がタッチされると、既存の作品を選択する画面へ遷移し、ユーザは続きから作品を作成することができる。既存撮影テーマが選択された場合、ＣＰＵ１０９は、記録媒体１１６に記録された、図２（ｂ）のシナリオ管理ファイルに基づいて、作成済みの各作品番号に対応したシナリオのテーマをＬＣＤパネル１１２に表示する。ユーザは表示されたテーマから、撮影を継続する作品を選択する。
【００３２】
図３（ｃ）は、作品を新規作成する場合の撮影シナリオ選択時にＬＣＤパネル１１２に表示される画面を例示し、図３（ｂ）の画面において選択されたテーマに対応する撮影シナリオを選択する画面である。ＬＣＤパネル１１２上部には、画面タイトル３０７と残バッテリ情報３０１と、タッチボタンであるバツボタン３０８と戻るボタン３１５がＯＳＤで表示されている。戻るボタン３１５がタッチされると図３（ｂ）の画面へ戻り、バツボタン３０８がタッチされると図３（ａ）の画面に戻り、モード制御タスクはシナリオ撮影モードから通常撮影モードへ切り替える。また、画面上中央には、タッチボタンである撮影シナリオボタン３１６，３１７，３１８が表示されており、いずれもタッチよる操作が可能である。ユーザは、作成したい作品の撮影シナリオを選択することができる。また、撮影シナリオボタン３１６，３１７または３１８がタッチされると、図３（ｄ）のシナリオ撮影モードの撮影画面に遷移する。なお、図３（ｂ）の撮影シナリオは、シナリオ構成ファイルに記載された撮影シナリオ名２０４の情報を基に表示される。さらに、画面上には、タッチボタンである矢印ボタン３１９，３２０がＯＳＤで表示されており、いずれもタッチによる操作が可能である。矢印ボタン３１９，３２０をタッチがタッチされると、画面上に表示されている撮影シナリオが切り替わる。また、図２（ｂ）で既存撮影テーマが選択され、撮影を継続する作品が選択されると、ＣＰＵ１０９は、図２のシナリオ管理ファイルとシナリオ構成ファイルに基づいて、図３（ｃ）に示す様に、選択された作品のテーマに対応したシナリオをＬＣＤパネル１１２に表示する。この際、撮影済みのシナリオについては、撮影済みであることを識別するための情報を付加して表示してもよい。
【００３３】
図３（ｄ）は、シナリオ撮影モード時にＬＣＤパネル１１２に表示される画面を例示している。図３（ｃ）からこの画面へ遷移した場合には、記録媒体１１６に記録されているシナリオ管理ファイルに新たな作品番号が追記される（映像番号２０９以外の情報が埋まる）。通常の撮影モードと異なり、選択されているテーマを示すテーマ名表示３２１と選択されている撮影シナリオを示す撮影シナリオ名表示３２２が表示されている。ここで、撮影シナリオ名表示３２２はタッチによる操作が可能であり、撮影シナリオ名表示３２２がタッチされると図３（ｃ）の画面へ遷移し、ユーザは撮影シナリオを選び直すことができる。この場合、新たに生成された作品番号２０６、旅行に対応するテーマ番号２０７、テーマが旅行であり、移動中の風景あれこれに対応する撮影シナリオ番号２０８に対応する映像番号２０９の欄に、今回記録した映像の映像番号２０９が追記される。また、既存撮影テーマが選択されていた場合、新たに撮影された映像の映像番号が、シナリオ管理ファイルにおいて、選択された作品番号２０６における撮影シナリオ番号２０８に対応づけて記録される。
【００３４】
図４は、再生モードの選択画面からシナリオを再生するまでの画面遷移を例示している。
【００３５】
図４（ａ）は、再生モード選択時にＬＣＤパネル１１２に表示される画面を例示している。ＬＣＤパネル１１２上部には、画面タイトル４０１と残バッテリ情報３０１がＯＳＤで表示されている。また、画面上中央には、再生モード選択ボタンである、動画インデックスボタン４０２、静止画インデックスボタン４０４、シナリオ再生ボタン４０３がＯＳＤで表示されており、いずれもタッチ可能なタッチボタンである。動画インデックスボタン４０２がタッチされると、撮影した動画の一覧を表示する画面へ切り替わり、静止画インデックスボタン４０４がタッチされると、撮影した静止画の一覧を表示する画面へ切り替わる。また、シナリオ再生ボタンがタッチされると、図４（ｂ）に示す撮影した作品の一覧を表示する画面へ切り替わる。
【００３６】
図４（ｂ）は、シナリオ再生における再生テーマ選択時にＬＣＤパネル１１２に表示される画面を例示している。ＬＣＤパネル１１２上部には、画面タイトル４０１と残バッテリ情報３０１がＯＳＤで表示されている。また、画面上中央には、撮影した作品を示す作品再生ボタン４０７、４０８、４０９がＯＳＤで表示されており、いずれもタッチ可能なタッチボタンである。作品再生ボタン４０７、４０８、４０９がタッチされると、タッチされた作品に対応する撮影シナリオがシナリオ管理情報をもと順番に再生される（以下、シナリオ再生）。
【００３７】
図５は、ＣＰＵ１０９により実行されるシナリオ再生時の処理を示している。なお、本処理は、ＣＰＵ１０９が、プログラム・データ記憶部１１０から制御プログラムを読み出し、ワーク領域としての一時記憶部１０３の一部に展開して実行することにより実現され、特に言及しない場合、処理の主体はＣＰＵ１０９である。
【００３８】
図５において、ステップＳ５０１では、再生対象である作品番号に対しての管理情報をシナリオ管理ファイルから取得する。ここで取得する管理情報は、テーマ番号２０１と撮影シナリオ番号２０３と映像番号２０９である。
【００３９】
ステップＳ５０２では、再生されている映像はどの撮影シナリオ番号に対応しているのかを示す撮影シナリオ変数の初期化処理を行い、初期値として０を代入する。
【００４０】
ステップＳ５０３では、再生開始時に画像効果を付加するか判定を行う。ここで再生開始の画像効果を付加する条件は、先頭の撮影シナリオ（撮影シナリオ番号２０８が１）に対応する映像番号２０９が存在し、ステップＳ５０１で取得したテーマ番号２０１と撮影シナリオ変数に対応した画像効果番号２０５が存在する場合とする。なお、画像効果番号２０５は図２（ａ）のシナリオ構成ファイルから取得する。条件にあてはまる場合はステップＳ５０４に移り、条件にあてはまらない場合にはステップＳ５０５へ移行する。
【００４１】
ステップＳ５０４では、ステップＳ５０１で取得したテーマ番号２０１と撮影シナリオ変数に対応した画像効果番号２０５の画像効果が挿入され、ステップＳ５０５へ移行する。
【００４２】
ステップＳ５０５では、撮影シナリオ変数に１加算する処理を行う。
【００４３】
ステップＳ５０６では、ステップＳ５０５において１加算された撮影シナリオ変数が作品内の最後の撮影シナリオ番号より大きいか判定する。撮影シナリオ変数が最後のシナリオ番号より大きい場合は、これ以降に再生できる映像番号はないので、本処理を終了し、最後の撮影シナリオ番号より小さい場合には、ステップＳ５０７へ移行する。
【００４４】
ステップＳ５０７では、撮影シナリオ変数に対応する映像番号２０９が存在するか判定し、対応する映像番号２０９が存在しない場合には、ステップＳ５０５、Ｓ５０６の処理を行い、次の（１増加した際の）撮影シナリオ変数に対応する処理を行う。また、対応する映像番号２０９が存在する場合には、ステップＳ５０８の処理を行い、対応する映像番号２０９の再生を行う。ここで、対応する映像番号２０９が複数ある場合には、複数の映像番号２０９を連続して再生し、最後の再生を開始した時点でステップＳ５０９の処理を行う。なお、複数の映像番号２０９に対応する映像のうち、後から撮影された方を選択して再生する構成でもよい。また、複数の映像番号２０９に対応する映像のうちユーザが選択した何れか１つの映像を再生する構成としてもよい。
【００４５】
ステップＳ５０９では、次の撮影シナリオ変数に対応する映像番号２０９が存在するか判定し、存在する場合にはステップＳ５１０へ移行し、存在しない場合にはステップＳ５１３の処理を再生が終了するまで繰り返す。
【００４６】
ステップＳ５１０では、撮影シナリオ変数に対応した画像効果番号２０５が存在するか判定し、存在する場合にはステップＳ５１１へ移行し、存在しない場合にはステップＳ５１３の処理を再生が終了するまで繰り返す。
【００４７】
ステップＳ５１１では、現在再生中のシナリオに対応した映像の再生残り時間が２秒以下であるか判定し、再生残り時間が２秒以下になるまで、ステップＳ５１１の処理を繰り返し、再生残り時間が２秒以下になった場合には、ステップＳ５１２へ移行する。
【００４８】
ステップＳ５１２では、撮影シナリオ変数に対応した画像効果番号２０５の画像効果を再生されている映像に挿入し、ステップＳ５１３へ移行する。
【００４９】
ステップＳ５１３では、画像効果または映像の再生が終了するまで待ち、終了した場合ステップＳ５０５に戻り、次の撮影シナリオ変数に対して処理を行う。
【００５０】
図７（ａ）は、実施形態１のシナリオ再生手順であって、シナリオ管理ファイルの作品番号２０６が１である作品を再生した状態を例示している。
【００５１】
本実施形態のシナリオ再生のように、ある再生項目（撮影シナリオ）に対して映像を割り当てることができ、その再生項目の順序に従って再生する際に、次の再生項目に対して映像が割り当てられていない場合には画像効果を挿入しない。そして、映像が割り当てられている再生項目までジャンプし、その映像を再生する。そのため、再生項目の切り替わり時に不要な画像効果が挿入されず、自動で最適な画像効果の挿入を行うことができる。
【００５２】
［実施形態２］実施形態２として、次の撮影シナリオに対して映像が割り当てられていない場合、どの画面の切り替わりにも合うような標準的な画像効果をデフォルトの画像効果として挿入させる処理を説明する。装置構成は、実施形態１と同様であり、シナリオ再生時の処理が異なっている。
【００５３】
図６は、実施形態２におけるシナリオ再生処理を示すフローチャートである。上記実施形態１と異なる部分は、ステップＳ５０９、Ｓ５１０の処理である。本実施形態では、撮影シナリオ変数に対応した映像番号２０９が存在しない場合、または、撮影シナリオ変数に対応した画像効果番号２０５が存在しない場合に、ステップＳ６０１、Ｓ６０２の処理を行う。ステップＳ６０１の処理では、再生中の映像の残り再生時間が２秒以下になるまで、Ｓ６０１の処理を繰り返し、２秒以下になったら、ステップＳ６０２の処理を行い、予め設定したデフォルトの画像効果を再生している映像に対して挿入する。
【００５４】
図７（ｂ）は、実施形態２のシナリオ再生手順であって、シナリオ管理ファイルの作品番号２０６が１である作品を再生した状態を例示している。画像効果０は、予め設定したデフォルトの画像効果とする。
【００５５】
本実施形態のシナリオ再生のように、ある再生項目（撮影シナリオ）に対して映像を割り当てることができ、その再生項目の順序に従って再生する際に、次の再生項目に対して映像が割り当てられていない場合にはデフォルトの画像効果を挿入する。そして、映像が割り当てられている再生項目までジャンプし、その映像を再生する。そのため、どのような再生項目の切り替わりにも合う標準的な画像効果が挿入され、再生項目の切り替わり時に不要な画像効果が挿入されず、自動で最適な画像効果の挿入を行うことができる。
【００５６】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【技術分野】
【０００１】
本発明は、画像再生時に画像効果を付加する画像処理技術に関する。
【背景技術】
【０００２】
近年、運動会や結婚式等の画像を撮影し、記録する機器として、デジタルビデオカメラやデジタルスチルカメラ等が広く普及している。また、上記の機器には、画像効果（映像効果、ＢＧＭ効果など）を自動で挿入して再生する機能などがあり、ユーザは作品のような演出を容易に実現させることができる。
【０００３】
一方、特許文献１では、撮影するイベント（運動会や結婚式等）に対して記録すべき画像（挨拶のシーン、入場シーンなど）リストを撮影機器が提供し、ユーザがリストに記載の項目を記録するだけで、プロが用意するような画像（素材）を作ることできる。そして、リスト通りに画像を再生することにより、プロが作るような場面構成や再生順となり、作品らしさを演出することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−０７８８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記項目切り替え時に、適切な画像効果を自動で挿入することで、より作品らしさを演出して再生することができる。ここで、自動で適切な画像効果を挿入するためには、それぞれの項目の切り替えに合った画像効果を用意し、項目の切り替えごとに用意した画像効果を挿入する必要がある。しかし、項目の切り替えごとに画像効果を挿入すると、次に再生する項目に画像が割り当てられていない場合に、画像があることを前提に画像効果を挿入することになるため、項目の切り替え時に挿入される画像効果が必ずしも適切であるとは限らない。
【０００６】
本発明は、上記課題に鑑みてなされ、その目的は、画像再生時に自動で最適な画像効果を挿入することができる技術を実現することである。
【課題を解決するための手段】
【０００７】
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、記録媒体に記録されている複数の画像データを再生する再生手段と、複数の再生項目を含み、再生項目ごとに順序が指定されている再生制御情報を記憶する記憶手段と、前記複数の再生項目に対して前記記録媒体に記録されている画像データを割り当てる割り当て手段と、前記再生手段により再生される画像データに対して画像効果を付加する画像処理手段と、前記割り当て手段により割り当てられた再生項目に従って前記再生項目ごとに指定された順序で画像データを再生するように前記再生手段を制御する制御手段と、を有し、前記制御手段は、前記画像データが割り当てられている再生項目より後の順番の再生項目に画像データが割り当てられていない場合、次に画像データが割り当てられている再生項目の順番までの間に画像効果を付加しないように前記画像処理手段を制御する。
【発明の効果】
【０００８】
本発明によれば、画像再生時に自動で最適な画像効果を挿入することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像処理装置のブロック図（ａ）及び外観図（ｂ）、（ｃ）。
【図２】実施形態１のシナリオ構成ファイル（ａ）及びシナリオ管理ファイルを例示する図（ｂ）。
【図３】実施形態１のシナリオ撮影モード時の表示画面を例示する図。
【図４】実施形態１の再生モード時の表示画面を例示する図。
【図５】実施形態１のシナリオ再生処理を示すフローチャート。
【図６】実施形態２のシナリオ再生処理を示すフローチャート。
【図７】実施形態１のシナリオ再生手順（ａ）及び実施形態２のシナリオ再生手順（ｂ）を例示する図。
【発明を実施するための形態】
【００１０】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１１】
［実施形態１］以下に、本発明の画像処理装置をデジタルビデオカメラに適用した例について説明する。
【００１２】
＜装置構成＞図１を参照して、本実施形態のデジタルビデオカメラ（以下、ビデオカメラ）の構成について説明する。
【００１３】
このビデオカメラは、動画撮影モードの１つとして「シナリオ撮影モード」を備える。「シナリオ撮影モード」とは、選んだテーマに応じてビデオカメラが案内する撮影シナリオに沿って撮影するだけで、本格的な映像作品を簡単に作れるモードである。ここで、テーマとしては、“旅行”や“運動会”や“卒業式”等が例に挙げられる。また、撮影シナリオとは、テーマに対して撮影すべき項目のリストであり、例えば、テーマが“旅行”である場合は、“旅のプランを紹介”“移動中の風景あれこれ”、“いただきます”などが挙げられる。本実施形態において、ある撮影シナリオに沿って撮影した一連の動画を作品と呼び、また「シナリオ撮影モード」においての撮影をシナリオ撮影と呼び、シナリオ撮影時の処理については後述する。
【００１４】
ＣＰＵ１０９は、プログラム・データ記憶部１１０からプログラムを読み込み、これに従ってビデオカメラ全体を統括して制御する。読み込まれたプログラムは、ＣＰＵ１０９に複数のタスクを並列に実行させるための機能を備えており、ＣＰＵ１０９の制御によって「モード制御タスク」、「カメラ制御タスク」、「レコーダ制御タスク」及び「表示制御タスク」が実行される。表示制御タスクを実行するＣＰＵ１０９が、表示制御部１１１としての機能を果たす。また、一時記憶部１０３の一部は、ＣＰＵ１０９のワーク領域として機能し、後述する動画用フレームバッファ、ＯＳＤ用フレームバッファを提供する。
【００１５】
カメラ部１０１は、アナログ映像信号を入力する。カメラ部１０１は、被写体からの光を結像させるためのレンズ、レンズよって結像された被写体像を光電変換する撮像素子、撮像素子を駆動する回路等も含む。映像処理部１０２は、カメラ部１０１で入力されたアナログ映像信号をデジタルの動画データに変換し、適切に補正する。カメラ部１０１及び映像処理部１０２の動作は、ＣＰＵ１０９が実行する上記カメラ制御タスクによって制御される。
【００１６】
エンコーダ・デコーダ部１０４は、映像処理部１０２からの動画データを符号化する。エンコーダ・デコーダ部１０４によって符号化された動画データは、一時記憶部１０３に一旦記憶されたのち、付随する管理データとともに動画記憶部１０５に送出され、記録媒体１１６に記録される。動画再生時は反対に、動画記憶部１０５により記録媒体１１６から読み出された符号化された動画データ（画像データ）が一時記憶部１０３を介してエンコーダ・デコーダ部１０４で復号化され、再び一時記憶部１０３の動画用フレームバッファに展開される。エンコーダ・デコーダ部１０４及び動画記憶部１０５の制御は、ＣＰＵ１０９が実行する上記レコーダ制御タスクによって制御される。
【００１７】
動画記憶部１０５から読み出された管理データは、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）データ、すなわち、撮影画像もしくは再生画像に重畳される文字表示やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の生成に利用される。そして、生成されたＯＳＤデータは、一時記憶部１０３内のＯＳＤ用フレームバッファに描画される。
【００１８】
動画用フレームバッファとＯＳＤ用フレームバッファの各内容は、表示制御部１１１で重畳されて、ＬＣＤパネル１１２に表示される。ＯＳＤデータに関する制御及び表示制御部１１１とＬＣＤパネル１１２の制御は、ＣＰＵ１０９が実行する上記表示制御タスクによって制御される。シナリオキー１０６、操作キー１０７、及びタッチパネル１０８はいずれもユーザによる操作指示を受け付けるための操作部である。
【００１９】
図１（ｂ）、（ｃ）は、本実施形態のビデオカメラの外観図である。ビデオカメラは、カメラ部１０１（図１（ａ））を有する本体部１１４と、ヒンジによって本体部１１４に回動可能に取り付けられたバリアングルＬＣＤ部１１３と、バリアングルＬＣＤ部１１３の反対側面に、グリップ部１１５とを有する。
【００２０】
ＬＣＤパネル１１２とタッチパネル１０８とは一体的に構成され、バリアングルＬＣＤ部１１３に配設される。例えば、光の透過率がＬＣＤパネル１１２の表示を妨げないようにタッチパネル１０８を構成し、ＬＣＤパネル１１２の表示面の上層に取り付ける。そして、タッチパネル１０８における入力座標と、ＬＣＤパネル１１２上の表示座標とを対応付ける。これにより、あたかもユーザがＬＣＤパネル１１２に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。
【００２１】
また、ＣＰＵ１０９は、タッチパネル１０８に対する以下の操作を検出できる。タッチパネル１０８を指やペンで触れたこと（以下、タッチダウン）。タッチパネル１０８を指やペンで触れている状態であること（以下、タッチオン）。タッチパネル１０８を指やペンで触れたまま移動していること（以下、ムーブ）。タッチパネル１０８へ触れていた指やペンを離したこと（以下、タッチアップ）。タッチパネル１０８に何も触れていない状態（以下、タッチオフ）。これらの操作や、タッチパネル１０８上に指やペンが触れている位置座標は、ＣＰＵ１０９に通知され、ＣＰＵ１０９は通知された情報に基づいてタッチパネル１０８上にどのような操作が行われたか否かを判定する。
【００２２】
ムーブについては、タッチパネル１０８上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１０８上の垂直成分・水平成分ごとに判定される。また、タッチパネル１０８上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたことと判定される。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル１０８上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル１０８上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定される。
【００２３】
また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定される。
【００２４】
ＣＰＵ１０９によって実行される上記モード制御タスクは、次のように動作する。すなわち、操作部（シナリオキー１０６、操作キー１０７、タッチパネル１０８）からの指示、他タスクからの要求、あるいはモード制御タスク自身が管理する内部状態の変化に従って、ビデオカメラ全体の動作状態を遷移させ、各タスクへイベントを通知する。
【００２５】
まず、通常撮影モードの処理を説明する。操作キー１０７により電源が投入されると、ＣＰＵ１０９は各部を制御し、カメラ部１０１による撮影を開始すると共に、撮影された動画像信号を映像処理部１０２により処理させ、表示制御部１１１によりＬＣＤパネル１１２に表示する。この撮影待機状態において、操作キー１０７より撮影開始の指示があると、ＣＰＵ１０９は、エンコーダ・デコーダ部１０４に対して、一時記憶部１０３に記憶された動画信号を順次符号化するように制御指令を送出する。エンコーダ・デコーダ部１０４は、一時記憶部１０３から動画信号を読み出して符号化し、動画記憶部１０５に送出する。動画記憶部１０５は、符号化された動画信号を記録媒体１１６に記録する。このように動画記録を続け、操作キー１０７より撮影停止の指示を受けると、ＣＰＵ１０９は、動画記憶部１０５に対して動画信号の記録を停止するように制御指令を送出する。本実施形態では、所定のファイルシステムに従い、撮影開始から撮影停止の指示を受けるまでの間に記録された一連の動画信号を１つの動画ファイルとして管理する。また、ＣＰＵ１０９は、記録された動画ファイルに関連した管理ファイルを生成して動画記憶部１０５に送送出し、記録媒体１１６に記録する。
【００２６】
次に、シナリオ撮影モードについて説明する。
【００２７】
図２（ａ）は、作品を作成する（シナリオ撮影を実現する）上で基本となる情報（再生制御情報）から構成されるシナリオ構成ファイルの一例であり、本実施形態では、図２（ａ）のシナリオ構成ファイルが記録媒体１１６に記録されている。シナリオ構成ファイルとは、テーマ番号２０１、テーマ名２０２、撮影シナリオ番号２０３、撮影シナリオ名２０４、画像効果番号２０５の要素を持つ。そして、これらを関連付ける情報として、テーマ名２０２ごとに用意された撮影シナリオ名２０４、各テーマ名２０２に対応するテーマ番号２０１、各撮影シナリオ名２０４に対応する撮影シナリオ番号２０３及び画像効果番号２０５が存在する。撮影シナリオ番号２０３と撮影シナリオ名２０４は、基本的には１対１の関係であり、撮影シナリオ番号２０３は各テーマの再生をする際に撮影シナリオ名２０４に対応する映像をどの順序で再生させるかを示す。例えば、テーマ名２０２が旅行である場合には、“旅行のプランを紹介″、“移動中の風景あれこれ”、“いただきます”、“おやすみなさい”の順で再生される。ただし、撮影シナリオ番号２０３が０の時は、再生開始時の画像効果番号２０５の指定を示し、撮影シナリオ番号２０３が０の時に対応する撮影シナリオ名２０４は存在しない。
【００２８】
図２（ｂ）は、シナリオ撮影の状況（各作品の完成状況）を管理する管理情報で構成されるシナリオ管理ファイルを例示している。シナリオ管理ファイルには、作品番号２０６、テーマ番号２０７、撮影シナリオ番号２０８、映像番号２０９の要素がある。そして、テーマ番号２０７や撮影シナリオ番号２０８はシナリオ構成ファイルの情報を参照して作成され、ＣＰＵ１０９によって記録媒体１１６に記録される。作品番号２０６は作品を区別するための番号であり、シナリオ管理ファイルに同一の作品番号が割り当てられることはない。映像番号２０９は、撮影シナリオ番号２０８に対応した映像は何番目のシーンが対応しているか、もしくは未撮影であることを記録する領域であり、１つの撮影シナリオ番号２０８に対して複数存在することもある。映像番号２０９は記録された各動画ファイルが識別可能な情報であればよく、例えばファイル名でもよい。作品番号２０６が１である場合を例にすると、作品のテーマ名は、運動会であり、“練習の様子”、“当日の朝”、“いよいよ本番”の撮影シナリオ名に対しては、映像が記録されていることを示す。また、テーマ名２０２が旅行である作品を新たに作成した際には、テーマ番号２０７が１、撮影シナリオ番号２０８が０〜５を持ち、作品番号２０６が４である作品が追記され、ＣＰＵ１０９によって記録媒体１１６に記録される。
【００２９】
図３は、通常撮影モード画面からシナリオ撮影モードで撮影するまでの画面遷移「（ａ）⇒（ｂ）⇒（ｃ）⇒（ｄ）の順」を示している。
【００３０】
図３（ａ）は、通常撮影モードにおける撮影待機状態において、ＬＣＤパネル１１２に表示される画面を例示している。ＬＣＤパネル１１２上部には、ビデオカメラ本体の情報である撮影時間情報３０２と録画状態情報（現在録画中か録画スタンバイ状態であるかを示す）３０３と残バッテリ情報３０１とがＯＳＤで表示されている。画面上にはさらに、タッチボタンであるカメラＦＵＮＣボタン３０４、静止画撮影ボタン３０５、メニューボタン３０６がそれぞれＯＳＤで表示されており、いずれもタッチによる操作が可能である。
【００３１】
図３（ｂ）は、作品を新規作成する場合のテーマ選択時にＬＣＤパネル１１２に表示される画面を例示している。図３（ａ）の画面においてシナリオキー１０６が押されると、図３（ｂ）の画面へ遷移し、モード制御タスクは通常撮影モードからシナリオ撮影モードへ切り替える。ＬＣＤパネル１１２上部には、画面タイトル３０７と残バッテリ情報３０１と、タッチボタンであるバツボタン３０８がＯＳＤで表示され、バツボタン３０８はタッチによる操作が可能である。バツボタン３０８がタッチされると、図３（ａ）の画面に戻り、モード制御タスクはシナリオ撮影モードから通常撮影モードへ切り替える。また、画面上中央には、タッチボタンであるテーマ名ボタン３０９、３１０、３１１がＯＳＤで表示されており、いずれもタッチによる操作が可能である。図３（ａ）において、ユーザは作成したい作品のテーマを選択することができる。テーマ名ボタン３０９，３１０または３１１がタッチされたら、図３（ｃ）撮影シナリオ選択画面へ遷移する。なお、図３（ｂ）のテーマ名ボタン３０９〜３１１上に表示されているテーマ名は、シナリオ構成ファイルに記載のテーマ名２０２の情報を基に表示される。さらに、図３（ｂ）の画面上には、タッチボタンである矢印ボタン３１２、３１３がＯＳＤで表示されており、いずれもタッチによる操作が可能である。矢印ボタン３１２、３１３がタッチされると、画面上に表示されているテーマを切り替わる。また、画面上にはタッチボタンである既存撮影テーマ選択ボタン３１４がＯＳＤで表示されており、既存撮影テーマ選択ボタン３１４はタッチによる操作が可能である。既存撮影テーマ選択ボタン３１４がタッチされると、既存の作品を選択する画面へ遷移し、ユーザは続きから作品を作成することができる。既存撮影テーマが選択された場合、ＣＰＵ１０９は、記録媒体１１６に記録された、図２（ｂ）のシナリオ管理ファイルに基づいて、作成済みの各作品番号に対応したシナリオのテーマをＬＣＤパネル１１２に表示する。ユーザは表示されたテーマから、撮影を継続する作品を選択する。
【００３２】
図３（ｃ）は、作品を新規作成する場合の撮影シナリオ選択時にＬＣＤパネル１１２に表示される画面を例示し、図３（ｂ）の画面において選択されたテーマに対応する撮影シナリオを選択する画面である。ＬＣＤパネル１１２上部には、画面タイトル３０７と残バッテリ情報３０１と、タッチボタンであるバツボタン３０８と戻るボタン３１５がＯＳＤで表示されている。戻るボタン３１５がタッチされると図３（ｂ）の画面へ戻り、バツボタン３０８がタッチされると図３（ａ）の画面に戻り、モード制御タスクはシナリオ撮影モードから通常撮影モードへ切り替える。また、画面上中央には、タッチボタンである撮影シナリオボタン３１６，３１７，３１８が表示されており、いずれもタッチよる操作が可能である。ユーザは、作成したい作品の撮影シナリオを選択することができる。また、撮影シナリオボタン３１６，３１７または３１８がタッチされると、図３（ｄ）のシナリオ撮影モードの撮影画面に遷移する。なお、図３（ｂ）の撮影シナリオは、シナリオ構成ファイルに記載された撮影シナリオ名２０４の情報を基に表示される。さらに、画面上には、タッチボタンである矢印ボタン３１９，３２０がＯＳＤで表示されており、いずれもタッチによる操作が可能である。矢印ボタン３１９，３２０をタッチがタッチされると、画面上に表示されている撮影シナリオが切り替わる。また、図２（ｂ）で既存撮影テーマが選択され、撮影を継続する作品が選択されると、ＣＰＵ１０９は、図２のシナリオ管理ファイルとシナリオ構成ファイルに基づいて、図３（ｃ）に示す様に、選択された作品のテーマに対応したシナリオをＬＣＤパネル１１２に表示する。この際、撮影済みのシナリオについては、撮影済みであることを識別するための情報を付加して表示してもよい。
【００３３】
図３（ｄ）は、シナリオ撮影モード時にＬＣＤパネル１１２に表示される画面を例示している。図３（ｃ）からこの画面へ遷移した場合には、記録媒体１１６に記録されているシナリオ管理ファイルに新たな作品番号が追記される（映像番号２０９以外の情報が埋まる）。通常の撮影モードと異なり、選択されているテーマを示すテーマ名表示３２１と選択されている撮影シナリオを示す撮影シナリオ名表示３２２が表示されている。ここで、撮影シナリオ名表示３２２はタッチによる操作が可能であり、撮影シナリオ名表示３２２がタッチされると図３（ｃ）の画面へ遷移し、ユーザは撮影シナリオを選び直すことができる。この場合、新たに生成された作品番号２０６、旅行に対応するテーマ番号２０７、テーマが旅行であり、移動中の風景あれこれに対応する撮影シナリオ番号２０８に対応する映像番号２０９の欄に、今回記録した映像の映像番号２０９が追記される。また、既存撮影テーマが選択されていた場合、新たに撮影された映像の映像番号が、シナリオ管理ファイルにおいて、選択された作品番号２０６における撮影シナリオ番号２０８に対応づけて記録される。
【００３４】
図４は、再生モードの選択画面からシナリオを再生するまでの画面遷移を例示している。
【００３５】
図４（ａ）は、再生モード選択時にＬＣＤパネル１１２に表示される画面を例示している。ＬＣＤパネル１１２上部には、画面タイトル４０１と残バッテリ情報３０１がＯＳＤで表示されている。また、画面上中央には、再生モード選択ボタンである、動画インデックスボタン４０２、静止画インデックスボタン４０４、シナリオ再生ボタン４０３がＯＳＤで表示されており、いずれもタッチ可能なタッチボタンである。動画インデックスボタン４０２がタッチされると、撮影した動画の一覧を表示する画面へ切り替わり、静止画インデックスボタン４０４がタッチされると、撮影した静止画の一覧を表示する画面へ切り替わる。また、シナリオ再生ボタンがタッチされると、図４（ｂ）に示す撮影した作品の一覧を表示する画面へ切り替わる。
【００３６】
図４（ｂ）は、シナリオ再生における再生テーマ選択時にＬＣＤパネル１１２に表示される画面を例示している。ＬＣＤパネル１１２上部には、画面タイトル４０１と残バッテリ情報３０１がＯＳＤで表示されている。また、画面上中央には、撮影した作品を示す作品再生ボタン４０７、４０８、４０９がＯＳＤで表示されており、いずれもタッチ可能なタッチボタンである。作品再生ボタン４０７、４０８、４０９がタッチされると、タッチされた作品に対応する撮影シナリオがシナリオ管理情報をもと順番に再生される（以下、シナリオ再生）。
【００３７】
図５は、ＣＰＵ１０９により実行されるシナリオ再生時の処理を示している。なお、本処理は、ＣＰＵ１０９が、プログラム・データ記憶部１１０から制御プログラムを読み出し、ワーク領域としての一時記憶部１０３の一部に展開して実行することにより実現され、特に言及しない場合、処理の主体はＣＰＵ１０９である。
【００３８】
図５において、ステップＳ５０１では、再生対象である作品番号に対しての管理情報をシナリオ管理ファイルから取得する。ここで取得する管理情報は、テーマ番号２０１と撮影シナリオ番号２０３と映像番号２０９である。
【００３９】
ステップＳ５０２では、再生されている映像はどの撮影シナリオ番号に対応しているのかを示す撮影シナリオ変数の初期化処理を行い、初期値として０を代入する。
【００４０】
ステップＳ５０３では、再生開始時に画像効果を付加するか判定を行う。ここで再生開始の画像効果を付加する条件は、先頭の撮影シナリオ（撮影シナリオ番号２０８が１）に対応する映像番号２０９が存在し、ステップＳ５０１で取得したテーマ番号２０１と撮影シナリオ変数に対応した画像効果番号２０５が存在する場合とする。なお、画像効果番号２０５は図２（ａ）のシナリオ構成ファイルから取得する。条件にあてはまる場合はステップＳ５０４に移り、条件にあてはまらない場合にはステップＳ５０５へ移行する。
【００４１】
ステップＳ５０４では、ステップＳ５０１で取得したテーマ番号２０１と撮影シナリオ変数に対応した画像効果番号２０５の画像効果が挿入され、ステップＳ５０５へ移行する。
【００４２】
ステップＳ５０５では、撮影シナリオ変数に１加算する処理を行う。
【００４３】
ステップＳ５０６では、ステップＳ５０５において１加算された撮影シナリオ変数が作品内の最後の撮影シナリオ番号より大きいか判定する。撮影シナリオ変数が最後のシナリオ番号より大きい場合は、これ以降に再生できる映像番号はないので、本処理を終了し、最後の撮影シナリオ番号より小さい場合には、ステップＳ５０７へ移行する。
【００４４】
ステップＳ５０７では、撮影シナリオ変数に対応する映像番号２０９が存在するか判定し、対応する映像番号２０９が存在しない場合には、ステップＳ５０５、Ｓ５０６の処理を行い、次の（１増加した際の）撮影シナリオ変数に対応する処理を行う。また、対応する映像番号２０９が存在する場合には、ステップＳ５０８の処理を行い、対応する映像番号２０９の再生を行う。ここで、対応する映像番号２０９が複数ある場合には、複数の映像番号２０９を連続して再生し、最後の再生を開始した時点でステップＳ５０９の処理を行う。なお、複数の映像番号２０９に対応する映像のうち、後から撮影された方を選択して再生する構成でもよい。また、複数の映像番号２０９に対応する映像のうちユーザが選択した何れか１つの映像を再生する構成としてもよい。
【００４５】
ステップＳ５０９では、次の撮影シナリオ変数に対応する映像番号２０９が存在するか判定し、存在する場合にはステップＳ５１０へ移行し、存在しない場合にはステップＳ５１３の処理を再生が終了するまで繰り返す。
【００４６】
ステップＳ５１０では、撮影シナリオ変数に対応した画像効果番号２０５が存在するか判定し、存在する場合にはステップＳ５１１へ移行し、存在しない場合にはステップＳ５１３の処理を再生が終了するまで繰り返す。
【００４７】
ステップＳ５１１では、現在再生中のシナリオに対応した映像の再生残り時間が２秒以下であるか判定し、再生残り時間が２秒以下になるまで、ステップＳ５１１の処理を繰り返し、再生残り時間が２秒以下になった場合には、ステップＳ５１２へ移行する。
【００４８】
ステップＳ５１２では、撮影シナリオ変数に対応した画像効果番号２０５の画像効果を再生されている映像に挿入し、ステップＳ５１３へ移行する。
【００４９】
ステップＳ５１３では、画像効果または映像の再生が終了するまで待ち、終了した場合ステップＳ５０５に戻り、次の撮影シナリオ変数に対して処理を行う。
【００５０】
図７（ａ）は、実施形態１のシナリオ再生手順であって、シナリオ管理ファイルの作品番号２０６が１である作品を再生した状態を例示している。
【００５１】
本実施形態のシナリオ再生のように、ある再生項目（撮影シナリオ）に対して映像を割り当てることができ、その再生項目の順序に従って再生する際に、次の再生項目に対して映像が割り当てられていない場合には画像効果を挿入しない。そして、映像が割り当てられている再生項目までジャンプし、その映像を再生する。そのため、再生項目の切り替わり時に不要な画像効果が挿入されず、自動で最適な画像効果の挿入を行うことができる。
【００５２】
［実施形態２］実施形態２として、次の撮影シナリオに対して映像が割り当てられていない場合、どの画面の切り替わりにも合うような標準的な画像効果をデフォルトの画像効果として挿入させる処理を説明する。装置構成は、実施形態１と同様であり、シナリオ再生時の処理が異なっている。
【００５３】
図６は、実施形態２におけるシナリオ再生処理を示すフローチャートである。上記実施形態１と異なる部分は、ステップＳ５０９、Ｓ５１０の処理である。本実施形態では、撮影シナリオ変数に対応した映像番号２０９が存在しない場合、または、撮影シナリオ変数に対応した画像効果番号２０５が存在しない場合に、ステップＳ６０１、Ｓ６０２の処理を行う。ステップＳ６０１の処理では、再生中の映像の残り再生時間が２秒以下になるまで、Ｓ６０１の処理を繰り返し、２秒以下になったら、ステップＳ６０２の処理を行い、予め設定したデフォルトの画像効果を再生している映像に対して挿入する。
【００５４】
図７（ｂ）は、実施形態２のシナリオ再生手順であって、シナリオ管理ファイルの作品番号２０６が１である作品を再生した状態を例示している。画像効果０は、予め設定したデフォルトの画像効果とする。
【００５５】
本実施形態のシナリオ再生のように、ある再生項目（撮影シナリオ）に対して映像を割り当てることができ、その再生項目の順序に従って再生する際に、次の再生項目に対して映像が割り当てられていない場合にはデフォルトの画像効果を挿入する。そして、映像が割り当てられている再生項目までジャンプし、その映像を再生する。そのため、どのような再生項目の切り替わりにも合う標準的な画像効果が挿入され、再生項目の切り替わり時に不要な画像効果が挿入されず、自動で最適な画像効果の挿入を行うことができる。
【００５６】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【特許請求の範囲】
【請求項１】
記録媒体に記録されている複数の画像データを再生する再生手段と、
複数の再生項目を含み、再生項目ごとに順序が指定されている再生制御情報を記憶する記憶手段と、
前記複数の再生項目に対して前記記録媒体に記録されている画像データを割り当てる割り当て手段と、
前記再生手段により再生される画像データに対して画像効果を付加する画像処理手段と、
前記割り当て手段により割り当てられた再生項目に従って前記再生項目ごとに指定された順序で画像データを再生するように前記再生手段を制御する制御手段と、を有し、
前記制御手段は、前記画像データが割り当てられている再生項目より後の順番の再生項目に画像データが割り当てられていない場合、次に画像データが割り当てられている再生項目の順番までの間に画像効果を付加しないように前記画像処理手段を制御することを特徴とする画像処理装置。
【請求項２】
記録媒体に記録されている複数の画像データを再生する再生手段と、
複数の再生項目を含み、再生項目ごとに順序が指定されている再生制御情報を記憶する記憶手段と、
前記複数の再生項目に対して前記記録媒体に記録されている画像データを割り当てる割り当て手段と、
前記再生手段により再生される画像データに対して画像効果を付加する画像処理手段と、
前記再生項目ごとに指定された順序で前記割り当て手段により割り当てられた再生項目に従って前記再生項目ごとに指定された順序で画像データを再生するように前記再生手段を制御する制御手段と、を有し、
前記制御手段は、前記画像データが割り当てられている再生項目より後の順番の再生項目に画像データが割り当てられていない場合、次に画像データが割り当てられている再生項目の順番までの間に所定の画像効果を付加するように前記画像処理手段を制御することを特徴とする画像処理装置。
【請求項３】
予め用意された再生項目に従って画像を撮影し、記録する撮影手段を更に有し、
前記画像データは動画データであり、
前記再生制御情報は、予め選択された再生項目に応じて動画のそれぞれのシーンを撮影する際の案内となる情報を含むことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記制御手段は、前記画像データが割り当てられている再生項目より後の順番の再生項目に画像データが割り当てられている場合、前記再生手段により再生されている画像データが割り当てられている前記再生項目に対応した画像効果を、前記再生されている画像データに付加するように、前記画像処理手段を制御することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
記録媒体に記録されている複数の画像データを再生する再生手段と、
複数の再生項目を含み、再生項目ごとに順序が指定されている再生制御情報を記憶する記憶手段と、
前記複数の再生項目に対して前記記録媒体に記録されている画像データを割り当てる割り当て手段と、
前記再生手段により再生される画像データに対して画像効果を付加する画像処理手段と、を有する画像処理装置の制御方法であって、
前記再生項目ごとに指定された順序で前記割り当て手段により割り当てられた再生項目に従って前記再生項目ごとに指定された順序で画像データを再生するように前記再生手段を制御する制御工程を有し、
前記制御工程では、前記画像データが割り当てられている再生項目より後の順番の再生項目に画像データが割り当てられていない場合、次に画像データが割り当てられている再生項目の順番までの間に画像効果を付加しないように前記画像処理手段を制御することを特徴とする制御方法。
【請求項６】
記録媒体に記録されている複数の画像データを再生する再生手段と、
複数の再生項目を含み、再生項目ごとに順序が指定されている再生制御情報を記憶する記憶手段と、
前記複数の再生項目に対して前記記録媒体に記録されている画像データを割り当てる割り当て手段と、
前記再生手段により再生される画像データに対して画像効果を付加する画像処理手段と、を有する画像処理装置の制御方法であって、
前記再生項目ごとに指定された順序で前記割り当て手段により割り当てられた再生項目に従って前記再生項目ごとに指定された順序で画像データを再生するように前記再生手段を制御する制御工程を有し、
前記制御工程では、前記画像データが割り当てられている再生項目より後の順番の再生項目に画像データが割り当てられていない場合、次に画像データが割り当てられている再生項目の順番までの間に所定の画像効果を付加するように前記画像処理手段を制御することを特徴とする制御方法。
【請求項７】
コンピュータを、請求項１乃至４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項８】
コンピュータを、請求項１乃至４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。
【請求項１】
記録媒体に記録されている複数の画像データを再生する再生手段と、
複数の再生項目を含み、再生項目ごとに順序が指定されている再生制御情報を記憶する記憶手段と、
前記複数の再生項目に対して前記記録媒体に記録されている画像データを割り当てる割り当て手段と、
前記再生手段により再生される画像データに対して画像効果を付加する画像処理手段と、
前記割り当て手段により割り当てられた再生項目に従って前記再生項目ごとに指定された順序で画像データを再生するように前記再生手段を制御する制御手段と、を有し、
前記制御手段は、前記画像データが割り当てられている再生項目より後の順番の再生項目に画像データが割り当てられていない場合、次に画像データが割り当てられている再生項目の順番までの間に画像効果を付加しないように前記画像処理手段を制御することを特徴とする画像処理装置。
【請求項２】
記録媒体に記録されている複数の画像データを再生する再生手段と、
複数の再生項目を含み、再生項目ごとに順序が指定されている再生制御情報を記憶する記憶手段と、
前記複数の再生項目に対して前記記録媒体に記録されている画像データを割り当てる割り当て手段と、
前記再生手段により再生される画像データに対して画像効果を付加する画像処理手段と、
前記再生項目ごとに指定された順序で前記割り当て手段により割り当てられた再生項目に従って前記再生項目ごとに指定された順序で画像データを再生するように前記再生手段を制御する制御手段と、を有し、
前記制御手段は、前記画像データが割り当てられている再生項目より後の順番の再生項目に画像データが割り当てられていない場合、次に画像データが割り当てられている再生項目の順番までの間に所定の画像効果を付加するように前記画像処理手段を制御することを特徴とする画像処理装置。
【請求項３】
予め用意された再生項目に従って画像を撮影し、記録する撮影手段を更に有し、
前記画像データは動画データであり、
前記再生制御情報は、予め選択された再生項目に応じて動画のそれぞれのシーンを撮影する際の案内となる情報を含むことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記制御手段は、前記画像データが割り当てられている再生項目より後の順番の再生項目に画像データが割り当てられている場合、前記再生手段により再生されている画像データが割り当てられている前記再生項目に対応した画像効果を、前記再生されている画像データに付加するように、前記画像処理手段を制御することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
記録媒体に記録されている複数の画像データを再生する再生手段と、
複数の再生項目を含み、再生項目ごとに順序が指定されている再生制御情報を記憶する記憶手段と、
前記複数の再生項目に対して前記記録媒体に記録されている画像データを割り当てる割り当て手段と、
前記再生手段により再生される画像データに対して画像効果を付加する画像処理手段と、を有する画像処理装置の制御方法であって、
前記再生項目ごとに指定された順序で前記割り当て手段により割り当てられた再生項目に従って前記再生項目ごとに指定された順序で画像データを再生するように前記再生手段を制御する制御工程を有し、
前記制御工程では、前記画像データが割り当てられている再生項目より後の順番の再生項目に画像データが割り当てられていない場合、次に画像データが割り当てられている再生項目の順番までの間に画像効果を付加しないように前記画像処理手段を制御することを特徴とする制御方法。
【請求項６】
記録媒体に記録されている複数の画像データを再生する再生手段と、
複数の再生項目を含み、再生項目ごとに順序が指定されている再生制御情報を記憶する記憶手段と、
前記複数の再生項目に対して前記記録媒体に記録されている画像データを割り当てる割り当て手段と、
前記再生手段により再生される画像データに対して画像効果を付加する画像処理手段と、を有する画像処理装置の制御方法であって、
前記再生項目ごとに指定された順序で前記割り当て手段により割り当てられた再生項目に従って前記再生項目ごとに指定された順序で画像データを再生するように前記再生手段を制御する制御工程を有し、
前記制御工程では、前記画像データが割り当てられている再生項目より後の順番の再生項目に画像データが割り当てられていない場合、次に画像データが割り当てられている再生項目の順番までの間に所定の画像効果を付加するように前記画像処理手段を制御することを特徴とする制御方法。
【請求項７】
コンピュータを、請求項１乃至４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項８】
コンピュータを、請求項１乃至４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−９８５８７（Ｐ２０１３−９８５８７Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２３６４７５（Ｐ２０１１−２３６４７５）
【出願日】平成２３年１０月２７日（２０１１．１０．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１０月２７日（２０１１．１０．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]