動画編集装置、動画編集方法およびプログラム
【課題】観光スポットにおいて撮影した映像に、記念映像としての価値を超える新たな価値を与えることができる動画編集装置、動画編集方法およびプログラムを提供する。
【解決手段】動画編集装置は、憶部、検出部、付加部を備える。前記記憶部には、編集元のコンテンツから検出すべき検出ターゲットと、前記コンテンツと前記検出ターゲットとの類似性を判定するための類似性判定条件と、この類似性判定条件に適合した場合に前記検出ターゲットとの類似性に応じて前記コンテンツに付加するメッセージが対応して記憶されている。前記検出部は前記類似性判定条件に従い、前記コンテンツの中に前記検出ターゲットが含まれているか否かを検知する。前記付加部は前記検出部による検知結果に基づき、前記類似性に応じたメッセージを前記記憶部から読み出し前記コンテンツに付加する。
【解決手段】動画編集装置は、憶部、検出部、付加部を備える。前記記憶部には、編集元のコンテンツから検出すべき検出ターゲットと、前記コンテンツと前記検出ターゲットとの類似性を判定するための類似性判定条件と、この類似性判定条件に適合した場合に前記検出ターゲットとの類似性に応じて前記コンテンツに付加するメッセージが対応して記憶されている。前記検出部は前記類似性判定条件に従い、前記コンテンツの中に前記検出ターゲットが含まれているか否かを検知する。前記付加部は前記検出部による検知結果に基づき、前記類似性に応じたメッセージを前記記憶部から読み出し前記コンテンツに付加する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、動画を編集する動画編集装置、動画編集方法およびプログラムに関する。
【背景技術】
【０００２】
テーマパークや観光地などの観光スポットでは、観光客自身が携行するビデオムービーやデジタルカメラ等の撮影機器やカメラ付き携帯電話機、スマートホンなどのモバイル機器を用いて記念撮影を行い記念映像として残しておくことが行われている。
【０００３】
この種の映像に対して関連する情報を付加して編集することができると、オリジナルの映像にはなかった価値や感動を生むことができるものの、撮影者本人が編集するのは容易ではない。
【０００４】
また観光スポットでは、撮影した映像を撮る場合、家族や友人またはその場所の特徴的な映像を撮ることが多い。
【０００５】
そこで、最近は、観光スポットにおいて撮影済みの映像に対して額縁のようなフレームやテーマパークのキャラクターを焼込み合成するサービスが行われている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２３２８３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来のサービスは、オリジナル動画に対して予め用意した画像を一意に合成するに留まり、撮影済みの映像に記念としての価値を与えはするものの、記念映像という域を超えるものではなかった。
【０００８】
本発明が解決しようとする課題は、観光スポットにおいて撮影した映像に、記念映像としての価値を超える新たな価値を与えることができる動画編集装置、動画編集方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
実施形態の動画編集装置は、記憶部、検出部、付加部を備える。前記記憶部には、編集元のコンテンツから検出すべき検出ターゲットと、前記コンテンツと前記検出ターゲットとの類似性を判定するための類似性判定条件と、この類似性判定条件に適合した場合に前記検出ターゲットとの類似性に応じて前記コンテンツに付加するメッセージとが対応して記憶されている。前記検出部は前記類似性判定条件に従い、前記コンテンツの中に前記検出ターゲットが含まれているか否かを検知する。前記付加部は前記検出部による前記コンテンツの中に前記検出ターゲットが含まれているか否かの検知結果に基づき、前記類似性に応じたメッセージを前記記憶部から読み出し前記コンテンツに付加する。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態の動画編集システムの概要構成を示す図である。
【図２】検索ターゲットを示す図である。
【図３】条件テーブルを示す図である。
【図４】類似度を算出するイメージを示す図である。
【図５】検索結果に基づき挿入メッセージ候補をコンテンツにセットする一例を示す図である。
【図６】動画編集システムの動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、実施形態を詳細に説明する。
図１は実施形態の動画編集システムの構成を示す図である。
【００１２】
図１に示すように、この実施形態の動画編集システムは、ＳＤメモリカード、メモリステックおよびＤＶＤ−ＲＯＭなどの記録媒体２から映像、音声などのデータを含むオリジナル動画コンテンツ（以下「編集元のコンテンツ」と称す）を読み取り、編集し、編集された動画コンテンツ（以下「編集済みコンテンツ」と称す）を生成する動画編集装置３と、この動画編集装置３に編集条件を設定するための入力部１とを有している。この他、必要に応じて、光学ドライブ装置などの記憶装置、編集対象の映像を映す表示装置などが動画編集装置３に接続されるものとする。ＳＤ、メモリステックなどは登録商標である。
【００１３】
動画編集装置３は、編集元のコンテンツに対する所望の編集条件を予め登録しておき、その編集条件に従って付加情報を付加するなどの編集機能を有する。
【００１４】
編集条件としては、例えば検出ターゲット、検出条件、付加情報があり、これらを動画編集装置３に予め登録しておく。入力部１は、これらの情報を入力するためのものである。
【００１５】
入力部１としては、ユーザが検索条件をキー入力により指定するキーボード、外部の記憶装置に記憶された人物、構造物等の画像または音声を検出ターゲットとして入力するＬＡＮなどのネットワークとその通信インタフェース等が含まれる。
【００１６】
動画編集装置３は、記憶部３０、目標登録部３１、条件設定部３２、付加情報登録部３３、検出部３４、映像受付部３５、特徴量抽出部３６，４１、類似度算出部３７、類似性判定部３８、フレーム抽出部３９、領域切出部４０、付加部４２、映像出力部４３を有している。
【００１７】
動画編集装置３は、例えばメモリ、ＣＰＵ、ハードディスク装置、通信インタフェースなどを搭載したコンピュータで実現される。記憶部３０はメモリまたはハードディスク装置などで実現され、その他の目標登録部３１、条件設定部３２、付加情報登録部３３、映像受付部３５、特徴量抽出部３６，４１、類似度算出部３７、類似性判定部３８、フレーム抽出部３９、領域切出部４０、付加部４２、映像出力部４３などはハードディスク装置にインストールされたソフトウェアとこのソフトウェアをメモリに読み込んで処理を実行するＣＰＵとで実現される。
【００１８】
記憶部３０には、図２に示す検出ターゲット５０と編集元のコンテンツ５６が登録される他、図３に示す条件テーブル５２が予め記憶（設定）されている。
【００１９】
目標登録部３１は、検出ターゲット５０として検出したい人物や構造物等のオブジェクトの入力を受け付け、記憶部３０に記憶（登録）する機能を有している。また、入力されるデータの中で対象とする領域を指定する機能を有している。
【００２０】
データはＬＡＮやＵＳＢインタフェースで接続されたデバイスからファイルを取得した、またはＳＤメモリカードやＤＶＤ−ＲＯＭ等の記録媒体を装着した読取装置（メモリカードリーダ、ＤＶＤドライブ装置）により読み取って得るものとする。なお外部からデータを得る手段としてはここに示したもの以外にもあり、本発明は実施例に示したものに限定されるものではない。
【００２１】
図２に示すように、検出ターゲット５１は、検索目標１…ｍ毎にファイル名とカテゴリ（分類、種類）が対応付けられて記憶部３０に記憶される。
【００２２】
観光スポットにある例えば構造物１の画像はファイル名：ａａａ、カテゴリ：構造物とされ、構造物２の画像はファイル名：ｂｂｂ、カテゴリ：構造物とされ、構造物３の画像はファイル名：ｃｃｃ、カテゴリ：構造物とされ、ご当地キャラクター４の画像はファイル名：ｅｅｅ、カテゴリ：人物などとされる。
【００２３】
なお、検出ターゲット５０としては、画像を想定しているが、後述の特徴量抽出部３６との整合をとることにより、動画、音声データなどとしてもよい。これらの検出ターゲット５０は、１つでも複数でもよい。より検出精度を向上させるために、１つの物体に対して様々な角度から撮影したり、または明るさの変化をつけて撮影した画像を用いてもよい。
【００２４】
条件設定部３２は、編集元のコンテンツの中から、検出ターゲットを認識した際に、付加情報を付加するか否かの各種条件を記憶部３０（条件テーブル５２）に設定する機能を有する。つまり条件設定部３２は、条件テーブル５２の各条件（類似度判定条件、付加条件）を編集する機能を有し、各条件を所望に応じて編集可能である。
【００２５】
図３に示すように、記憶部３０の条件テーブル５２には、検出目標毎に付加条件（類似度しきい値と検出フレーム数）と挿入メッセージと挿入位置（編集ポイント）が対応して記憶されている。この他、例えば編集元のコンテンツの中で検出された編集ポイントの数が一定以上となることを条件として設定してもよい。
【００２６】
すなわち記憶部３０の条件テーブル５２には、編集元のコンテンツから検出すべき検出ターゲット５０と、編集元のコンテンツ５６と検出ターゲット５０との類似性を判定するための検出目標毎の類似性判定条件（しきい値と検出フレーム数）と、この条件に適合した場合に検出ターゲット５０との類似性に応じてコンテンツ５６に付加するメッセージ５４とこのメッセージ５４をコンテンツに付加するための付加条件（挿入位置）とが対応して記憶される。付加条件（挿入位置）は検出ターゲットに応じて設定されている。
【００２７】
この他、例えば編集元のコンテンツ５６と検出ターゲット５０の特徴量５１から求められる類似度が閾値以上となることや、検出されたフレームが一定数以上検出または一定時間継続すること、または編集元のコンテンツ５６の中で検出された編集ポイントの数が一定以上となることを条件としてもよい。
【００２８】
条件の入力方法は、動画編集装置３に接続されたキーボードから直接キー入力する以外に、例えばこの動画編集装置３とＬＡＮ等で接続されたコンピュータ（入力端末）にグラフィックユーザインタフェース（ＧＵＩ）を表示させて、ＧＵＩから入力してもよい。
【００２９】
付加情報登録部３３は、編集元のコンテンツに付加するための字幕データまたは文字スーパーのメッセージ５４を受け付け記憶部３０に登録する機能を有する。
【００３０】
入力はＬＡＮやＵＳＢインタフェースで接続されたデバイスからファイルを取得する方法やＳＤメモリカードやＣＤ−ＲＯＭ等の媒体から読み取る方法、あるいはＬＡＮ等で接続されたコンピュータのＧＵＩなどがある。メッセージの入力および受付方法は実施形態に記載したものに限定されるものではない。
【００３１】
映像受付部３５は、動画編集装置３の外部から編集元のコンテンツ５６を受け取り、その編集元のコンテンツ５６を記憶部３０に保存する。編集元のコンテンツ５６の入力はＬＡＮやＵＳＢインタフェースで接続されたデバイスからファイルを取得する方法やＳＤメモリカードやＤＶＤ等の記録媒体２から読み取る方法もあるが、本発明は実施形態に限定されるものではない。
【００３２】
編集元のコンテンツ５６のフォーマットは、例えばＭＰＥＧ−２などの動画フォーマットが一例として想定されるが、これ以外にも、例えば３ＧＰ、ＡＶＩ、Ｈ．２６４／ＭＰＥＧ４ ＡＶＣなどであってもよく、この他、多くのフォーマットに対応するものとする。
【００３３】
また、ビデオカメラ等で撮影された動画を一次編集したものを編集元のコンテンツ５６として動画編集装置３に入力してもよい。また動画編集装置３に一次編集機能を設けて、不要部分のカット編集などの一次編集したダイジェスト映像を編集元のコンテンツ５６として、この装置の各構成で２次編集することで付加情報を付加するようにしてもよい。
【００３４】
特徴量抽出部３６は、記憶部３０に記憶された検出ターゲット５０から特徴量５１を算出（抽出）する処理を行ない、記憶部３０に記憶する。
【００３５】
特徴量抽出は、例えばカラー画像から認識対象の特徴量を抽出する方法として、ｃｏｌｏｒ−ＣｏＨＯＧ（Ｃｏ−ｏｃｃｕｒｒｅｎｃｅ Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）、ＣｏＨＥＤ（Ｃｏ−ｏｃｃｕｒｒｅｎｃｅ Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｐａｉｒｓ ｏｆ Ｅｄｇｅ Ｏｒｉｅｎｔａｔｉｏｎｓ ａｎｄ Ｃｏｌｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）、ＣｏＨＤ（Ｃｏ−ｏｃｃｕｒｒｅｎｃｅ Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｃｏｌｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）などがあるが、これらの特徴量抽出方法に限定することを意図するものではない。
【００３６】
検出部３４は、類似度算出部３７、類似性判定部３８を有しており、記憶部３０に設定された類似性判定条件に従い、編集元のコンテンツ５６の中に検出ターゲット５０が含まれているか否かを検知しその結果を付加部４２へ通知する。
【００３７】
類似度算出部３７は、上記した特徴量抽出部４１で算出された編集元のコンテンツ５６の特徴量５５と検出ターゲット５０の特徴量５１とを比較して互いの類似度を算出する。
【００３８】
類似性判定部３８は、前述の類似度算出部３７で算出された類似度と記憶部３０から読み出した類似性判定条件５２に従って互いの映像の類似性を判定する。
【００３９】
この場合、個々の検索目標に応じて異なる類似度のしきい値を設定しておき、検索目標毎に設定された類似度しきい値との比較でしきい値よりも高ければ類似性が高いと判定し、しきい値よりも類似度が低ければ類似性が低いと判定する。
【００４０】
類似性判定部３８は、記憶部３０から読み出した条件テーブル５２の付加条件と照合することで類似性判定（類似性が高い、類似の度合いが中程度のもの、類似性が低いなど）を行い、付加条件と合致する検索目標１…ｍに紐付いた挿入メッセージ（付加情報）と編集元のコンテンツ５６へ出力すべき挿入位置（動画の時間軸情報）とを付加部４２へ出力する機能を有する。なお類似性判定結果または検出ターゲット５０の検出結果を付加部４２へ通知し、付加部４２が記憶部３０の条件テーブル５２から挿入位置（動画の時間軸情報）を読み出してもよい。
【００４１】
すなわち類似性判定部３８は、算出された類似度と付加条件とを照合した判定結果を付加部４２へ出力する。
【００４２】
例えば検索目標（１）のように類似度が６０％を超え、かつ検出フレーム数が５フレーム以上検出された「類似の度合いが中程度でありフレーム検出数も中程度のもの」の場合は、対応するメッセージ「ここは○○門のようですね。○○門には左右に…」などの確からしいメッセージを検出フレームのうちのメッセージ挿入位置（時間軸情報）と共に出力する。
【００４３】
また検索目標（２）のように類似度が８５％を超え、かつ検出フレーム数が８フレーム以上検出された「類似性が高く多く検出されたもの」の場合は、対応するメッセージ「映っているのは△△門ですね。」等の確定的なメッセージを検出フレームのうちのメッセージ挿入位置（時間軸情報）と共に出力する。
【００４４】
さらに検索目標（４）のように類似度が３０％を超え、かつ１０フレーム以上検出された「類似性が低いが多く検出されたもの」の場合は、対応するメッセージ「このシーンの中に、ご当地キャラクターが隠れているかもしれません。」などの確認を促すメッセージをその時間軸情報と共に出力する。つまり類似度に応じて視聴者が興味をそそるメッセージを登録しておくものとする。
【００４５】
複数の付加情報が候補となる場合、より類似性が高い結果を選択する方法や付加情報を同時に出力する方法などが考えられる。なお上記では、挿入位置を予め設定したが、挿入位置を設けずに、例えば類似度がしきい値を超えた全てのフレームにメッセージを付加するようにしてもよい。
【００４６】
なお、特徴量抽出方法や類似性の判定の技術については、例えば特開２０１１−１８２３８号公報、特開２００９−１１０４６０号公報などに記載されている技術が知られており、このような技術を用いることができる。なおここに示した技術は一例であり、これ以外にも特徴量抽出技術や類似性判定技術はあり、いかなる方法を用いてもよい。
【００４７】
フレーム抽出部３９は、記憶部３０に格納された編集元のコンテンツからフレームを一枚ずつ抜き出す機能を有する。キーとなるフレームは、例えばＭＰＥＧ−２のiフレームなどであり、この他、例えばシーン毎に代表となるフレームを抽出してもよい。
【００４８】
領域切出部４０は、フレーム抽出部３９により切り出されたフレームから、予め記憶部３０に登録されている検出ターゲット５０（画像）の特徴量５１と比較するための領域（画像データ）を切り出す機能を有する。
【００４９】
特徴量抽出部４１は、領域切出部４０により切り出された画像データから特徴量５５を抽出し、記憶部３０に記憶する処理を行なう。
【００５０】
付加部４２は、上記検出部３４（類似性判定部３８）から出力される判定結果（検知結果）と、付加条件（挿入位置：時間軸情報）に基づいて、編集元のコンテンツに付加情報（メッセージ）を付加する機能を有する。このとき付加情報は、字幕または文字スーパー等のメッセージが編集元のコンテンツに付加されて、編集済みコンテンツとされる。
【００５１】
すなわち、付加部４２は、検出部３４による編集元のコンテンツ５６の中に検出ターゲット５０が含まれているか否かの検知結果に基づき、類似性に応じたメッセージ５４を記憶部３０から読み出し編集元のコンテンツ５６に付加する。
また付加部４２は、編集元のコンテンツ５６内で検出された検出ターゲット５０との類似度がある一定値以上の検索目標のコンテンツ内における検出回数または連続性を加味してメッセージを付加する。
【００５２】
編集元のコンテンツ５６にメッセージ５４を付加するには、例えばコンテンツ５６にメッセージ５４を重畳し合成する方法がある。またＤＶＤ、ブルーレイ等のように字幕エリアがある場合は、そのエリアにメッセージをセット（挿入）することで、視聴時にＯＮ，ＯＦＦ操作が可能であり、いずれの方法を用いてもよい。ブルーレイは登録商標である。
【００５３】
映像出力部４３は、付加情報が合成された編集済みコンテンツを、動画編集装置３の外部へ送出する。送出手段として、例えばＬＡＮによるネットワーク接続やＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ブルーレイディスク等の記録媒体であってもよい。
【００５４】
以下、図４乃至図６を参照してこの実施形態の動画編集システムに動作を説明する。
この実施形態の動画編集システムでは、まず、編集元のコンテンツを編集するための準備を行う。
【００５５】
この場合、入力部１より、検出ターゲットとして検出したい人物や構造物等のオブジェクトが動画編集装置３に入力されると、それを目標登録部３１が受け付け、記憶部３０に記憶（登録）する。
【００５６】
また、入力部１より検出ターゲット５０が入力された際に、付加情報を付加するか否かを判定するための各種条件が動画編集装置３に入力されると、条件設定部３２は、その条件を記憶部３０の図３に示す条件テーブル５２に設定する。
【００５７】
条件テーブル５２には、例えば編集元のコンテンツ５６と検出ターゲット５０の特徴量５１，５５から求められる類似度がしきい値以上となることや、検出されたフレームが一定数以上となったことを条件として設定される。この他、検出フレームが一定数以上継続したことを条件としてもよい。
【００５８】
また、入力部１より、編集元のコンテンツ５６に付加するための字幕データまたは文字スーパーのメッセージ５４が動画編集装置３に入力されると、付加情報登録部３３は、そのメッセージ５４を受け付け、記憶部３０に記憶する。
【００５９】
特徴量抽出部３６は、記憶部３０に記憶された検出ターゲット５０から特徴量５１を抽出し、記憶部３０に記憶する。これで編集元のコンテンツ５６を編集するために準備が終わる。
【００６０】
次に、編集元のコンテンツ５６の編集処理について説明する。
外部から動画編集装置３に編集元のコンテンツ５６が入力されると、映像受付部３５は、それを受け付け、受け付けた編集元のコンテンツ５６を記憶部３０に記憶（保存）する（図６のステップＳ１０１）。
【００６１】
フレーム抽出部３９は、記憶部３０に記憶（保存）された編集元のコンテンツ５６からフレームを一枚ずつ抜き出す（ステップＳ１０２）。キーとなるフレームは、例えばＭＰＥＧ−２のiフレームなどであり、この他、例えばシーン毎に代表となるフレームを抽出してもよい。
【００６２】
領域切出部４０は、フレーム抽出部３９により切り出されたフレームから、予め登録されている検出ターゲット５０の特徴量５１と比較するための領域（画像）を切り出す（ステップＳ１０３）。
【００６３】
特徴量抽出部４１は、領域切出部４０により切り出された画像から特徴量５５を抽出し、記憶部３０に記憶する（ステップＳ１０４）。
【００６４】
続いて、類似度算出部３７は、記憶部３０に記憶された編集元のコンテンツ５６の特徴量５５と検出ターゲット５０の特徴量５１とを記憶部３０から読み出し、読み出した２つの特徴量５０，５５を比較し、特徴量どうしの一致度合いから互いの類似度を算出する（ステップＳ１０４）。
【００６５】
この計算をコンテンツから検出されるフレーム番号の順に行うことで、図４に示すように、予め登録された検索目標（検出ターゲット５０）と、編集元のコンテンツから抽出したフレームの比較対象領域との類似度が全フレームについて算出される。すなわち、各検索目標１…ｍに対して、検索対象動画との類似度が算出される。
【００６６】
類似性判定部３８は、前述の類似度算出部３７で算出された類似度と条件テーブル５２の類似性判定条件から互いの映像の類似性を判定し（ステップＳ１０５）、判定結果を付加部４２へ通知する。つまり類似性判定条件に合致した場合に、条件テーブル５２の検索目標に紐付けられたメッセージおよび挿入位置を、編集元のコンテンツへ出力すべき付加情報として付加部４２へ出力する。
【００６７】
上位の判定としては、検出部３４は、条件テーブル５２の類似性判定条件に従い、編集元のコンテンツ５６の中に検出ターゲット５０が含まれているか否かを検出する。
【００６８】
付加部４２は、検出ターゲット５０が含まれているか否かを検出結果と付加情報（メッセージおよび挿入位置）または結果通知により条件テーブル５２から読み出した付加条件（挿入位置）に従って、メッセージを編集元のコンテンツ５６に付加する（ステップＳ１０６）。
【００６９】
このとき、図５に示すように、挿入されるメッセージは、指定された編集元のコンテンツ５６の挿入対象のフレーム番号のフレームに字幕または文字スーパー等としてセット（付加）されて、編集済みコンテンツとされる。
【００７０】
そして、処理終了の指示がなければ（ステップＳ１０７のＮｏ）、次のフレームについてターゲット検出動作を繰り返し、全てのフレームに対する処理が終了すると（ステップＳ１０７のＹｅｓ）、映像出力部４３は、付加情報が付加（合成）された編集済みコンテンツを、外部出力用の記録媒体（ＣＤ−Ｒ、ＤＶＤ−Ｒ、各種メモリカード等）へ書き込む。なおネットワークなどからの要求で編集した場合、編集済みコンテンツを編集要求元へ送出する。
【００７１】
ここで、本動画編集システムの技術を利用したサービスについて説明する。
例えばテーマパークなどで家族や友人と一緒にテーマパークのキャラクターが撮影されているオリジナル映像コンテンツに対して、テーマパークのキャラクターが一定の類似度を超えるフレームが、一定時間以上または一定数以上が検出された場合に、このテーマパークのキャラクターがあたかも映像視聴者に語りかけるようなメッセージを、検出フレームの位置に付加することによって、オリジナル映像コンテンツには無かった新たな感動を付加することができる。
【００７２】
また、所定のテーマに沿った映像コンテストを行い、応募された映像の中からコンテスト主催者がターゲット映像とした画像が映っているフレームに当選通知メッセージを付加して映像を出力するようにしてもよい。
【００７３】
さらに、所定の観光スポットで撮影した映像に対して、オリジナル映像コンテンツの中からその場所の代表的な建物や構造物との類似度が一定以上検出されるフレームについて、それらの建物や構造物に関する解説等のメッセージを付加するようにしてもよい。
【００７４】
また、所定の商品の映像を予め登録しておき、オリジナル動画コンテンツの中でその商品の映像が検知されたときに、商品に関連する情報を付加するようにしてもよい。
【００７５】
さらに、特定の人が出入りする場所（監視対象エリア）に設置した監視カメラの映像に対して、登録された人の映像が検知されたときに、出力映像に検知した人の所属や名前を付加して表示するようにしてもよい。
【００７６】
このようにこの実施形態によれば、観光スポットまたは監視対象エリアにおいて撮影した映像に、単なる記念映像または監視映像としての価値を超える新たな価値を与えることができる。また、検出ターゲットの検出精度と要求元とのネットワークの状態にもよるが、編集元のコンテンツにメッセージを付加して編集済みのコンテンツを作成し要求元へ渡す（送る）という一連の処理をほぼ自動で実行することができる。
【００７７】
上記では本発明に係る実施形態を説明したが、説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００７８】
また上記実施形態に示した各構成要素を、コンピュータのハードディスク装置などのストレージにインストールしたプログラムで実現してもよく、また上記プログラムを、コンピュータ読取可能な電子媒体：electronic mediaに記憶しておき、プログラムを電子媒体からコンピュータに読み取らせることで本発明の機能をコンピュータが実現するようにしてもよい。
【００７９】
電子媒体としては、例えばＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ等の記録媒体やフラッシュメモリ、リムーバブルメディア：Removable media等が含まれる。さらに、ネットワークを介して接続した異なるコンピュータに構成要素を分散して記憶し、各構成要素を機能させたコンピュータ間で通信することで実現してもよい。
【符号の説明】
【００８０】
１…入力部、２…記録媒体、３…動画編集装置、３０…記憶部、３１…目標登録部、３２…条件設定部、３３…付加情報登録部、３５…映像受付部、３６，４１…特徴量抽出部、３７…類似度算出部、３８…類似性判定部、３９…フレーム抽出部、４０…領域切出部、４２…付加部、４３…映像出力部。
【技術分野】
【０００１】
本発明の実施形態は、動画を編集する動画編集装置、動画編集方法およびプログラムに関する。
【背景技術】
【０００２】
テーマパークや観光地などの観光スポットでは、観光客自身が携行するビデオムービーやデジタルカメラ等の撮影機器やカメラ付き携帯電話機、スマートホンなどのモバイル機器を用いて記念撮影を行い記念映像として残しておくことが行われている。
【０００３】
この種の映像に対して関連する情報を付加して編集することができると、オリジナルの映像にはなかった価値や感動を生むことができるものの、撮影者本人が編集するのは容易ではない。
【０００４】
また観光スポットでは、撮影した映像を撮る場合、家族や友人またはその場所の特徴的な映像を撮ることが多い。
【０００５】
そこで、最近は、観光スポットにおいて撮影済みの映像に対して額縁のようなフレームやテーマパークのキャラクターを焼込み合成するサービスが行われている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２３２８３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来のサービスは、オリジナル動画に対して予め用意した画像を一意に合成するに留まり、撮影済みの映像に記念としての価値を与えはするものの、記念映像という域を超えるものではなかった。
【０００８】
本発明が解決しようとする課題は、観光スポットにおいて撮影した映像に、記念映像としての価値を超える新たな価値を与えることができる動画編集装置、動画編集方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
実施形態の動画編集装置は、記憶部、検出部、付加部を備える。前記記憶部には、編集元のコンテンツから検出すべき検出ターゲットと、前記コンテンツと前記検出ターゲットとの類似性を判定するための類似性判定条件と、この類似性判定条件に適合した場合に前記検出ターゲットとの類似性に応じて前記コンテンツに付加するメッセージとが対応して記憶されている。前記検出部は前記類似性判定条件に従い、前記コンテンツの中に前記検出ターゲットが含まれているか否かを検知する。前記付加部は前記検出部による前記コンテンツの中に前記検出ターゲットが含まれているか否かの検知結果に基づき、前記類似性に応じたメッセージを前記記憶部から読み出し前記コンテンツに付加する。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態の動画編集システムの概要構成を示す図である。
【図２】検索ターゲットを示す図である。
【図３】条件テーブルを示す図である。
【図４】類似度を算出するイメージを示す図である。
【図５】検索結果に基づき挿入メッセージ候補をコンテンツにセットする一例を示す図である。
【図６】動画編集システムの動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、実施形態を詳細に説明する。
図１は実施形態の動画編集システムの構成を示す図である。
【００１２】
図１に示すように、この実施形態の動画編集システムは、ＳＤメモリカード、メモリステックおよびＤＶＤ−ＲＯＭなどの記録媒体２から映像、音声などのデータを含むオリジナル動画コンテンツ（以下「編集元のコンテンツ」と称す）を読み取り、編集し、編集された動画コンテンツ（以下「編集済みコンテンツ」と称す）を生成する動画編集装置３と、この動画編集装置３に編集条件を設定するための入力部１とを有している。この他、必要に応じて、光学ドライブ装置などの記憶装置、編集対象の映像を映す表示装置などが動画編集装置３に接続されるものとする。ＳＤ、メモリステックなどは登録商標である。
【００１３】
動画編集装置３は、編集元のコンテンツに対する所望の編集条件を予め登録しておき、その編集条件に従って付加情報を付加するなどの編集機能を有する。
【００１４】
編集条件としては、例えば検出ターゲット、検出条件、付加情報があり、これらを動画編集装置３に予め登録しておく。入力部１は、これらの情報を入力するためのものである。
【００１５】
入力部１としては、ユーザが検索条件をキー入力により指定するキーボード、外部の記憶装置に記憶された人物、構造物等の画像または音声を検出ターゲットとして入力するＬＡＮなどのネットワークとその通信インタフェース等が含まれる。
【００１６】
動画編集装置３は、記憶部３０、目標登録部３１、条件設定部３２、付加情報登録部３３、検出部３４、映像受付部３５、特徴量抽出部３６，４１、類似度算出部３７、類似性判定部３８、フレーム抽出部３９、領域切出部４０、付加部４２、映像出力部４３を有している。
【００１７】
動画編集装置３は、例えばメモリ、ＣＰＵ、ハードディスク装置、通信インタフェースなどを搭載したコンピュータで実現される。記憶部３０はメモリまたはハードディスク装置などで実現され、その他の目標登録部３１、条件設定部３２、付加情報登録部３３、映像受付部３５、特徴量抽出部３６，４１、類似度算出部３７、類似性判定部３８、フレーム抽出部３９、領域切出部４０、付加部４２、映像出力部４３などはハードディスク装置にインストールされたソフトウェアとこのソフトウェアをメモリに読み込んで処理を実行するＣＰＵとで実現される。
【００１８】
記憶部３０には、図２に示す検出ターゲット５０と編集元のコンテンツ５６が登録される他、図３に示す条件テーブル５２が予め記憶（設定）されている。
【００１９】
目標登録部３１は、検出ターゲット５０として検出したい人物や構造物等のオブジェクトの入力を受け付け、記憶部３０に記憶（登録）する機能を有している。また、入力されるデータの中で対象とする領域を指定する機能を有している。
【００２０】
データはＬＡＮやＵＳＢインタフェースで接続されたデバイスからファイルを取得した、またはＳＤメモリカードやＤＶＤ−ＲＯＭ等の記録媒体を装着した読取装置（メモリカードリーダ、ＤＶＤドライブ装置）により読み取って得るものとする。なお外部からデータを得る手段としてはここに示したもの以外にもあり、本発明は実施例に示したものに限定されるものではない。
【００２１】
図２に示すように、検出ターゲット５１は、検索目標１…ｍ毎にファイル名とカテゴリ（分類、種類）が対応付けられて記憶部３０に記憶される。
【００２２】
観光スポットにある例えば構造物１の画像はファイル名：ａａａ、カテゴリ：構造物とされ、構造物２の画像はファイル名：ｂｂｂ、カテゴリ：構造物とされ、構造物３の画像はファイル名：ｃｃｃ、カテゴリ：構造物とされ、ご当地キャラクター４の画像はファイル名：ｅｅｅ、カテゴリ：人物などとされる。
【００２３】
なお、検出ターゲット５０としては、画像を想定しているが、後述の特徴量抽出部３６との整合をとることにより、動画、音声データなどとしてもよい。これらの検出ターゲット５０は、１つでも複数でもよい。より検出精度を向上させるために、１つの物体に対して様々な角度から撮影したり、または明るさの変化をつけて撮影した画像を用いてもよい。
【００２４】
条件設定部３２は、編集元のコンテンツの中から、検出ターゲットを認識した際に、付加情報を付加するか否かの各種条件を記憶部３０（条件テーブル５２）に設定する機能を有する。つまり条件設定部３２は、条件テーブル５２の各条件（類似度判定条件、付加条件）を編集する機能を有し、各条件を所望に応じて編集可能である。
【００２５】
図３に示すように、記憶部３０の条件テーブル５２には、検出目標毎に付加条件（類似度しきい値と検出フレーム数）と挿入メッセージと挿入位置（編集ポイント）が対応して記憶されている。この他、例えば編集元のコンテンツの中で検出された編集ポイントの数が一定以上となることを条件として設定してもよい。
【００２６】
すなわち記憶部３０の条件テーブル５２には、編集元のコンテンツから検出すべき検出ターゲット５０と、編集元のコンテンツ５６と検出ターゲット５０との類似性を判定するための検出目標毎の類似性判定条件（しきい値と検出フレーム数）と、この条件に適合した場合に検出ターゲット５０との類似性に応じてコンテンツ５６に付加するメッセージ５４とこのメッセージ５４をコンテンツに付加するための付加条件（挿入位置）とが対応して記憶される。付加条件（挿入位置）は検出ターゲットに応じて設定されている。
【００２７】
この他、例えば編集元のコンテンツ５６と検出ターゲット５０の特徴量５１から求められる類似度が閾値以上となることや、検出されたフレームが一定数以上検出または一定時間継続すること、または編集元のコンテンツ５６の中で検出された編集ポイントの数が一定以上となることを条件としてもよい。
【００２８】
条件の入力方法は、動画編集装置３に接続されたキーボードから直接キー入力する以外に、例えばこの動画編集装置３とＬＡＮ等で接続されたコンピュータ（入力端末）にグラフィックユーザインタフェース（ＧＵＩ）を表示させて、ＧＵＩから入力してもよい。
【００２９】
付加情報登録部３３は、編集元のコンテンツに付加するための字幕データまたは文字スーパーのメッセージ５４を受け付け記憶部３０に登録する機能を有する。
【００３０】
入力はＬＡＮやＵＳＢインタフェースで接続されたデバイスからファイルを取得する方法やＳＤメモリカードやＣＤ−ＲＯＭ等の媒体から読み取る方法、あるいはＬＡＮ等で接続されたコンピュータのＧＵＩなどがある。メッセージの入力および受付方法は実施形態に記載したものに限定されるものではない。
【００３１】
映像受付部３５は、動画編集装置３の外部から編集元のコンテンツ５６を受け取り、その編集元のコンテンツ５６を記憶部３０に保存する。編集元のコンテンツ５６の入力はＬＡＮやＵＳＢインタフェースで接続されたデバイスからファイルを取得する方法やＳＤメモリカードやＤＶＤ等の記録媒体２から読み取る方法もあるが、本発明は実施形態に限定されるものではない。
【００３２】
編集元のコンテンツ５６のフォーマットは、例えばＭＰＥＧ−２などの動画フォーマットが一例として想定されるが、これ以外にも、例えば３ＧＰ、ＡＶＩ、Ｈ．２６４／ＭＰＥＧ４ ＡＶＣなどであってもよく、この他、多くのフォーマットに対応するものとする。
【００３３】
また、ビデオカメラ等で撮影された動画を一次編集したものを編集元のコンテンツ５６として動画編集装置３に入力してもよい。また動画編集装置３に一次編集機能を設けて、不要部分のカット編集などの一次編集したダイジェスト映像を編集元のコンテンツ５６として、この装置の各構成で２次編集することで付加情報を付加するようにしてもよい。
【００３４】
特徴量抽出部３６は、記憶部３０に記憶された検出ターゲット５０から特徴量５１を算出（抽出）する処理を行ない、記憶部３０に記憶する。
【００３５】
特徴量抽出は、例えばカラー画像から認識対象の特徴量を抽出する方法として、ｃｏｌｏｒ−ＣｏＨＯＧ（Ｃｏ−ｏｃｃｕｒｒｅｎｃｅ Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）、ＣｏＨＥＤ（Ｃｏ−ｏｃｃｕｒｒｅｎｃｅ Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｐａｉｒｓ ｏｆ Ｅｄｇｅ Ｏｒｉｅｎｔａｔｉｏｎｓ ａｎｄ Ｃｏｌｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）、ＣｏＨＤ（Ｃｏ−ｏｃｃｕｒｒｅｎｃｅ Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｃｏｌｏｒ Ｄｉｆｆｅｒｅｎｃｅｓ）などがあるが、これらの特徴量抽出方法に限定することを意図するものではない。
【００３６】
検出部３４は、類似度算出部３７、類似性判定部３８を有しており、記憶部３０に設定された類似性判定条件に従い、編集元のコンテンツ５６の中に検出ターゲット５０が含まれているか否かを検知しその結果を付加部４２へ通知する。
【００３７】
類似度算出部３７は、上記した特徴量抽出部４１で算出された編集元のコンテンツ５６の特徴量５５と検出ターゲット５０の特徴量５１とを比較して互いの類似度を算出する。
【００３８】
類似性判定部３８は、前述の類似度算出部３７で算出された類似度と記憶部３０から読み出した類似性判定条件５２に従って互いの映像の類似性を判定する。
【００３９】
この場合、個々の検索目標に応じて異なる類似度のしきい値を設定しておき、検索目標毎に設定された類似度しきい値との比較でしきい値よりも高ければ類似性が高いと判定し、しきい値よりも類似度が低ければ類似性が低いと判定する。
【００４０】
類似性判定部３８は、記憶部３０から読み出した条件テーブル５２の付加条件と照合することで類似性判定（類似性が高い、類似の度合いが中程度のもの、類似性が低いなど）を行い、付加条件と合致する検索目標１…ｍに紐付いた挿入メッセージ（付加情報）と編集元のコンテンツ５６へ出力すべき挿入位置（動画の時間軸情報）とを付加部４２へ出力する機能を有する。なお類似性判定結果または検出ターゲット５０の検出結果を付加部４２へ通知し、付加部４２が記憶部３０の条件テーブル５２から挿入位置（動画の時間軸情報）を読み出してもよい。
【００４１】
すなわち類似性判定部３８は、算出された類似度と付加条件とを照合した判定結果を付加部４２へ出力する。
【００４２】
例えば検索目標（１）のように類似度が６０％を超え、かつ検出フレーム数が５フレーム以上検出された「類似の度合いが中程度でありフレーム検出数も中程度のもの」の場合は、対応するメッセージ「ここは○○門のようですね。○○門には左右に…」などの確からしいメッセージを検出フレームのうちのメッセージ挿入位置（時間軸情報）と共に出力する。
【００４３】
また検索目標（２）のように類似度が８５％を超え、かつ検出フレーム数が８フレーム以上検出された「類似性が高く多く検出されたもの」の場合は、対応するメッセージ「映っているのは△△門ですね。」等の確定的なメッセージを検出フレームのうちのメッセージ挿入位置（時間軸情報）と共に出力する。
【００４４】
さらに検索目標（４）のように類似度が３０％を超え、かつ１０フレーム以上検出された「類似性が低いが多く検出されたもの」の場合は、対応するメッセージ「このシーンの中に、ご当地キャラクターが隠れているかもしれません。」などの確認を促すメッセージをその時間軸情報と共に出力する。つまり類似度に応じて視聴者が興味をそそるメッセージを登録しておくものとする。
【００４５】
複数の付加情報が候補となる場合、より類似性が高い結果を選択する方法や付加情報を同時に出力する方法などが考えられる。なお上記では、挿入位置を予め設定したが、挿入位置を設けずに、例えば類似度がしきい値を超えた全てのフレームにメッセージを付加するようにしてもよい。
【００４６】
なお、特徴量抽出方法や類似性の判定の技術については、例えば特開２０１１−１８２３８号公報、特開２００９−１１０４６０号公報などに記載されている技術が知られており、このような技術を用いることができる。なおここに示した技術は一例であり、これ以外にも特徴量抽出技術や類似性判定技術はあり、いかなる方法を用いてもよい。
【００４７】
フレーム抽出部３９は、記憶部３０に格納された編集元のコンテンツからフレームを一枚ずつ抜き出す機能を有する。キーとなるフレームは、例えばＭＰＥＧ−２のiフレームなどであり、この他、例えばシーン毎に代表となるフレームを抽出してもよい。
【００４８】
領域切出部４０は、フレーム抽出部３９により切り出されたフレームから、予め記憶部３０に登録されている検出ターゲット５０（画像）の特徴量５１と比較するための領域（画像データ）を切り出す機能を有する。
【００４９】
特徴量抽出部４１は、領域切出部４０により切り出された画像データから特徴量５５を抽出し、記憶部３０に記憶する処理を行なう。
【００５０】
付加部４２は、上記検出部３４（類似性判定部３８）から出力される判定結果（検知結果）と、付加条件（挿入位置：時間軸情報）に基づいて、編集元のコンテンツに付加情報（メッセージ）を付加する機能を有する。このとき付加情報は、字幕または文字スーパー等のメッセージが編集元のコンテンツに付加されて、編集済みコンテンツとされる。
【００５１】
すなわち、付加部４２は、検出部３４による編集元のコンテンツ５６の中に検出ターゲット５０が含まれているか否かの検知結果に基づき、類似性に応じたメッセージ５４を記憶部３０から読み出し編集元のコンテンツ５６に付加する。
また付加部４２は、編集元のコンテンツ５６内で検出された検出ターゲット５０との類似度がある一定値以上の検索目標のコンテンツ内における検出回数または連続性を加味してメッセージを付加する。
【００５２】
編集元のコンテンツ５６にメッセージ５４を付加するには、例えばコンテンツ５６にメッセージ５４を重畳し合成する方法がある。またＤＶＤ、ブルーレイ等のように字幕エリアがある場合は、そのエリアにメッセージをセット（挿入）することで、視聴時にＯＮ，ＯＦＦ操作が可能であり、いずれの方法を用いてもよい。ブルーレイは登録商標である。
【００５３】
映像出力部４３は、付加情報が合成された編集済みコンテンツを、動画編集装置３の外部へ送出する。送出手段として、例えばＬＡＮによるネットワーク接続やＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ブルーレイディスク等の記録媒体であってもよい。
【００５４】
以下、図４乃至図６を参照してこの実施形態の動画編集システムに動作を説明する。
この実施形態の動画編集システムでは、まず、編集元のコンテンツを編集するための準備を行う。
【００５５】
この場合、入力部１より、検出ターゲットとして検出したい人物や構造物等のオブジェクトが動画編集装置３に入力されると、それを目標登録部３１が受け付け、記憶部３０に記憶（登録）する。
【００５６】
また、入力部１より検出ターゲット５０が入力された際に、付加情報を付加するか否かを判定するための各種条件が動画編集装置３に入力されると、条件設定部３２は、その条件を記憶部３０の図３に示す条件テーブル５２に設定する。
【００５７】
条件テーブル５２には、例えば編集元のコンテンツ５６と検出ターゲット５０の特徴量５１，５５から求められる類似度がしきい値以上となることや、検出されたフレームが一定数以上となったことを条件として設定される。この他、検出フレームが一定数以上継続したことを条件としてもよい。
【００５８】
また、入力部１より、編集元のコンテンツ５６に付加するための字幕データまたは文字スーパーのメッセージ５４が動画編集装置３に入力されると、付加情報登録部３３は、そのメッセージ５４を受け付け、記憶部３０に記憶する。
【００５９】
特徴量抽出部３６は、記憶部３０に記憶された検出ターゲット５０から特徴量５１を抽出し、記憶部３０に記憶する。これで編集元のコンテンツ５６を編集するために準備が終わる。
【００６０】
次に、編集元のコンテンツ５６の編集処理について説明する。
外部から動画編集装置３に編集元のコンテンツ５６が入力されると、映像受付部３５は、それを受け付け、受け付けた編集元のコンテンツ５６を記憶部３０に記憶（保存）する（図６のステップＳ１０１）。
【００６１】
フレーム抽出部３９は、記憶部３０に記憶（保存）された編集元のコンテンツ５６からフレームを一枚ずつ抜き出す（ステップＳ１０２）。キーとなるフレームは、例えばＭＰＥＧ−２のiフレームなどであり、この他、例えばシーン毎に代表となるフレームを抽出してもよい。
【００６２】
領域切出部４０は、フレーム抽出部３９により切り出されたフレームから、予め登録されている検出ターゲット５０の特徴量５１と比較するための領域（画像）を切り出す（ステップＳ１０３）。
【００６３】
特徴量抽出部４１は、領域切出部４０により切り出された画像から特徴量５５を抽出し、記憶部３０に記憶する（ステップＳ１０４）。
【００６４】
続いて、類似度算出部３７は、記憶部３０に記憶された編集元のコンテンツ５６の特徴量５５と検出ターゲット５０の特徴量５１とを記憶部３０から読み出し、読み出した２つの特徴量５０，５５を比較し、特徴量どうしの一致度合いから互いの類似度を算出する（ステップＳ１０４）。
【００６５】
この計算をコンテンツから検出されるフレーム番号の順に行うことで、図４に示すように、予め登録された検索目標（検出ターゲット５０）と、編集元のコンテンツから抽出したフレームの比較対象領域との類似度が全フレームについて算出される。すなわち、各検索目標１…ｍに対して、検索対象動画との類似度が算出される。
【００６６】
類似性判定部３８は、前述の類似度算出部３７で算出された類似度と条件テーブル５２の類似性判定条件から互いの映像の類似性を判定し（ステップＳ１０５）、判定結果を付加部４２へ通知する。つまり類似性判定条件に合致した場合に、条件テーブル５２の検索目標に紐付けられたメッセージおよび挿入位置を、編集元のコンテンツへ出力すべき付加情報として付加部４２へ出力する。
【００６７】
上位の判定としては、検出部３４は、条件テーブル５２の類似性判定条件に従い、編集元のコンテンツ５６の中に検出ターゲット５０が含まれているか否かを検出する。
【００６８】
付加部４２は、検出ターゲット５０が含まれているか否かを検出結果と付加情報（メッセージおよび挿入位置）または結果通知により条件テーブル５２から読み出した付加条件（挿入位置）に従って、メッセージを編集元のコンテンツ５６に付加する（ステップＳ１０６）。
【００６９】
このとき、図５に示すように、挿入されるメッセージは、指定された編集元のコンテンツ５６の挿入対象のフレーム番号のフレームに字幕または文字スーパー等としてセット（付加）されて、編集済みコンテンツとされる。
【００７０】
そして、処理終了の指示がなければ（ステップＳ１０７のＮｏ）、次のフレームについてターゲット検出動作を繰り返し、全てのフレームに対する処理が終了すると（ステップＳ１０７のＹｅｓ）、映像出力部４３は、付加情報が付加（合成）された編集済みコンテンツを、外部出力用の記録媒体（ＣＤ−Ｒ、ＤＶＤ−Ｒ、各種メモリカード等）へ書き込む。なおネットワークなどからの要求で編集した場合、編集済みコンテンツを編集要求元へ送出する。
【００７１】
ここで、本動画編集システムの技術を利用したサービスについて説明する。
例えばテーマパークなどで家族や友人と一緒にテーマパークのキャラクターが撮影されているオリジナル映像コンテンツに対して、テーマパークのキャラクターが一定の類似度を超えるフレームが、一定時間以上または一定数以上が検出された場合に、このテーマパークのキャラクターがあたかも映像視聴者に語りかけるようなメッセージを、検出フレームの位置に付加することによって、オリジナル映像コンテンツには無かった新たな感動を付加することができる。
【００７２】
また、所定のテーマに沿った映像コンテストを行い、応募された映像の中からコンテスト主催者がターゲット映像とした画像が映っているフレームに当選通知メッセージを付加して映像を出力するようにしてもよい。
【００７３】
さらに、所定の観光スポットで撮影した映像に対して、オリジナル映像コンテンツの中からその場所の代表的な建物や構造物との類似度が一定以上検出されるフレームについて、それらの建物や構造物に関する解説等のメッセージを付加するようにしてもよい。
【００７４】
また、所定の商品の映像を予め登録しておき、オリジナル動画コンテンツの中でその商品の映像が検知されたときに、商品に関連する情報を付加するようにしてもよい。
【００７５】
さらに、特定の人が出入りする場所（監視対象エリア）に設置した監視カメラの映像に対して、登録された人の映像が検知されたときに、出力映像に検知した人の所属や名前を付加して表示するようにしてもよい。
【００７６】
このようにこの実施形態によれば、観光スポットまたは監視対象エリアにおいて撮影した映像に、単なる記念映像または監視映像としての価値を超える新たな価値を与えることができる。また、検出ターゲットの検出精度と要求元とのネットワークの状態にもよるが、編集元のコンテンツにメッセージを付加して編集済みのコンテンツを作成し要求元へ渡す（送る）という一連の処理をほぼ自動で実行することができる。
【００７７】
上記では本発明に係る実施形態を説明したが、説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００７８】
また上記実施形態に示した各構成要素を、コンピュータのハードディスク装置などのストレージにインストールしたプログラムで実現してもよく、また上記プログラムを、コンピュータ読取可能な電子媒体：electronic mediaに記憶しておき、プログラムを電子媒体からコンピュータに読み取らせることで本発明の機能をコンピュータが実現するようにしてもよい。
【００７９】
電子媒体としては、例えばＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ等の記録媒体やフラッシュメモリ、リムーバブルメディア：Removable media等が含まれる。さらに、ネットワークを介して接続した異なるコンピュータに構成要素を分散して記憶し、各構成要素を機能させたコンピュータ間で通信することで実現してもよい。
【符号の説明】
【００８０】
１…入力部、２…記録媒体、３…動画編集装置、３０…記憶部、３１…目標登録部、３２…条件設定部、３３…付加情報登録部、３５…映像受付部、３６，４１…特徴量抽出部、３７…類似度算出部、３８…類似性判定部、３９…フレーム抽出部、４０…領域切出部、４２…付加部、４３…映像出力部。
【特許請求の範囲】
【請求項１】
編集元のコンテンツから検出すべき検出ターゲットと、前記コンテンツと前記検出ターゲットとの類似性を判定するための類似性判定条件と、この類似性判定条件に適合した場合に前記検出ターゲットとの類似性に応じて前記コンテンツに付加するメッセージとが対応して記憶された記憶部と、
前記類似性判定条件に従い、前記コンテンツの中に前記検出ターゲットが含まれているか否かを検知する検出部と、
前記検出部による前記コンテンツの中に前記検出ターゲットが含まれているか否かの検知結果に基づき、前記類似性に応じたメッセージを前記記憶部から読み出し前記コンテンツに付加する付加部と
を具備することを特徴とする動画編集装置。
【請求項２】
前記類似性判定条件には、前記検出ターゲットとの類似度のしきい値と検出されたフレーム数とが含まれており、
前記検出部は、前記しきい値と前記フレーム数とに基づいて前記検出ターゲットが含まれているか否かを検出することを特徴とする請求項１記載の動画編集装置。
【請求項３】
前記付加部は、前記検出ターゲットに応じて予め前記記憶部に設定された付加条件に基づいて前記メッセージを前記コンテンツに付加することを特徴とする請求項１記載の動画編集装置。
【請求項４】
前記付加条件には、前記メッセージを前記コンテンツに付加する挿入位置の情報が含まれており、
前記付加部は、前記付加条件により指定された前記コンテンツの挿入位置に前記メッセージを付加することを特徴とする請求項１記載の動画編集装置。
【請求項５】
前記検出部は、前記コンテンツと前記検出ターゲットとの特徴量を比較し、類似度を算出し、その類似度を予め登録された類似性判定条件に照合することで、互いの類似性を判定することを特徴とする請求項１の動画編集装置。
【請求項６】
前記付加部は、前記コンテンツ内で検出された前記検出ターゲットとの類似度がある一定値以上の検索目標の前記コンテンツ内における検出回数または連続性を加味して前記メッセージを付加することを特徴とする請求項３記載の動画編集装置。
【請求項７】
記憶部、検出部、付加部を有する動画編集装置における動画編集方法において、
前記記憶部に、編集元のコンテンツから検出すべき検出ターゲットと、前記コンテンツと前記検出ターゲットとの類似性を判定するための類似性判定条件と、この類似性判定条件に適合した場合に前記検出ターゲットとの類似性に応じて前記コンテンツに付加するメッセージとを対応させて記憶するステップと、
前記検出部が、前記記憶部から読み出した前記類似性判定条件に従い、前記コンテンツの中に前記検出ターゲットが含まれているか否かを検知するステップと、
前記付加部が、前記検出部による前記コンテンツの中に前記検出ターゲットが含まれているか否かの検知結果に基づき、前記類似性に応じたメッセージを前記記憶部から読み出し前記コンテンツに付加するステップと
を有することを特徴とする動画編集方法。
【請求項８】
コンピュータに処理を実行させるプログラムにおいて、
前記コンピュータを、
編集元のコンテンツから検出すべき検出ターゲットと、前記コンテンツと前記検出ターゲットとの類似性を判定するための類似性判定条件と、この類似性判定条件に適合した場合に前記検出ターゲットとの類似性に応じて前記コンテンツに付加するメッセージとが対応して記憶された記憶部と、
前記類似性判定条件に従い、前記コンテンツの中に前記検出ターゲットが含まれているか否かを検知する検出部と、
前記検出部による前記コンテンツの中に前記検出ターゲットが含まれているか否かの検知結果に基づき、前記類似性に応じたメッセージを前記記憶部から読み出し前記コンテンツに付加する付加部
として機能させることを特徴とするプログラム。
【請求項１】
編集元のコンテンツから検出すべき検出ターゲットと、前記コンテンツと前記検出ターゲットとの類似性を判定するための類似性判定条件と、この類似性判定条件に適合した場合に前記検出ターゲットとの類似性に応じて前記コンテンツに付加するメッセージとが対応して記憶された記憶部と、
前記類似性判定条件に従い、前記コンテンツの中に前記検出ターゲットが含まれているか否かを検知する検出部と、
前記検出部による前記コンテンツの中に前記検出ターゲットが含まれているか否かの検知結果に基づき、前記類似性に応じたメッセージを前記記憶部から読み出し前記コンテンツに付加する付加部と
を具備することを特徴とする動画編集装置。
【請求項２】
前記類似性判定条件には、前記検出ターゲットとの類似度のしきい値と検出されたフレーム数とが含まれており、
前記検出部は、前記しきい値と前記フレーム数とに基づいて前記検出ターゲットが含まれているか否かを検出することを特徴とする請求項１記載の動画編集装置。
【請求項３】
前記付加部は、前記検出ターゲットに応じて予め前記記憶部に設定された付加条件に基づいて前記メッセージを前記コンテンツに付加することを特徴とする請求項１記載の動画編集装置。
【請求項４】
前記付加条件には、前記メッセージを前記コンテンツに付加する挿入位置の情報が含まれており、
前記付加部は、前記付加条件により指定された前記コンテンツの挿入位置に前記メッセージを付加することを特徴とする請求項１記載の動画編集装置。
【請求項５】
前記検出部は、前記コンテンツと前記検出ターゲットとの特徴量を比較し、類似度を算出し、その類似度を予め登録された類似性判定条件に照合することで、互いの類似性を判定することを特徴とする請求項１の動画編集装置。
【請求項６】
前記付加部は、前記コンテンツ内で検出された前記検出ターゲットとの類似度がある一定値以上の検索目標の前記コンテンツ内における検出回数または連続性を加味して前記メッセージを付加することを特徴とする請求項３記載の動画編集装置。
【請求項７】
記憶部、検出部、付加部を有する動画編集装置における動画編集方法において、
前記記憶部に、編集元のコンテンツから検出すべき検出ターゲットと、前記コンテンツと前記検出ターゲットとの類似性を判定するための類似性判定条件と、この類似性判定条件に適合した場合に前記検出ターゲットとの類似性に応じて前記コンテンツに付加するメッセージとを対応させて記憶するステップと、
前記検出部が、前記記憶部から読み出した前記類似性判定条件に従い、前記コンテンツの中に前記検出ターゲットが含まれているか否かを検知するステップと、
前記付加部が、前記検出部による前記コンテンツの中に前記検出ターゲットが含まれているか否かの検知結果に基づき、前記類似性に応じたメッセージを前記記憶部から読み出し前記コンテンツに付加するステップと
を有することを特徴とする動画編集方法。
【請求項８】
コンピュータに処理を実行させるプログラムにおいて、
前記コンピュータを、
編集元のコンテンツから検出すべき検出ターゲットと、前記コンテンツと前記検出ターゲットとの類似性を判定するための類似性判定条件と、この類似性判定条件に適合した場合に前記検出ターゲットとの類似性に応じて前記コンテンツに付加するメッセージとが対応して記憶された記憶部と、
前記類似性判定条件に従い、前記コンテンツの中に前記検出ターゲットが含まれているか否かを検知する検出部と、
前記検出部による前記コンテンツの中に前記検出ターゲットが含まれているか否かの検知結果に基づき、前記類似性に応じたメッセージを前記記憶部から読み出し前記コンテンツに付加する付加部
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２３１２９１（Ｐ２０１２−２３１２９１Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−９８２２６（Ｐ２０１１−９８２２６）
【出願日】平成２３年４月２６日（２０１１．４．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２６日（２０１１．４．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]