説明

撮像装置および撮像方法

【課題】撮像装置が、被写体である人物に対してより的確に、当該人物の移動指示などの通知を行えるようにする。
【解決手段】音声出力部132−1〜132−12の各々が、パラメトリックスピーカを具備して、撮像部150の撮像領域の一部に向けて音声を出力する。これにより、撮像領域に含まれる複数の人物のうち一部のみに通知を行うことや、人物が特定の領域に位置する場合にのみ通知を行うことができる。従って、携帯端末装置100は、通知対象の人物に対してのみ短いメッセージで通知を行うなど、より的確に通知を行うことができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラ付き携帯端末装置やデジタルカメラ等の撮像装置、および、当該撮像装置の撮像方法に関する。
【背景技術】
【0002】
カメラ付き携帯端末装置やデジタルカメラ等の撮像装置を用いて撮像を行う際、ユーザは、ファインダーで撮像領域を確認しながら撮像を行うことが一般的である。このファインダーで撮像領域を確認する作業は、ユーザにとって手間であり、また、シャッタータイミングが遅れてしまう要因となり得る。
そこで、特許文献1に記載のカメラでは、スピーカは、スピーカ制御部に制御されて、撮影範囲と略同一の範囲で聴き取ることのできる報知音を発生させる。スピーカ制御部は、セルフタイマ撮影モードにおいて、シャッターボタンが操作されると、撮影実行までの間、一定のサイクルで報知音を発生させ、撮影実行時には、撮影実行を表す報知音を発生させる。
この報知音により、被写体の人物は、自分が撮影範囲内に位置しているか否か、並びに、撮影タイミングを知ることができるとされている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−264457号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載のカメラにおける報知音による報知方法のように、音声にて被写体である人物に通知を行う方法において、詳細な情報を的確に通知できない場合がある。例えば、集合写真を撮像する際、撮像装置に向かって右端から2人が右に寄り過ぎているため左に移動させたい場合に、撮像装置が「左に寄って下さい」という音声を出力したのでは、他の人物も左に寄ってしまうおそれがある。一方、「右端から2人の方は左に寄って下さい」というように通知内容を詳細に示す音声を撮像装置が出力しても、メッセージが長すぎて被写体に伝わらない(正しく認識して貰えない)おそれがある。また、このように長いメッセージを、想定される様々なシーンに応じて予め準備しておくことは、メッセージを準備する者にとって大きな負担となる。
【0005】
本発明は、上述の課題を解決することのできる撮像装置および撮像方法を提供することを目的としている。
【課題を解決するための手段】
【0006】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による撮像装置は、撮像部と、前記撮像部の撮像領域の一部で聞き取り可能な音声を出力する音声出力部と、を具備することを特徴とする。
【0007】
また、本発明の一態様による撮像方法は、撮像装置の撮像方法であって、撮像領域の一部で聞き取り可能な音声を出力する音声出力ステップと、前記撮像領域を撮像する撮像ステップと、を具備することを特徴とする。
【発明の効果】
【0008】
本発明によれば、被写体である人物に対して、より的確に通知を行うことができる。
【図面の簡単な説明】
【0009】
【図1】本発明の一実施形態における携帯端末装置の機能構成を示す概略ブロック図である。
【図2】同実施形態における携帯端末装置の外形の概略を示す斜視図である。
【図3】同実施形態において、音声出力部の各々が音声を出力する領域を示す説明図である。
【図4】同実施形態において、携帯端末装置が行う被写体位置の指示の例を示す説明図である。
【図5】同実施形態において、携帯端末装置(合焦領域検出部)が検出する合焦領域の例を示す説明図である。
【図6】同実施形態において、携帯端末装置(笑顔検出部)が検出する笑顔領域の例を示す説明図である。
【図7】同実施形態において、携帯端末装置が、静止画像を撮像する撮像機能を実行する際の処理手順を示すフローチャートである。
【図8】同実施形態において、携帯端末装置が、被写体位置の指示を行う機能に関する処理を行う手順を示すフローチャートである。
【図9】同実施形態において、携帯端末装置が、合焦領域通知に関する処理を行う手順を示すフローチャートである。
【図10】同実施形態において、携帯端末装置が、笑顔検出通知に関する処理を行う手順を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、図面を参照して、本発明の実施の形態について説明する。なお、以下では、本発明を携帯端末装置に適用する場合の例について説明するが、本発明の適用範囲は携帯端末装置に限らない。例えばデジタルカメラなど、撮像を行う様々な機器に本発明を適用し得る。
【0011】
図1は、本発明の一実施形態における携帯端末装置の機能構成を示す概略ブロック図である。同図に示すように、携帯端末装置100は、表示部110と、操作入力部120と、音声入力部131と、音声出力部132−1〜132−12と、無線通信部140と、撮像部150と、制御部180と、記憶部190とを具備する。制御部180は、表示制御部210と、入力処理部220と、音声処理部230と、通信制御部240と、撮像制御部250と、アプリケーション実行部260とを具備する。アプリケーション実行部260は、被写体検出部261と、距離測定部262と、合焦領域検出部263と、笑顔検出部264とを具備する。
【0012】
携帯端末装置100は、例えば携帯情報端末装置(Personal Digital Assistant;PDA)であり、ユーザ操作に応じて撮像機能や電子メール機能など各種機能を実行する。ここでいう撮像機能は、撮像部150のフォーカス(撮像部150と焦点との距離)やズームの調整や、ファインダー画像の表示や、撮像画像の保存等を行う機能である。
【0013】
表示部110は、例えば液晶ディスプレイまたは有機EL(Organic Electro-Luminescence)ディスプレイ等の表示画面を有し、動画像や静止画像やテキスト(文字)などの各種画像を表示する。特に、表示部110は、携帯端末装置100が撮像機能を実行する際に、撮像部150から出力されるファインダー画像を表示する。
【0014】
操作入力部120は、例えば表示部110の表示画面に設けられたタッチセンサ(タッチパネル)や押ボタンなどの入力装置を有し、ユーザ操作を受け付ける。特に、操作入力部120は、撮像機能など各種機能の開始や終了を指示する操作や、撮像画像の保存を指示する操作(シャッターボタン押下操作)を受け付ける。
【0015】
音声出力部132−1〜132−12は、それぞれ、撮像部150の撮像領域(撮像部150の取得する画像に結像される領域)の一部で聞き取り可能な音声を出力する。ここで、音声出力部132−1〜132−12は、互いに異なる領域で聞き取り可能な音声を出力する。
音声出力部132〜132−12の各々は、例えばパラメトリックスピーカ(Parametric Speaker、超指向性スピーカ)を用いて実現される。音声出力部132〜132−12の各々は、パラメトリックスピーカを用いて、例えば、搬送波としての超音波を、出力したい音声の波形に振幅変調して、空気中を超音波が伝播する際の非線形特性の生じる大きな振幅で放射することで、指向性の強い音声を出力する。
【0016】
なお、携帯端末装置100が具備する音声出力部の数は、図1に示す12個に限らず、1つ以上であればよい。
また、本実施形態では、音声出力部132−1〜132−12の各々が音声を出力する向き(すなわち、音声出力部132−1〜132−12の各々が音声を出力する領域)は、携帯端末装置100本体の姿勢(向き)に対して固定であるが、本発明の実施にあたって、携帯端末装置の具備するパラメトリックスピーカの向き(音声を出力する向き)を、携帯端末装置本体の姿勢に対して可変としてもよい。これにより、携帯端末装置は、複数の領域のいずれかを選択し、1つのパラメトリックスピーカを用いて当該領域に音声を出力し得る。
【0017】
また、携帯端末装置100が被写体位置指示機能を実行する際、音声出力部132−1〜132−12のいずれかは、撮像領域の外縁の一部を含む領域で聞き取り可能な音声かつ撮像領域の中心側へ移動するよう促す音声を出力する。
ここでいう被写体位置指示機能は、被写体である人物に対して立ち位置(撮像される位置)を変更するよう指示する機能である。音声出力部132−1〜132−12は、撮像領域の端近くに位置する人物に対して撮像領域の中心側に移動するよう指示することで、当該人物の一部が撮像領域からはみ出し、撮像画像において当該人物の像が切れてしまうことや、撮像画像において複数の人物の一部が一方向に偏ってバランスが悪くなってしまうことを防止する。
【0018】
また、携帯端末装置100が合焦領域通知機能を実行する際、音声出力部132−1〜132−12のいずれかは、合焦領域検出部263の検出した合焦領域を示す音声を出力する。
ここでいう合焦領域通知機能は、被写体である人物に対して、合焦領域に位置するか否かを通知する機能である。また、ここでいう合焦領域は、撮像部150の撮像画像におけるピントが合う領域である。より具体的には、合焦領域は、撮像領域を分割した領域のうち、合焦して(すなわち、ピントが合って)撮像される被写体を含む領域である。また、ここでいう撮像領域を分割した領域は、撮像部150の撮像領域を、音声出力部132−1〜132−12の各々が音声を出力する領域に分割した領域である。
【0019】
音声出力部132−1〜132−12が、合焦領域に位置するか否かを被写体に通知することで、当該被写体である人物は、自らに合焦しているか否かを知り得る。例えば、合焦領域に位置しない旨の通知を取得した人物は、自らに合焦していないことを知り得る。そして、自らに合焦していないことを知った人物は、携帯端末装置100までの位置を変化させるように移動することで、自らに合焦させ得る(すなわち、自らがピンボケしていない撮像画像を取得し得る)。
【0020】
また、携帯端末装置100が笑顔通知機能を実行する際、音声出力部132−1〜132−12のいずれかは、前記笑顔検出部の検出した笑顔を含む領域を示す音声を出力する。
ここでいう笑顔通知機能は、被写体である人物に対して、笑顔検出領域に位置するか否かを通知する機能である。また、ここでいう笑顔検出領域は、撮像領域を分割した領域のうち、笑顔検出部264が笑顔を検出した領域である。
音声出力部132−1〜132−12は、笑顔検出領域に位置するか否かを被写体に通知することで、当該被写体である人物は、自らの笑顔が検出されたか否かを確認し得る。また、音声出力部132−1〜132−12は、笑顔検出領域外に位置する被写体に対して、微笑むよう促す音声を出力し得る。
なお、以下では、音声出力部132−1〜132−12を総称して「音声出力部132」と表記する。
【0021】
音声入力部131はマイクを有し、周囲音を採取して音声信号に変換し、音声処理部230に出力する。特に、音声入力部131は、音声出力部132から出力され被写体に当たって反射した音声(反射音)を採取する。
無線通信部140は、無線基地局との通信を行う。具体的には、無線通信部140は、通信制御部240から出力される信号に対して変調処理を行って無線信号にて送信し、また、受信した無線信号に対して復調処理を行って通信制御部240に出力する。例えば、無線通信部140は、電子メールデータを無線信号にて送受信する。
【0022】
撮像部150は、撮像用レンズ(フォーカスレンズおよびズームレンズを含む)および撮像素子を備えたカメラを有して撮像を行う。具体的には、撮像部150は、被写体からの光線の入力を受けて、フォーカスレンズの位置に応じたフォーカスおよびズームレンズの位置に応じたズームにて撮像素子上に被写体像を結像する。そして、撮像部150は、撮像素子において、結像された被写体像を画像信号に変換して撮像制御部250に出力する。撮像部150は、携帯端末装置100が撮像機能を実行する状態において、画像信号を常時出力する。
また、撮像部150は、撮像制御部250の制御に従って、距離測定部262が検出した被写体までの距離に合焦する(フォーカスレンズを動かす)。
以下では、撮像部150が出力する信号の示す画像を「カメラ画像」と称する。また、表示部110に表示されるカメラ画像を「ファインダー画像」と称し、記憶部190に保存されるカメラ画像を「撮像画像」と称する。すなわち、撮像部150が取得するカメラ画像は、ファインダー画像として表示部110に表示され、また、操作入力部120が受け付ける操作によって指示される撮像画像の保存のタイミングにおいて、撮像画像として記憶部190に保存される。
【0023】
制御部180は、携帯端末装置100の各部を制御して各種機能を実行する。制御部180は、例えば、携帯端末装置100の具備するCPU(Central Processing Unit、中央処理装置)が、携帯端末装置100の具備するメモリからプログラムを読み出して実行することにより実現される。
表示制御部210は、表示部110を制御して各種画像を表示させる。具体的には、表示制御部210は、アプリケーション実行部260から出力される動画像データや静止画像データやテキストデータ等に基づいて画面表示用の信号を生成して表示部110に出力することにより、表示部110に画像を表示させる。特に、表示制御部210は、携帯端末装置100が撮像機能を実行する状態において、アプリケーション実行部260から画像データにて出力されるファインダー画像を表示部110に表示させる。
【0024】
入力処理部220は、操作入力部120が受け付けた操作に応じた信号をアプリケーション実行部260に出力する。
特に、操作入力部120が撮像機能の開始を指示する操作を受け付けると、入力処理部220は、撮像機能の開始を指示する信号を出力する。例えば、表示部110が、携帯端末装置100の実行可能な機能の一覧を示すメニューを表示している状態で、撮像機能の項目をタッチする操作が行われると、操作入力部120が、タッチ位置(表示画面上においてタッチされた位置)を示す信号を入力処理部220に出力する。そして、入力処理部220は、タッチ位置に基づいて、撮像機能の項目がタッチされたことを検出して、撮像機能の開始を指示する信号を出力する。
また、操作入力部120が、撮像画像の保存を指示する操作を受け付けると、入力処理部220は、撮像画像の保存を指示する信号を出力する。例えば、表示部110がシャッターボタンの画像(アイコン)を表示している状態で、当該シャッターボタンの画像をタッチ(押下)する操作が行われると、操作入力部120が、タッチ位置を示す信号を入力処理部220に出力する。そして、入力処理部220は、タッチ位置に基づいて、シャッターボタンの画像がタッチされたことを検出して、撮像画像の保存を指示する信号を出力する。
【0025】
音声処理部230は、アプリケーション実行部260から出力される音声データを電気信号に変換して音声出力部132に出力することで、音声出力部132に音声を出力させる。また、音声処理部230は、音声入力部131が音声を採取して出力する電気信号を音声データに変換してアプリケーション実行部260に出力する。
【0026】
通信制御部240は、アプリケーション実行部260から出力されるデータに符号化等の処理を行って、無線通信部140に出力して変調させ、無線信号にて送信させる。また、通信制御部240は、無線通信部140が受信して復調した信号に、復号等の処理を行ってデータを抽出し、アプリケーション実行部260に出力する。例えば、通信制御部240は、アプリケーション実行部260から出力される電子メールデータに符号化等の処理を行って無線通信部140に出力し、また、無線通信部140が受信して復調した信号に復号等の処理を行って電子メールデータ等のデータを抽出してアプリケーション実行部260に出力する。
【0027】
撮像制御部250は、撮像部150の制御や撮像部150から出力された信号の処理を行う。特に、撮像制御部250は、撮像部150から出力された電気信号を動画像フレームまたは静止画像の画像データに変換してアプリケーション実行部260に出力する。また、撮像制御部250は、アプリケーション実行部260から出力されるフォーカス指示に従って撮像部150のフォーカスレンズを移動させて、撮像部150におけるフォーカスを調整する。また、撮像制御部250は、アプリケーション実行部260から出力されるズーム指示に従って撮像部150のズームレンズを移動させて、撮像部150におけるズームを調整する。
【0028】
アプリケーション実行部260は、アプリケーションプログラムを実行して、撮像機能や電子メール機能など各種機能を提供する。特に、アプリケーション実行部260は、撮像機能を実行している状態において、撮像制御部250から出力される画像データ(カメラ画像のデータ)を、ファインダー画像のデータとして表示制御部210に出力し、また、ユーザ操作によって撮像画像の保存を指示されたタイミングで、撮像制御部250から出力される画像データを、記憶部190に書き込む(保存する)。
【0029】
被写体検出部261は、カメラ画像において、被写体としての人物(の像)を検出する。具体的には、被写体検出部261は、カメラ画像に対するパターンマッチングを行って人物を検出し、カメラ画像における人物の位置(例えば、当該人物の顔の中心の位置)を求める。
【0030】
距離測定部262は、音声出力部132の出力する音声を用いて被写体までの距離を検出する。具体的には、距離測定部262は、音声出力部132(音声出力部132−1〜132−12のうち少なくとも1つ)が音声を出力してから、音声入力部131が反射音を採取するまでの時間を距離に換算して、携帯端末装置100と被写体との往復距離を算出し、当該往復距離を2で除算して、携帯端末装置100から被写体までの距離を算出(検出)する。
【0031】
合焦領域検出部263は、合焦領域を検出する。具体的には、合焦領域検出部263は、音声出力部132の各々が音声を出力する領域に応じてカメラ画像を分割した領域のうち、合焦して撮像される被写体(すなわち、合焦している被写体)を含む領域を検出する。
ここで、被写体に合焦しているか否かを合焦領域検出部263が判定する方法として、様々なものを用いることができる。例えば、合焦領域検出部263が、距離測定部262の検出する携帯端末装置100から被写体までの距離と、撮像部150のフォーカスとを比較することで、被写体に合焦しているか否かを判定するようにしてもよい。あるいは、撮像制御部250が、撮像部150のフォーカスを変化させ、合焦領域検出部263が、被写体の像のコントラスト(画素毎の明度のばらつき度合い)の変化量に基づいて、被写体に合焦しているか否かを判定するようにしてもよい。
【0032】
笑顔検出部264は、撮像領域における被写体の笑顔(の像)を検出する。具体的には、笑顔検出部264は、カメラ画像に対するパターンマッチングを行って笑顔を検出し、カメラ画像における笑顔の位置(例えば、当該顔の中心の位置)を求める。
【0033】
記憶部190は、例えば携帯端末装置100の具備するメモリの記憶領域にて実現され、各種データを記憶する。特に、記憶部190は、アプリケーション実行部260によって書き込まれる撮像画像データ(撮像画像の画像データ)を記憶する。また、記憶部190は、音声出力部132が音声を出力するための音声データや、携帯端末装置100の具備するCPUが実行する各種プログラムを、予め記憶している。
【0034】
図2は、携帯端末装置100の外形の概略を示す斜視図である。同図において、携帯端末装置100の筐体上面に、表示部110の表示画面および操作入力部120のタッチセンサに該当するタッチパネル式の表示画面が設けられている。また、携帯端末装置100の筐体側面に撮像部150の撮像用レンズが設けられている。また、撮像部150の撮像用レンズが設けられているのと同じ側面に、同じ向きで、音声入力部131のマイクと、音声出力部132のパラメトリックスピーカとが設けられている。
【0035】
撮像部150の撮像用レンズと音声出力部132のパラメトリックスピーカとが、同じ側面に同じ向きで設けられていることで、音声出力部132は、撮像領域に向けて音声を出力する。ここで、音声出力部132のパラメトリックスピーカは12個(音声出力部132−1〜132−12に各1個)設けられている。音声出力部132−1〜132−12は、それぞれ1つのパラメトリックスピーカを具備して、撮像領域を分割した領域に向けて音声を出力する。
また、音声出力部132のパラメトリックスピーカと、音声入力部131のマイクとが同じ側面に同じ向きで設けられていることで、音声入力部131は、音声出力部132から出力され被写体に当たって反射した音声を採取する。
【0036】
次に、図3を参照して、音声出力部132が音声を出力する領域について説明する。
図3は、音声出力部132−1〜132−12の各々が音声を出力する領域を示す説明図である。同図において、領域ASは、撮像部150の合焦距離(ピントが合う距離)における撮像領域(被写体の像がカメラ画像に含まれる領域)を示す。撮像部150の撮像領域全体は、撮像部150の具備するレンズ(の中心)を頂点として、当該頂点と、領域ASの外周(各辺)とを結んで得られる四角錐にて示される。
また、領域A101〜A112の各々は、領域ASを縦に4分割、横に3分割して得られる領域である。この分割は、図2におけるパラメトリックスピーカの配置に対応している。
【0037】
音声出力部132−1は、音声出力部132−1自らの具備するパラメトリックスピーカ(の中心)を頂点として、当該頂点と、領域A101の外周とを結んで得られる四角錐におよそ一致する領域に向けて音声を出力する。同様に、音声出力部132−2〜132−12は、それぞれ、音声出力部132−2〜132−12自らの具備するパラメトリックスピーカ(の中心)を頂点として、当該頂点と、領域A102〜A112の外周とを結んで得られる四角錐におよそ一致する領域に向けて音声を出力する。
【0038】
このように、音声出力部132の各々は、撮像領域を分割した領域に対して音声を出力する。
ここで、音声出力部132の各々が音声を出力する領域は、互いに排他的(すなわち、重なりが無い)であってもよいし、一部が重なっていてもよい。
また、音声出力部132が音声を出力する領域と撮像部150の撮像領域とは、完全に一致する必要は無い。すなわち、音声出力部132が音声を出力する領域が、撮像部150の撮像領域の周辺領域を含んでいてもよいし、また、撮像部150の撮像領域の一部が、音声出力部132が音声を出力する領域に含まれていなくてもよい。
【0039】
次に、図4を参照して、携帯端末装置100が被写体としての人物に対して行う位置の指示(被写体位置指示)について説明する。
図4は、携帯端末装置100が行う被写体位置の指示の例を示す説明図である。この被写体位置を指示する機能(被写体位置指示機能)は、例えば集合写真を撮像する場合に用いられる。
同図(a)は、被写体の移動前におけるカメラ画像の例を示す。同図(a)に示すカメラ画像には、人物P11〜P14が写っている。また、同図(a)に示す領域P201〜P212は、それぞれ、音声出力部132−1〜132−12が音声を出力する領域に対応する領域(音声出力部132−1〜132−12が音声を出力する領域に位置する被写体の像が結像する領域)である。
【0040】
ここで、同図(a)の状態では、人物P11およびP12が左(携帯端末装置100に向かって右)に寄っており、人物P12とP13との間に隙間が空いて画像のバランスが悪くなっている。また、人物P11は撮像領域の端に位置し、当該人物P11の像が切れてしまっている。
【0041】
これら人物P11およびP12を画像の中心側(携帯端末装置100に向かって左)に移動させたい場合、携帯端末装置100が、撮像領域全体に対して「左に寄って下さい」という音声を出力したのでは、他の人物P13およびP14も左に移動してしまうおそれがある。これでは、人物P12とP13との間に隙間が空いたままとなり、画像のバランスが悪い。また、人物P14が左に移動し過ぎると、当該人物P14の像が切れてしまうおそれがある。
一方、携帯端末装置100が、「右端から2人の方は左に寄って下さい」というように通知内容を詳細に示す音声を出力しても、メッセージが長すぎて被写体に伝わらない(正しく認識して貰えない)おそれがある。
【0042】
そこで、携帯端末装置100は、人物P11およびP12の像を含む領域A201、A202、A205、A206、A209およびA210に対応する音声出力部132−1、132−2、132−5、132−6、132−9および132−10から、「左に寄って下さい」というメッセージなど、人物を画像の中心側へ移動するよう促す音声を出力する。
【0043】
これにより、人物P11およびP12のみが当該音声を聞き取ることができる。そして、人物P11およびP12が当該音声に従って左に移動し、また、音声を聞いていない人物P13およびP14が元の位置に留まることで、携帯端末装置100は、図4(b)に示すように、人物P12とP13との間の隙間の狭いバランスの良い画像を得ることができる。
特に、撮像領域の外縁の一部を含む領域(携帯端末装置100に向かって右端の領域)で聞き取り可能な音声かつ撮像領域の中心側へ移動するよう促す音声を、音声出力部132−1、132−5および132−9が出力し、当該音声を聞いた人物P11が左に移動することで、人物P11の像が切れる状態を解消し得る。
【0044】
なお、携帯端末装置100が撮像機能を実行している際、音声出力部132が、撮像領域の外縁の一部を含む領域に対して、撮像領域の中心側へ移動するメッセージを常に出力するようにしてもよい。たとえば、音声出力部132は、携帯端末装置100に向かって撮像領域の右端から内側へ50センチメートル(cm)以内の領域に向けて音声を出力するパラメトリックスピーカを具備して、当該領域に対して、撮像領域の中心側へ移動するよう指示する音声(例えば、「左へ寄ってください」といったメッセージ音声)を出力する。
これにより、携帯端末装置100は、撮像領域の端に写っている人物の有無を判定する必要無しに、撮像領域の端に位置する人物に対して中心側へ移動するよう指示することができ、当該人物の像が切れていない画像を取得し得る。
【0045】
次に図5を参照して、携帯端末装置100が行う合焦領域通知について説明する。
図5は、携帯端末装置100(合焦領域検出部263)が検出する合焦領域の例を示す説明図である。同図に示すカメラ画像には、被写体としての人物P21〜P23が写っている。これらの人物のうち、人物P22にはピントが合っており、人物P21およびP23にはピントが合っていない。また、同図に示す領域A201〜A212は、図4の場合と同様である。
【0046】
この図5の状態において、合焦領域検出部263は、領域A203、A207およびA211に含まれる被写体にピントが合っていることを検出し、また、他の領域に含まれる被写体にはピントが合っていないことを検出する。すなわち、合焦領域検出部263は、領域A203、A207およびA211に対応する領域である、音声出力部132−3、132−7および132−11が音声を出力する領域が合焦領域に該当すること、および、他の領域は合焦領域に該当しないことを検出する。そして、音声出力部132が、合焦領域検出部263の検出結果に従って、合焦領域を示す音声を出力する。
【0047】
ここで、音声出力部132が出力する合焦領域を示す音声として、様々なものを用いることができる。例えば、合焦領域に対応する音声出力部132−3、132−7および132−11が、「ピントが合っている領域です」といったメッセージなど、合焦領域であることを示す音声を出力するようにしてもよい。
あるいは、合焦していない領域に対応する音声出力部132−1、132−2、132−4〜132−6、132−8〜132−10および132−12が、「ピントが合っていない領域です」といったメッセージなど、合焦していない領域であることを示す音声を出力するようにしてもよい。
【0048】
このように、音声出力部132が、合焦領域を示す音声を出力することで、合焦していない領域に位置する人物P21およびP23は、自らにピントが合っていないことを認識して、ピントの合う位置に移動することができる。
また、合焦領域に位置する人物P22は、自らにピントが合っている可能性が高いことを認識して、ピントの合う位置に留まることができる。また、携帯端末装置100は、当該人物P22に対して安心感を与えることができる。
【0049】
次に、図6を参照して、携帯端末装置100が行う笑顔検出通知について説明する。
図6は、携帯端末装置100(笑顔検出部264)が検出する笑顔領域の例を示す説明図である。同図に示すカメラ画像には、被写体としての人物P31およびP32が写っている。これらの人物のうち、人物P31の表情は笑顔であり、一方、人物P32の表情は笑顔でない。また、領域A202およびA203等の各領域は、図4の場合と同様である。
【0050】
この図6の状態において、笑顔検出部264は、人物P31の表情が笑顔であること、および、人物P32の表情が笑顔で無いことを検出する。そして、音声出力部132が、笑顔検出部264の検出した笑顔を含む領域(笑顔検出領域)を示す音声を出力する。
ここで、音声出力部132が出力する笑顔検出領域を示す音声として、様々なものを用いることができる。例えば、笑顔検出領域に対応する音声出力部132−3が、「笑顔を検出した領域です」といったメッセージなど、笑顔検出領域であることを示す音声を出力するようにしてもよい。
【0051】
あるいは、笑顔を検出していない領域に対応する音声出力部132−1、132−2、132−4〜132−12が、「笑顔を検出していない領域です」といったメッセージなど、笑顔を検出していない領域であることを示す音声を出力するようにしてもよい。または、笑顔以外の表情が検出された領域A202に対応する音声出力部132−2が、笑顔を検出していない領域であることを示す音声を出力するようにしてもよい。これにより、人物が位置しない領域に対する音声の出力を抑制して、消費電力を低減させることができる。
あるいは、笑顔を検出していない領域であることを示す音声に代えて、「スマイルを御願いします」など、笑顔を促す音声を出力するようにしてもよい。
【0052】
このように、音声出力部132が、笑顔検出領域を示す音声を出力することで、笑顔を検出していない領域に位置する人物P31に笑顔を意識させ得る。人物P31が笑顔になることで、携帯端末装置100は、和らいだ雰囲気の画像を得ることが出来る。
また、笑顔検出領域に位置する人物P32は、自らの表情が笑顔として認識されている可能性が高いこと、従って、自らが笑顔で撮像されるであろうことを認識して、自らの表情を維持することができる。また、携帯端末装置100は、当該人物P32に対して安心感を与えることができる。
【0053】
次に、図7〜図10を参照して携帯端末装置100の動作について説明する。
図7は、携帯端末装置100が、静止画像を撮像する撮像機能を実行する際の処理手順を示すフローチャートである。ただし、本発明の適用範囲は静止画像を撮像する場合に限らず、動画像を撮像する場合にも本発明を適用し得る。
携帯端末装置100は、撮像機能の開始を指示する操作を操作入力部120にて受け付けると、図7の処理を開始する。
【0054】
まず、アプリケーション実行部260は、撮像機能のアプリケーションプログラムの実行を開始し、撮像制御部250を介して撮像部150を起動させる(ステップS101)。これにより、撮像部150は、カメラ画像を示す画像信号の出力を開始し、撮像制御部250は、当該カメラ画像の画像データの出力を開始する。そして、表示制御部210は、撮像制御部250から出力される画像データに基づいて画面表示用の信号を生成して表示部110に出力し、表示部110は、当該信号に従ってファインダー画像を表示する。
【0055】
次に、アプリケーション実行部260の距離測定部262は、被写体までの距離を測定し、測定結果を撮像制御部250に出力する(ステップS102)。上述したように、距離測定部262は、音声出力部132が音声を出力してから、音声入力部131が反射音を採取するまでの時間に基づいて、携帯端末装置100から被写体までの距離を算出(検出)する。
【0056】
次に、撮像部150は、撮像制御部250の制御に従って、距離測定部262が検出した被写体までの距離に合焦する(ステップS103)。ここで、被写体が複数ある場合、撮像部150は、携帯端末装置100から最も近い被写体までの距離に合焦する。あるいは、操作入力部120が、被写体を選択する操作を受け付けて、撮像部150が、選択された被写体までの距離に合焦するようにしてもよい。
【0057】
次に、アプリケーション実行部260は、撮像機能の終了を指示する操作を操作入力部120が受け付けたか否かを判定する(ステップS104)。受け付けたと判定した場合(ステップS104:YES)、撮像部150の停止やファインダー画像の表示終了など、撮像機能の終了処理を行い(ステップS111)、その後、同図の処理を終了する。
【0058】
一方、ステップS104において、撮像機能の終了を指示する操作を操作入力部120が受け付けなかったと判定した場合(ステップS104:NO)、アプリケーション実行部260は、ズーム操作を操作入力部120が受け付けたか否かを判定する(ステップS121)。ズーム操作を受け付けたと判定した場合(ステップS121:YES)、アプリケーション実行部260は、当該ズーム操作に従って、ズームレンズの移動を撮像制御部250に指示し、撮像制御部250は、アプリケーション実行部260からの指示に従って、撮像部150のズームレンズを移動させる(ステップS122)。
【0059】
次に、携帯端末装置100は、図4で説明した被写体位置指示に関する処理を行う(ステップS131)。当該処理の手順については、図8を参照して後述する。
次に、アプリケーション実行部260は、撮像画像の保存を指示する操作を操作入力部120が受け付けたか否かを判定する(ステップS141)。撮像画像の保存を指示する操作を受け付けたと判定した場合(ステップS141:YES)、アプリケーション実行部260は、撮像制御部250から出力されるカメラ画像の画像データを、撮像画像の画像データとして記憶部190に書き込む(ステップS142)。
その後、ステップS102に戻る。
【0060】
一方、ステップS141において、撮像画像の保存を指示する操作を受け付けていないと判定した場合(ステップS141:NO)、携帯端末装置100は、図5で説明した合焦領域通知に関する処理を実行し(ステップS151)、また、図6で説明した笑顔検出通知に関する処理を実行する(ステップS152)。これらの処理の手順については、図9および図10を参照して後述する。
その後、ステップS102に戻る。
【0061】
一方、ステップS121において、ズーム操作を受け付けていないと判定した場合(ステップS121:NO)、ステップS131に進む。
【0062】
次に、図8を参照して、ステップS131(図7)における携帯端末装置100の動作について説明する。
図8は、携帯端末装置100が、被写体位置指示機能に関する処理を行う手順を示すフローチャートである。同図の処理において、まず、アプリケーション実行部260は、被写体位置指示機能がON(実行する)に設定されているか否かを判定する(ステップS201)。当該設定は、例えば、操作入力部120がユーザ操作を受け付けることによって予め(撮像機能の実行開始前に)行われる。
【0063】
被写体位置指示機能がONに設定されていると判定した場合(ステップS201:YES)、アプリケーション実行部260の被写体検出部261が、カメラ画像における人物の位置を検出する(ステップS202)。被写体検出部261は、例えば、カメラ画像に対するパターンマッチングによって人物の像を検出し、検出した像の位置(カメラ画像における座標)を求めることによって、カメラ画像における被写体の位置を検出する。
【0064】
次に、アプリケーション実行部260は、被写体検出部261の検出結果に基づいて、カメラ画像に複数の人物が写っているか否かを判定する(ステップS211)。複数の人物が写っていると判定した場合(ステップS211:YES)、アプリケーション実行部260は、人物の間隔が所定の距離以上の箇所(以下、「人物間の隙間」と称する)があるか否かを判定する(ステップS212)。ここでの所定の距離としては、例えば、カメラ画像における人物の(像の)幅など、人物の大きさとの相対的な距離を用いることができる。
【0065】
人物間の隙間があると判定した場合(ステップS212:YES)、アプリケーション実行部260は、移動対象とする人物を決定する(ステップS213)。具体的には、アプリケーション実行部260は、人物間の隙間を検出した位置の左右で、それぞれ人物の集合(一纏まり)の中心位置を求め、求めた中心位置がカメラ画像の中心から遠いほうの集合に含まれる人物を移動対象とする。
図4(a)のカメラ画像の場合、アプリケーション実行部260は、人物P12とP13との間に人物間の隙間があると判定し、人物P11と人物P12とを一纏まりとする。そして、カメラ画像の横方向の座標(以下、「X座標」と称する)において、人物P11と人物P12との位置のX座標(カメラ画像の左端のX座標から、人物P12の左手の先のX座標まで)の中心のX座標を求める。また、アプリケーション実行部260は、人物P13と人物P14とを一纏まりとして、人物P13と人物P14との位置のX座標(人物P13の右手の先のX座標から、人物P14の左手の先のX座標まで)の中心のX座標を求める。そして、アプリケーション実行部260は、人物P11と人物P12との中心のX座標のほうが、人物P13と人物P14との中心のX座標よりもカメラ画像の中心から遠いと判定して、人物P11と人物P12とを移動対象に決定する。
【0066】
次に、アプリケーション実行部260は、移動対象の人物を移動させる方向を決定する(ステップS214)。具体的には、ステップS213で求めた中心が、カメラ画像の中心に近付く方向に移動させるように決定する。図4(a)の例では、人物P11と人物P12との中心のX座標は、カメラ画像の中心よりも左の位置を示している。そこで、アプリケーション実行部260は、人物P11と人物P12とを右(携帯端末装置100に向かって左)に移動させることに決定する。
【0067】
そして、アプリケーション実行部260は、ステップS214で決定した方向に移動するよう指示するメッセージを記憶部190から読み出して音声処理部230に出力し、音声処理部230は、音声出力部132を制御して、移動対象の人物に対して当該メッセージの音声を出力させる(ステップS215)。
図4(a)の例では、アプリケーション実行部260は、ステップS214で決定した方向に基づいて、「左に寄って下さい」というメッセージを記憶部190から読み出す。また、アプリケーション実行部260(被写体検出部261)は、人物P11およびP12の像が含まれる領域が、領域A201、A202、A205、A206、A209およびA210であることを検出する。そして、アプリケーション実行部260は、記憶部190から読み出したメッセージを音声処理部230に出力し、検出した領域に対応する音声出力部132−1、132−2、132−5、132−6、132−9および132−10から当該メッセージの音声を出力するよう指示する。そして、音声処理部230は、アプリケーション実行部260から出力されたメッセージの音声信号を生成し、音声出力部132−1、132−2、132−5、132−6、132−9および132−10に出力して当該メッセージの音声を出力させる。
その後、ステップS202に戻る。
【0068】
一方、ステップS211において、複数の人物が写っていないと判定した場合(ステップS211:NO)、および、ステップS212において、人物間の隙間がないと判定した場合(ステップS212:NO)、アプリケーション実行部260は、画像の端にかかっている人物がいるか否かを判定する(ステップS221)。画像の端にかかっている人物がいると判定した場合(ステップS221:YES)、アプリケーション実行部260は、当該人物に対してカメラ画像の中心側に移動するよう指示するメッセージを記憶部190から読み出して音声処理部230に出力し、音声処理部230は、音声出力部132を制御して、移動対象の人物に対して当該メッセージの音声を出力させる(ステップS222)。
例えば、カメラ画像の左端にかかっている人物を検出した場合、アプリケーション実行部260は、カメラ画像の中心側(携帯端末装置100に向かって左)に移動するよう指示する「左に寄って下さい」というメッセージを記憶部190から読み出す。
また、アプリケーション実行部260(被写体検出部261)は、当該人物(の像)が含まれる領域が、領域A201、A205およびA209であることを検出する。そして、アプリケーション実行部260は、記憶部190から読み出したメッセージを音声処理部230に出力し、検出した領域に対応する音声出力部132−1、132−5および132−9から当該メッセージの音声を出力するよう指示する。そして、音声処理部230は、アプリケーション実行部260から出力されたメッセージの音声信号を生成し、音声出力部132−1、132−5および132−9に出力して当該メッセージの音声を出力させる。
その後、ステップS202に戻る。
【0069】
一方、ステップS201において、被写体位置の指示を行う機能がOFFに設定されていると判定した場合(ステップS201:NO)、および、ステップS221において、画像の端にかかっている人物がいないと判定した場合(ステップS221:NO)、同図の処理を終了する。
【0070】
次に、図9を参照してステップS151(図7)における携帯端末装置100の動作について説明する。
図9は、携帯端末装置100が、合焦領域通知に関する処理を行う手順を示すフローチャートである。同図の処理において、まず、アプリケーション実行部260は、合焦領域通知機能がON(実行する)に設定されているか否かを判定する(ステップS301)。当該設定は、例えば、操作入力部120がユーザ操作を受け付けることによって予め(撮像機能の実行開始前に)行われる。
【0071】
合焦領域通知機能がONに設定されていると判定した場合(ステップS301:YES)、アプリケーション実行部260の合焦領域検出部263が、カメラ画像における合焦領域を検出する(ステップS302)。上述したように、被写体に合焦しているか否かを合焦領域検出部263が判定する方法としては、携帯端末装置100から被写体までの距離と撮像部150のフォーカスとを比較する方法や、撮像部150のフォーカスを変化させた際の被写体の像のコントラストの変化量を用いる方法など、様々な方法を用いることができる。
【0072】
次に、アプリケーション実行部260は、合焦領域を示すメッセージを記憶部190から読み出して音声処理部230に出力し、音声処理部230は、合焦領域に応じて、音声出力部132に当該音声のメッセージを出力させる(ステップS303)。上述したように、音声出力部132の各々のうち合焦領域に対応するものに、合焦領域であることを示す音声を出力させるようにしてもよいし、あるいは、音声出力部132の各々のうち合焦していない領域に対応するものに、合焦領域でないことを示す音声を出力させるようにしてもよい。
その後、同図の処理を終了する。
また、ステップS301において、合焦領域通知機能がOFFに設定されていると判定した場合(ステップS301:NO)も、同図の処理を終了する。
【0073】
次に、図10を参照してステップS152(図7)における携帯端末装置100の動作について説明する。
図10は、携帯端末装置100が、笑顔検出通知に関する処理を行う手順を示すフローチャートである。同図の処理において、まず、アプリケーション実行部260は、笑顔検出通知機能がON(実行する)に設定されているか否かを判定する(ステップS401)。当該設定は、例えば、操作入力部120がユーザ操作を受け付けることによって予め(撮像機能の実行開始前に)行われる。
【0074】
笑顔検出通知機能がONに設定されていると判定した場合(ステップ401:YES)、アプリケーション実行部260の笑顔検出部264が、カメラ画像における笑顔の領域を検出する(ステップS402)。笑顔検出部264が笑顔を検出する方法としては、例えば、予め記憶しておいた顔パターンとのパターンマッチングによる方法など、公知の方法を用いることができる。
【0075】
次に、アプリケーション実行部260は、笑顔検出領域を示すメッセージを記憶部190から読み出して音声処理部230に出力し、音声処理部230は、笑顔検出領域に応じて、音声出力部132に当該音声のメッセージを出力させる(ステップS403)。上述したように、音声出力部132の各々のうち笑顔検出領域に対応するものに、笑顔検出領域であることを示す音声を出力させるようにしてもよいし、あるいは、音声出力部132の各々のうち笑顔を検出していない領域に対応するものに、笑顔検出領域でないことを示す音声を出力させるようにしてもよい。
その後、同図の処理を終了する。
また、ステップS401において、笑顔検出通知機能がOFFに設定されていると判定した場合(ステップS401:NO)も、同図の処理を終了する。
【0076】
以上のように、音声出力部132は、撮像部150の撮像領域の一部で聞き取り可能な音声を出力する。
これにより、携帯端末装置100は、撮像領域に含まれる複数の人物のうち一部のみに通知を行うことや、人物が特定の領域に位置する場合にのみ通知を行うことができる。従って、携帯端末装置100は、通知対象の人物に対してのみ短いメッセージで通知を行うなど、より的確に通知を行うことができる。
また、携帯端末装置100は、音声を用いて通知を行うので、光を用いて通知を行う場合と比べて、周囲が明るい状態でも被写体としての人物が通知を認識し易く、また、通知のための光が画像に映りこんでしまうことを回避できる。
【0077】
また、音声出力部132の各々は、互いに異なる領域で聞き取り可能な音声を出力する。
これにより、パラメトリックスピーカの向きを制御する仕組みを具備する必要無しに、撮像部150の撮像領域を分割した領域のいずれかを選択して、選択した領域に音声を出力することができる。
【0078】
また、音声出力部132(例えば、音声出力部132−1、132−5および132−9)は、撮像領域の外縁の一部を含む領域で聞き取り可能な音声かつ撮像領域の中心側へ移動するよう促す音声を出力する。
これにより、携帯端末装置100は、カメラ画像において人物の像が切れてしまっている場合に、当該人物を移動させて人物の像が切れていないカメラ画像を取得し得る。
【0079】
また、合焦領域検出部263が合焦領域を検出し、音声出力部132は、合焦領域を示す音声を出力する。
これにより、合焦していない領域に位置する人物は、自らにピントが合っていないことを認識して、ピントの合う位置に移動することができる。また、合焦領域に位置する人物は、自らにピントが合っている可能性が高いことを認識して、ピントの合う位置に留まることができる。また、携帯端末装置100は、当該人物に対して安心感を与えることができる。
【0080】
また、笑顔検出部264が笑顔検出領域を検出し、音声出力部132は、笑顔検出領域を示す音声を出力する。
これにより、携帯端末装置100は、笑顔を検出していない領域に位置する人物に笑顔を意識させ得る。当該人物が笑顔になることで、携帯端末装置100は、和らいだ雰囲気の画像を得ることが出来る。また、笑顔検出領域に位置する人物は、自らの表情が笑顔として認識されている可能性が高いこと、従って、自らが笑顔で撮像されるであろうことを認識して、自らの表情を維持することができる。また、携帯端末装置100は、当該人物に対して安心感を与えることができる。
【0081】
また、距離測定部262が、音声出力部132の出力する音声を用いて被写体までの距離を検出し、撮像部150は、距離測定部262が検出した被写体までの距離に合焦する。
これにより、被写体の色と背景の色が似ている場合など、フォーカスレンズを動かしたときにコントラストの変化を得にくい場合にも、携帯端末装置100は、より正確にピント合わせを行うことができる。
【0082】
なお、制御部180の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0083】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【0084】
100 携帯端末装置
110 表示部
120 操作入力部
131 音声入力部
132−1〜132−12 音声出力部
140 無線通信部
150 撮像部
180 制御部
190 記憶部
210 表示制御部
220 入力処理部
230 音声処理部
240 通信制御部
250 撮像制御部
260 アプリケーション実行部
261 被写体検出部
262 距離測定部
263 合焦領域検出部
264笑顔検出部


【特許請求の範囲】
【請求項1】
撮像部と、
前記撮像部の撮像領域の一部で聞き取り可能な音声を出力する音声出力部と、
を具備することを特徴とする撮像装置。
【請求項2】
複数の前記音声出力部を具備し、
前記複数の音声出力部は、互いに異なる領域で聞き取り可能な音声を出力する
ことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記音声出力部は、前記撮像領域の外縁の一部を含む領域で聞き取り可能な音声かつ前記撮像領域の中心側へ移動するよう促す音声を出力することを特徴とする請求項1または請求項2に記載の撮像装置。
【請求項4】
前記撮像部の撮像画像におけるピントが合う領域である合焦領域を検出する合焦領域検出部を具備し、
前記音声出力部は、前記合焦領域検出部の検出した合焦領域を示す音声を出力する
ことを特徴とする請求項1から3のいずれか一項に記載の撮像装置。
【請求項5】
前記撮像領域における被写体の笑顔を検出する笑顔検出部を具備し、
前記音声出力部は、前記笑顔検出部の検出した笑顔を含む領域を示す音声を出力する
ことを特徴とする請求項1から4のいずれか一項に記載の撮像装置。
【請求項6】
前記音声出力部の出力する音声を用いて被写体までの距離を検出する距離測定部を具備し、
前記撮像部は前記距離測定部が検出した被写体までの距離に合焦する
ことを特徴とする請求項1から5のいずれか一項に記載の撮像装置。
【請求項7】
撮像装置の撮像方法であって、
撮像領域の一部で聞き取り可能な音声を出力する音声出力ステップと、
前記撮像領域を撮像する撮像ステップと、
を具備することを特徴とする撮像方法。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2013−41012(P2013−41012A)
【公開日】平成25年2月28日(2013.2.28)
【国際特許分類】
【出願番号】特願2011−176514(P2011−176514)
【出願日】平成23年8月12日(2011.8.12)
【出願人】(310006855)NECカシオモバイルコミュニケーションズ株式会社 (1,081)
【Fターム(参考)】