画像検索装置、画像プリント装置、プリント注文システム、店頭プリント端末装置、撮像装置、画像検索プログラム及び方法
【課題】被写体が所望する向き及び大きさで写っている画像を検索する。
【解決手段】被写体にその被写体を固有に識別する無線タグをつけて撮像装置で撮影し、その画像と無線タグのタグ情報とを関連づけて画像蓄積部75aに蓄積する(S10)。被写体検索部72aは、被写体情報蓄積部75bから被写体を示すタグ情報を読み出し、画像蓄積部75aに蓄積された画像群のうちタグ情報と関連づけられている画像(第一画像グループ)を抽出する(S12)。顔認識・比較部72bは、予め記憶しておいた被写体の外見的特徴画像、例えば顔画像と、第一画像グループの画像とを比較し、外見的特徴画像が含まれている画像を抽出する(S13)。
【解決手段】被写体にその被写体を固有に識別する無線タグをつけて撮像装置で撮影し、その画像と無線タグのタグ情報とを関連づけて画像蓄積部75aに蓄積する(S10)。被写体検索部72aは、被写体情報蓄積部75bから被写体を示すタグ情報を読み出し、画像蓄積部75aに蓄積された画像群のうちタグ情報と関連づけられている画像(第一画像グループ)を抽出する(S12)。顔認識・比較部72bは、予め記憶しておいた被写体の外見的特徴画像、例えば顔画像と、第一画像グループの画像とを比較し、外見的特徴画像が含まれている画像を抽出する(S13)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像検索装置、画像プリント装置、プリント注文システム、店頭プリント端末装置、撮像装置、画像検索プログラム及び方法に係り、特に、被写体を撮像して画像を蓄積し、その中からユーザが見たい画像を抽出する技術に関する。
【背景技術】
【0002】
従来、幼稚園などの施設における催し物で撮影された写真を販売するために、大量の写真を掲示し、その中から自分や友人が映った写真を選択して注文する方法がとられている。この写真を選択する作業を支援する技術として、特許文献1では、無線タグを人物に付与し、写真撮影時に無線タグと通信して被写体の位置を測定し、その位置と無線タグのタグ情報に基づいて画像中の被写体を特定する方法を開示している。
【特許文献1】特開2004−70717号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかし、上記特許文献1では、数ある画像の中から所望する被写体が写っている画像を選ぶことはできても、その被写体が後ろや横を向いていた場合、写真としての価値は低く、余計な写真まで抽出してしまうことになる。また、被写体が遠方に多数いて、画像には極めて小さく写っている場合には、多人数を抽出してしまい、余計な選択作業をユーザに強いることとなる。
【0004】
本発明は、上記問題に鑑みてなされたものであり、記録された画像の中から被写体が所望するレベルで写っている画像のみを検索する技術を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記目的を達成するために、本発明に係る画像検索装置は、被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取部と、検索対象の被写体を示す識別情報及び前記検索対象の被写体の外見的特徴画像を入力するための入力部と、前記読取部が読み取った画像データの中から、前記識別情報が関連づけられている画像を抽出する第一抽出部と、前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、を備えたことを特徴とする。
【0006】
「入力部」は、識別情報の入力を受け付ける手段と外見的特徴画像の入力を受け付ける手段とを同一の手段として構成してもよいし、異なる手段として構成してもよい。
【0007】
この画像検索装置によれば、単に被写体が写っているだけでなく、その被写体が所定の外見的特徴を有して写っている画像を検索することができる。
【0008】
また、前記画像データは、前記被写体にその被写体を固有に識別可能なタグ情報を記憶した無線タグを取り付けて撮像装置により撮影して得られた画像と、前記撮像装置が前記無線タグから受信した前記タグ情報とが関連づけられた画像データであってもよい。
【0009】
これにより、撮像装置により被写体を撮影するだけで、被写体の画像と識別情報(タグ情報)とを自動的に関連づけて格納することができる。
【0010】
また、前記第二抽出部は、前記第一抽出部が抽出した画像に含まれる前記外見的特徴画像に相当する領域を抽出する領域抽出部と、前記領域の面積を測定する測定部と、所定の閾値以上の領域面積がある場合にのみ前記抽出した領域と前記外見的特徴画像との比較を行う比較部と、を備えてもよい。
【0011】
これにより、所望の大きさで写っている場合だけ、外見的特徴画像との比較を行うことができ、比較処理に伴う演算量を減らしつつ、被写体が所定の大きさで写っている画像を検索することができる。
【0012】
また、前記第二抽出部は、前記第一抽出部が抽出した画像に含まれる前記外見的特徴画像に相当する領域を抽出する領域抽出部と、前記抽出した領域と前記外見的特徴画像との比較を行う比較部と、前記比較部により、前記外見的特徴画像と一致すると判断された画像に含まれる前記領域の面積を測定する測定部と、を備えてもよい。
【0013】
これにより、被写体が所定の大きさで写っている画像を検索することができる。
【0014】
また、前記外見的特徴画像は、前記所望する被写体の顔、前記被写体の所望する向きにおける髪型又は服を撮像した画像であってもよい。
【0015】
これにより、被写体が正面を向いている画像を検索することができる。
【0016】
また、前記第二抽出部は、抽出した画像とその画像における前記被写体の鮮明度とを関連づけた相対表を生成する生成部を更に備え、前記相対表において所定の鮮明度があると規定された画像又はその画像のサムネイル画像を表示する表示部を更に備えてもよい。
【0017】
ここでいう「鮮明度」とは、画像がプリントする価値があるか否かを示す指標であって、例えば、被写体が写っている大きさ、向き、ぼけ具合などから判断される。
【0018】
これにより、所定の鮮明度がある画像として抽出された画像を視認することができる。
【0019】
また、前記入力部は、検索対象として複数の被写体のそれぞれに関連付けられた識別情報及び前記各被写体の外見的特徴画像の入力を受けつけ、前記複数の被写体のうち、所望する被写体を選択するための被写体選択部を更に備え、前記表示部は、前記選択された被写体の画像又はその画像のサムネイル画像を表示してもよい。
【0020】
これにより、複数の被写体を検索しておき、そのうちの所望する被写体が写っている画像を表示することができる。
【0021】
また、前記表示部に表示された画像又はサムネイル画像のうち、所望する画像を選択するための画像選択部を更に備えてもよい。
【0022】
これにより、所望する被写体が写っている画像の中から、所望する画像を選択することができる。
【0023】
また、本発明に係る画像プリント装置は、被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取部と、検索対象の被写体を示す識別情報及び前記検索対象の被写体の外見的特徴画像を入力するための入力部と、前記読取部が読み取った画像データの中から、前記識別情報が関連づけられている画像を抽出する第一抽出部と、前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、前記第二抽出部が抽出した画像をプリントするプリンタ部と、を備えたことを特徴とする。
【0024】
ここでいう「読取部」は、画像データを記憶した記憶媒体から画像データを読み出す手段や、デジタルカメラやカメラ付き携帯電話のような撮像装置と有線、無線通信を行い、画像データを取得する手段を含む。
【0025】
この画像検索装置によれば、単に被写体が写っているだけでなく、その被写体が所定の外見的特徴を有して写っている画像を検索することができる。
【0026】
また、本発明に係るプリント注文システムは、被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取部と、プリントを所望する被写体を識別するための前記識別情報及び前記プリントを所望する被写体の外見的特徴画像を入力するための入力部と、前記読取部が読み取った画像データの中から、前記入力部により入力された識別情報と関連付けられた画像を抽出する第一抽出部と、前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、前記第二抽出部が抽出した画像を表示する表示部と、前記画像のプリントに要する費用を算出し、決済処理する課金部と、を備える。
【0027】
これにより、単に被写体が写っているだけでなく、その被写体が所定の外見的特徴を有して写っている画像を検索し、ユーザに提示することができる。そのため、ユーザがプリント注文する画像を選ぶ際に、被写体が写っていても後ろを向いていたり鮮明に写っていなかったりする写真であってプリント注文する価値がない無駄な写真の中からプリント注文するに足りうる画像を選択しなければならないという手間を省くことができる。
【0028】
また、前記表示部に表示された画像の中からプリントを所望する画像を選択するための画像選択部を更に備え、前記課金部は、前記画像選択部により選択された画像のプリントに要する費用を算出し、決済処理してもよい。
【0029】
これにより、表示された画像のうち所望する画像だけを選択してプリントすることができる。
【0030】
また、本発明に係る店頭プリント端末装置は、被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取部と、プリントを所望する被写体を識別するための前記識別情報及び前記プリントを所望する被写体の外見的特徴画像を入力するための入力部と、前記読取部が読み取った画像データの中から、前記入力部に入力された識別情報と関連付けられた画像を抽出する第一抽出部と、前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、前記第二抽出部が抽出した画像を表示する表示部と、前記画像のプリントに要する費用を算出し、決済処理する課金部と、前記画像のプリント処理を行うプリント部と、を備えることを特徴とする。
【0031】
これにより、単に被写体が写っているだけでなく、その被写体が所定の外見的特徴を有して写っている画像を検索し、ユーザに提示することができる。そのため、ユーザがプリント注文する画像を選ぶ際に、被写体が写っていても後ろを向いていたり鮮明に写っていなかったりする写真であってプリント注文する価値がない無駄な写真の中からプリント注文するに足りうる画像を選択しなければならないという手間を省くことができる。その結果、店頭プリント端末装置をユーザが占有する時間を短縮することができ、店頭プリント端末装置の設置台数を減らすことにも寄与できる。
【0032】
また、前記表示部に表示された画像の中からプリントを所望する画像を選択するための画像選択部を更に備え、前記課金部は、前記画像選択部により選択された画像のプリントに要する費用を算出して決済処理し、前記プリント部は、前記選択された画像のプリントを行ってもよい。
【0033】
また、本発明に係る撮像装置は、被写体に取り付けられた無線タグからの無線信号を受信する受信部と、受信した前記無線信号から前記無線タグに記録されたタグ情報であって、前記被写体を固有に識別可能なタグ情報を読み取るタグ情報読取部と、前記被写体を撮像する撮像部と、前記無線タグから読み取ったタグ情報と前記撮像部の撮像した画像とを対応づけて記憶する第一記憶部と、前記第一記憶部の画像の中から、前記画像に関連づけられた前記タグ情報に基づいて、所望する被写体が撮像されている画像を抽出する第一抽出部と、前記所望する被写体の外見的特徴画像を取得する取得部と、前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、前記第二抽出部が抽出した画像を表示する表示部と、を備えたことを特徴とする。
【0034】
これにより、撮像装置が撮った画像の中から、単に被写体が写っているだけでなく、その被写体が所定の外見的特徴を有して写っている画像を検索することができる。
【0035】
また本発明に係る画像検索プログラムは、被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取ステップと、検索対象の被写体を示す識別情報及び前記検索対象の被写体の外見的特徴画像を入力するための入力ステップと、前記読取ステップにおいて読み取られた画像データの中から、前記入力ステップにおいて入力された識別情報が関連づけられている画像を抽出する第一抽出ステップと、前記第一抽出ステップにおいて抽出された画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出ステップと、をコンピュータに実行させることを特徴とする。
【0036】
この画像検索プログラムによれば、このプログラムをインストールしたコンピュータに格納されている画像の中から、単に被写体が写っているだけでなく、その被写体が所定の外見的特徴を有して写っている画像を検索することができる。
【0037】
また本発明に係る画像検索方法は、被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取ステップと、前記識別情報及び前記検索対象の被写体の外見的特徴画像を入力するための入力ステップと、前記読取ステップにおいて読み取られた画像データの中から、前記入力ステップにおいて入力された識別情報が関連づけられている画像を抽出する第一抽出ステップと、前記第一抽出ステップにおいて抽出された画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出ステップと、を含むことを特徴とする。
【発明の効果】
【0038】
本発明によれば、記録された画像の中から被写体が所望するレベルで写っている画像のみを検索することができる。更に、プリント注文をする際に、ユーザに対しプリントするのに適切な画像のみを提示することができる。
【発明を実施するための最良の形態】
【0039】
<第一実施形態>
[システムの概略構成]
図1は、本発明を適用したプリント注文システム1の全体構成を示す図である。
【0040】
プリント注文システム1は、1又は複数の被写体(図1では一例として3a、3b、3c)を固有に識別するための個人情報が格納された1又は複数の無線タグ(図1では一例として2a、2b、2c)と、そのIC2a、2b、2cがそれぞれ取り付けられた被写体3a、3b、3cを撮像するデジタルカメラ10と、デジタルカメラ10が撮像した画像をプリントする店頭プリント端末装置(以下「プリント端末」という。)70とを備える。プリント端末70は、インターネットなどのネットワーク45を介してデジタルカメラ10の画像を取得してもよいし、xDピクチャーカードなどの記録メディア120に記録した画像を読み取ってもよい。更に、デジタルカメラ10は、店頭プリントを請け負う業者が操作する端末装置46に画像を送信してプリント注文をしてもよい。また、デジタルカメラ10は、撮像した画像を機器間接続ケーブル又はメディア記録媒体を介して電子アルバムサーバ41、他のデジタルカメラ42、カメラ付携帯電話43、プリンタ44に出力することができる。
【0041】
[カメラの概略構成]
図2は、図1のデジタルカメラ10の内部の概略構成を示すブロック図である。同図において、CPU100は、本プリント注文システムの各回路を統括制御する制御部であり、ROM102及びRAM104等の記憶手段を備えている。ROM102には、CPU100が処理するプログラム及び制御に必要な各種データ等が格納され、RAM104は、CPU100が各種の演算処理等を行う際の作業用エリアとして利用される。ROM102はデータの消去/書き込みが可能なフラッシュROMで構成される。
【0042】
CPU100は、レリーズボタン、電源ボタン、ストロボボタン、マクロボタン、ズームレバー、表示ボタン、BACKボタン、マークボタン、メニュー/OKボタン、十字ボタン、モードスイッチ等からなる操作部106から出力された操作信号に基づき対応する回路の動作を制御し、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録/再生制御、モニタ130の表示制御などを行うとともに、自動露出(AE)演算、自動焦点調節(AF)演算、ホワイトバランス(WB)調整演算などの各種演算処理を実行する。
【0043】
レンズ14を通過した光は、CCDイメージセンサ(CCD)108に入射する。CCD108の受光面には、フォトセンサが平面的に配列されており、レンズ14を介してCCD108の受光面に結像された被写体の光学像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。各フォトセンサに蓄積された信号電荷は、図示しないタイミングジェネレータから与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出され、アナログ信号処理部110に送られる。
【0044】
アナログ信号処理部110は、サンプリングホールド回路、色分離回路、ゲイン調整回路、A/D変換器等の信号処理回路を含み、このアナログ信号処理部110で入力された画像信号が、相関二重サンプリング処理並びにR、G、Bの各色信号に色分離処理され、各色信号の信号レベルの調整(プリホワイトバランス処理)が行われる。そして、デジタルの画像信号に変換されてRAM104に格納される。
【0045】
RAM104に格納された画像信号は、画像信号処理部112に送られる。画像信号処理部112は、輝度・色差信号生成回路、ガンマ補正回路、シャープネス補正回路、コントラスト補正回路、ホワイトバランス補正回路等を含むデジタルシグナルプロセッサ(DSP)で構成され、CPU100からのコマンドに従って入力された画像信号を処理する。この画像信号処理部112に入力された画像信号は、輝度信号(Y信号)及び色差信号(Cr,Cb 信号)に変換されるとともに、ガンマ補正等の所定の処理が施された後、RAM104に格納される。RAM104に格納された画像データは、表示部114に入力される。表示部114は入力された画像データを表示用の所定方式の信号(例えば、NTSC方式のカラー複合映像信号)に変換してモニタ130に出力する。
【0046】
CCD108から出力される画像信号によってRAM104内の画像データが定期的に書き換えられ、その画像データから生成される映像信号がモニタ130に供給されることにより、CCD108を介して入力される画像がリアルタイムにモニタ130に表示される。撮影者は、このモニタ130に映し出される画像(スルー画像)によって撮影画角を確認することができる。
【0047】
なお、表示部114は、OSD信号発生回路を含み、OSD信号発生回路はCPU100からのコマンドに従ってシャッタ速度や絞り値、撮影可能枚数、撮影日時、警告メッセージ、オートフォーカスフレーム(AF)等の文字及び記号情報を表示するための信号を発生させる。このOSD信号発生回路から出力される信号は、必要に応じて画像信号に混合されて、モニタ130に供給される。これにより、スルー画像や再生画像に文字等が合成された合成画像が表示される。
【0048】
モードスイッチにてカメラのモードが撮影モードに設定されると、デジタルカメラ10は撮影が可能になる。この状態でレリーズボタンが半押しされると、CPU100にS1ON信号が発せられる。CPU100は、このS1ON信号を検知して、AE、AF動作を実行する。すなわち、CPU100は、被写体にピントが合うように、図示しないレンズ駆動部を制御するとともに、被写体の明るさを測定し、適正露出となるように絞り値とシャッタ速度を決定する。
【0049】
この後、レリーズボタンが全押しされると、CPU100にS2ON信号が発せられ、CPU100は、このS2ON信号を検知して、記録動作を実行する。すなわち、レリーズボタンの半押し時に決定した絞り値、シャッタ速度となるように、図示しない絞り駆動部及びCCD108の電子シャッタを制御し、画像の取り込みを行なう。
【0050】
こうしてレリーズボタンの全押し操作に応動して、記録用の画像データの取り込みが開始され、CCD108から出力された1コマ分の画像信号が、アナログ信号処理部110を介してRAM104に取り込まれる。RAM104に取り込まれた画像信号は、画像信号処理部112で所定の信号処理が施された後、再びRAM104に格納され、画像記録部116に送られる。
【0051】
画像記録部116は、圧縮伸張処理回路を含み、圧縮伸張処理回路はCPU100からのコマンドに従って入力された画像データをJPEGその他の所定の形式に従って圧縮する。圧縮された画像データは、メディアインターフェース(メディアI/F)118を介して所定フォーマットの画像ファイル(例えばExif(Exchangeable Image File Format)形式の画像ファイル)として記録メディア120に記録される。なお、記録メディア120としては、xDピクチャーカード、スマートメディア、コンパクトフラッシュ(登録商標)、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどのカメラボディに対して着脱可能なリムーバブルメディアの他、カメラボディに内蔵された記録メディア(内部メモリ)であってもよい。
【0052】
モードスイッチにて再生モードが選択されると、記録メディア120に記録された画像の再生が可能になる。モードスイッチが再生モードに設定されると、記録メディア120に最後に記録された画像ファイルの画像データを読み出す。読み出された画像データは、画像記録部116にて所要の伸張処理が施されたのち、表示部114を介してモニタ130に出力される。これにより、記録メディア120に記録された画像の閲覧が可能になる。
【0053】
画像のコマ送りは、十字ボタンで行なわれ、十字ボタンの右キーが押されると、次の画像ファイルが記録メディア120から読み出され、モニタ130に再生表示される。また、十字ボタンの左キーが押されると、前の画像ファイルが記録メディア120から読み出され、モニタ130に再生表示される。
【0054】
また、デジタルカメラ10は、ホスト機器へのUSB接続をトリガとして、その動作モードを通信モードに移行する。通信モードとしては、パーソナルコンピュータ(PC)に接続されて、PCからリムーバブルディスク(マスストレージデバイス)として認識させる「PCモード」と、プリンタに接続されて、プリンタに対して記録メディア120に記録されている画像をプリントさせる「ダイレクトプリントモード」とを備えている。通信制御部122は、設定された通信モードの下で所定のコマンド形式に従ったデータの送受信を行なう。
【0055】
デジタルカメラ10のカメラボディにはレンズ14の前方に指向性を有するアンテナを備えた無線タグセンサ121が設けられており、被写体3a、3b、3cに取り付けられた無線タグ2a、2b、2cから送信された無線信号を受信してこれを検知する。無線タグセンサ121がレンズ14後方の無線タグ2からの無線信号を受信しないように、無線タグセンサ121のレンズ14後方側に電磁シールドフィルムなどを貼付してもよい。RSSI回路123は、無線タグセンサ121の受信した無線信号の強度を検出してCPU100に出力する。無線タグリーダ113は無線タグセンサ121の受信した無線信号から無線タグ2に記録されている情報(以下無線タグ情報という)を読み出してCPU100に出力する。測距部124はピントを合わせた被写体までの距離を測定する手段であり、例えば、CCD108から出力された信号中の高周波成分に基づいて被写体像の鮮鋭度を示すAF評価値(焦点評価値)を検出し、この焦点評価値が極大となるようにレンズの合焦位置を設定した際のレンズ位置から被写体像までの距離を算出する手段である。あるいは、ピントを合わせた被写体に光を発して被写体に反射して戻ってきた光を受光し、発光部と受光部のなす角から被写体までの距離を検出する三角測距センサなどであってもよい。
【0056】
[プリント端末]
図3は、プリント端末70の内部構成を示すブロック図である。
【0057】
画像を記録した記録メディア120が挿入されると、ハードディスクコントローラ74は、ハードディスク(HDD)75に記録されている制御ソフトウェアをプログラムメモリ71にロードする。記録メディア120には、画像データが所定の形式で圧縮された状態で記録されており、CPU72は、メディアリーダコントローラ51に画像データの読み出しを指示して記録媒体50から所要の画像データを取得すると、画像処理部61によりこの画像データを伸張して元の画像データに復元し、更に、画像処理部61で所要の画像処理を施してその画像データをワークメモリ76に記憶させる。
【0058】
顧客は、プリントする画像の選択、プリント枚数、プリント種類など、プリント注文に関する各種の情報をタッチパネル98から入力する。プリントの種類としては、<デジカメプリント/分割プリント/シールプリント/インデックスプリント>などを指定できる。なお、分割プリントについては画面分割数として、<16分割/4分割/2分割/分割無し>などを指定できる。プリントサイズについては、<カードサイズ/Lサイズ/CDサイズ/2Lサイズ>などを選択できる。以下、タッチパネル98から入力されたプリント注文に関する情報を注文情報という。
【0059】
プリントサイズ、プリント枚数などの注文情報は、顧客がタッチパネル98の所望位置を押圧することでその位置に対応した電気信号に変換され、タッチパネルインターフェイス(I/F)部97を介してCPU72に入力される。
【0060】
入力された情報は表示装置80に表示される。表示装置80は、表示制御部78によって作動される。コインマシン64は、投入された硬貨の種類や枚数を検出して投入金額を算出して電気信号に変換し、コインマシンI/F部63を介してCPU72に入力する。CPU72は、顧客が必要な金額を投入したかどうかを確認する。必要な金額が投入されたら、プリントデータ処理部91は、ワークメモリ76に格納されている画像データからプリントジョブデータを作成し、プリンタI/F部62を介してプリントジョブデータを各プリンタ90に送る。これらの一連の制御はCPU72が行う。
【0061】
各プリンタ90は、TA方式と呼ばれる印画方式を採用したもので、熱を加えると発色し、所定の波長の光を照射すると定着するという特性を有するTAペーパーを使用する。
【0062】
プリントが終了すると、コインマシン64への投入金額及び返却した釣り銭額などが記載されたレシートがレシートプリンタ92から出力される。レシートプリンタ92がプリントする内容はCPU72がレシートプリンタI/F部93を介して指令する。
【0063】
プリント端末70は、無線タグセンサ73、無線タグリーダ73a、RSSI回路73bを備える。これらの無線タグセンサ73、無線タグリーダ73a、RSSI回路73bは、上記デジタルカメラ10の無線タグセンサ121、無線タグリーダ113、RSSI回路123と同様である。
【0064】
図4は、プリント端末70の要部構成図である。プリント端末は、主に画像蓄積部75a、被写体検索部72a、被写体情報蓄積部75b、顔認識・比較部72b、参照情報蓄積部75c、画像表示・選択部72c、課金部72d、プリント注文部72e、及びプリント部72fから構成される。このうち、画像蓄積部75a、被写体情報蓄積部75b、参照情報蓄積部75cは、HDD75に備えられる。被写体検索部72a及び顔認識・比較部72bはCPU72が実行するプログラムにより構成される。
【0065】
画像表示・選択部72cは、表示装置80に対し画像を表示制御し、タッチパネル98からの操作入力を受け付けるプログラム、表示制御部78、表示装置80、タッチパネルI/F97、及びタッチパネル98により構成される。
【0066】
課金部72dは、プリントの費用を算出し、ユーザが投入した金額の計算及び釣り銭処理を行うプログラム及びコインマシンI/F63、コインマシン64により構成される。
【0067】
プリント注文部72eは、画像表示・選択部72cが受け付けたユーザの指定する画像を画像蓄積部75aから読み出してプリンタ部90にプリント指示を送る。プリント注文部72eは、画像の読みだし及びプリント指示を行うプログラム及びプリントデータ処理部91により構成される。
【0068】
プリント部72fは、ユーザが選択した画像をプリントする。プリント部72fは、プリンタ90の制御を行い、画像をプリントした写真を投出するプログラム及びプリンタI/F62、プリンタ90により構成される。
【0069】
上記プログラムは、HDD75に格納され、CPU72が実行時に適宜読み出してプログラムメモリ71にロードして実行する。
【0070】
[デジタルカメラの実行する処理]
以下、図5のフローチャートに基づき、デジタルカメラ10の実行する撮影処理の流れを説明する。この処理はデジタルカメラ10の被写体3a、3b、3cに取り付けられた無線タグ2a、2b、2cの無線タグ情報を、被写体3a〜3cを撮影した画像ファイルのヘッダ部分に記憶する。この処理は、無線タグセンサ121が無線タグ2a〜2cの無線信号を検出したときに開始する。
【0071】
S1では、RSSI回路123は無線タグ2a〜2cから送信された無線信号の強度を検出してCPU100に出力する。S2では、無線タグリーダ113が無線タグ2a〜2cの無線信号から無線タグ情報を読み取る。S3では、CPU100は、S1で検出した強度とS2で各無線タグ2a〜2cから読み取った無線タグ情報とを対応づけた強度情報をRAM104に記憶する。図6(a)は強度情報の一例を示す。この図に示すように、強度情報では、3つの被写体3a〜3cにそれぞれ取り付けられている無線タグ2a〜2cから読み取った無線タグ情報である情報1〜3と、情報1〜3を読み取った無線信号の強度とが対応している。即ち、画像中の被写体3a〜3cの遠近と強度情報に含まれる強度の強弱を比較することで、被写体と無線タグ情報との対応が分かる。
【0072】
S4では、操作部106のシャッターボタンの半押し操作を検知し、この検知に応じてオートフォーカスフレームAFの囲む撮影位置の被写体3aにフォーカスロック(焦点のロック、合焦)する。以下、フォーカスロックされた被写体3aを主要被写体と表すこともある。図7はフォーカスロックされた際のスルー画像及びオートフォーカスフレームAFの表示例を示している。この図では、オートフォーカスフレームAFが被写体3aに位置する状態で半押し操作され、被写体3aに合焦されている。なお、オートフォーカスフレームAFのモニタ130上の表示位置はモニタ130の中心であってもよいし、十字ボタンで上下左右にスクロールさせることで任意の位置(例えば図7のようにモニタ130の中心よりもやや左に移動した位置)に移動できるようにしてもよい。そして、この後でシャッターボタンを半押しすることで、移動したオートフォーカスフレームAFの示す撮影位置の被写体にフォーカスロックしてもよい。以下、合焦後のオートフォーカスフレームAFの示す撮影位置を主要被写体位置という。
【0073】
図7では主要被写体位置の一例として、モニタ130の左下隅を原点Oとするモニタ130上のXY平面におけるフォーカスロックしたオートフォーカスフレームAFの中心の位置(X0,Y0)を示している。即ち、主要被写体位置により合焦された被写体3b、3cの位置が分かる。なお、OSD信号発生回路により、無線タグ2a〜2cが検出されたこと及び検出された無線タグが送信する無線信号の強度を示すマーカーをモニタ130に表示してもよい。図7では3つの無線タグ2a〜2cが送信する無線信号の強度を示すマーカーMK1〜MK3がモニタ130に表示されている。
【0074】
S5では、測距部124は主要被写体までの距離を算出する。例えば、図7のように被写体3aにフォーカスロックした場合は被写体3aまでの距離を算出する。S6では、シャッターボタン全押し検知に応じて記録用の画像データの取り込みが開始される。記録用の画像データは所定フォーマットの画像ファイルのデータ部分に記録される。S7では、CPU100は、RAM104の強度情報を画像ファイルのヘッダ部分に記憶する。一例として、画像ファイルがヘッダ部分にタグを有するExif形式の画像ファイルの場合、所定のタグ(UserCommentタグなど)に強度情報を記憶すればよい。
【0075】
S8では、CPU100は、主要被写体までの距離に対応する無線信号の強度をROM102に記憶された強度距離対応情報に基づいて特定する。図6(b)は強度距離対応情報の一例である。強度距離情報は測距部124から無線タグ2a〜2cまでの距離と無線タグ2a〜2cの送信する無線信号の強度との対応を規定している。図6(b)では一例として、強度「強」には距離「0〜50cm(0cm以上50cm未満)」、強度「中」には距離「50〜100cm(50cm以上100cm未満)」、強度「弱」には距離「100cm〜∞(100cm以上)」が対応しているが、強度距離対応情報による距離と強度との対応の規定の仕方は上記に限定されず、距離と強度とが比例関係などで対応した数式などであってもよい。次に、CPU100は、上記特定した無線信号の強度に対応する無線タグ情報を強度情報から特定することで、主要被写体に取り付けられた無線タグ2に記録された無線タグ情報である主要被写体無線タグ情報を特定する。そして、CPU100は、主要被写体無線タグ情報と主要被写体位置とを対応づけた主要被写体情報を画像ファイルのヘッダ部分に記憶する。図6(c)は主要被写体情報の一例である。この図では、合焦された被写体3aの被写体位置(X0,Y0)と被写体3aに取り付けられたタグ2aから読み取られた情報1(即ち主要被写体無線タグ情報)とが対応している。主要被写体情報と画像を比較すれば、画像中の合焦した被写体3aの位置とその被写体3aの無線タグ情報の関係が分かる。
【0076】
[プリント端末の実行する処理]
以下、図8のフローチャートに基づき、プリント端末70の実行する検索及びプリント処理の流れを説明する。この処理はデジタルカメラ10が被写体3a〜3cに取り付けられた無線タグ2a〜2cの無線タグ情報と被写体の画像とが関連づけた画像データが記録された記録メディア120が、プリント端末70のメディアスロットに挿入されたときに開始する。
【0077】
S10では、プリント端末70は、デジタルカメラ10が撮像した画像を画像蓄積部75aに蓄積する。
【0078】
S11では、タグ情報と、そのタグ情報が示す被写体の顔画像とを関連付けてプリント端末70に記録する(S11)。ユーザは、プリントを所望する被写体3a〜3cに付した無線タグ2a〜2cのタグ情報をプリント端末70の無線タグリーダ73に読み取らせる。更に、被写体3a〜3cの顔画像を記録メディア120から読み出し、無線タグ2a〜2cのタグ情報と被写体3a〜3cの顔画像とを対応付けて被写体情報蓄積部75b及び参照情報蓄積部75cに蓄積させる。タグ情報と顔画像とをデータベースとして構成し、画像蓄積部75aに格納してもよい。
【0079】
S12では、被写体検索部72aは、被写体情報蓄積部75bから被写体を示すタグ情報を読み出し、画像蓄積部75aに蓄積された画像群のうちタグ情報と関連づけられている画像を抽出する(S12)。以下、S12で抽出された画像群を第一画像グループという。
【0080】
S13では、顔認識・比較部72bは、第一画像グループの中から、被写体の顔が正面を向き、かつ所定の大きさで写っている画像群を抽出する(S13)。顔認識・比較部72bは、画像から検索対象領域を抽出する領域抽出部と抽出領域の面積を測定する測定部と比較部とにより構成される。領域抽出部は、第一画像グループの画像に対して顔領域検出処理を行う。顔領域の検出は、肌色検出処理を用いてもよい。次に、測定部は、その肌色領域の画素数を計測する。測定部は、所定の閾値以上の画素数がある顔領域の画像を比較部に渡す。比較部は、参照情報蓄積部75cから所望する被写体の顔画像を読み出し、第一画像グループに含まれる個々の画像から抽出した顔領域と、被写体の顔画像とを比較し、被写体の顔画像が含まれている画像を抽出する。以下、S14で抽出された画像群を第二画像グループという。
【0081】
図9及び10に基づいてS13の処理を説明する。図9の撮影画像A及び図10の撮影画像Bは、被写体として「山田太郎」、「青木一郎」、「富士花子」を指定した場合の第一画像グループに属する撮影画像である。撮影画像A及びBは、共に「山田太郎:たけ組:5歳」、「青木一郎:もも組:4歳」、「富士花子:きく組:6歳」の三人が写っている。第一画像グループでは、顔領域の大小及び向きを問わず、三人が写っている画像は全て抽出されている。
【0082】
しかし図9の撮影画像Aは、三人は全て正面を向いているが、山田太郎のみが所定の大きさで写っており、青木一郎及び富士花子は所定の大きさよりも小さく写っている。この場合、顔認識・比較部72bは、撮影画像Aと参照画像(山田太郎、青木一郎及び富士花子の顔画像)とを比較し、「山田太郎」は「一致」と判断し、「青木一郎」及び「富士花子」は「不一致」と判断する。その結果、「山田太郎」を指定した場合の第二画像グループには撮影画像Aが含まれるが、「青木一郎」及び「富士花子」を指定した場合の第二画像グループには撮影画像Aが含まれない。図10では、「青木一郎」及び「富士花子」は正面を向いているが、「山田太郎」は後ろを向いている。この場合、顔認識・比較部72bは、「山田太郎」は後ろ向きであるため「不一致」と判断し、「青木一郎」は所定の大きさよりも小さいため「不一致」と判断し、「富士花子」は「一致」と判断する。
【0083】
S14では、顔認識・比較部72bは、認識した結果に基づいて各画像について被写体の顔が写っているか否かを示す相対表を作成する(S15)。図11は相対表の例を示す模式図である。相対表は、撮影画像に顔が写っていることを○印で、撮影画像に被写体が写っているが、顔が鮮明に写っていないことを△印で示す。例えば、S14では撮影画像Aは山田太郎のみが「一致」と判断され、「青木一郎」及び「富士花子」は「不一致」と判断されたため、撮影画像Aについて「山田太郎」は○、「青木一郎」及び「富士花子」は△が入力される。
【0084】
S15では、ユーザは、プリントを所望する被写体の検索条件を入力する(S15)。S11で入力された三人の被写体3a〜3cのうち、プリントしたい被写体を選択するために、ユーザはタッチパネル98からプリントを所望する被写体を特定するための条件、例えば被写体の名前を入力する。また、画像表示・選択部72cが、S11で読みこんだ顔画像を表示装置80に表示し、ユーザに選択させてもよい。
【0085】
S16では、画像表示・選択部72cは、相対表を参照し、S15で入力された検索条件に合う被写体の画像、又はそのサムネイル画像を表示装置80に表示する(S16)。相対表を参照した結果、顔が写っている画像数、すなわち相対表において○印の画像の数が少ない場合、例えば3枚以下のときは、被写体が写っている画像である△印の画像を表示してもよい。
【0086】
S17では、ユーザは、タッチパネル98からプリントを所望する画像を選択する(S17)。
【0087】
S18では、課金部72dは、ユーザが選択した画像の枚数に基づいてプリント費用を算出し、課金処理する。
【0088】
S19では、プリント注文部72eは、ユーザが選択した画像を画像蓄積部75aから読み出し、プリント部72fは、プリント注文部72eからの指示に従い、画像プリント処理を行う。
【0089】
本実施形態により、ユーザがプリント端末70でプリントを所望する画像を選ぶ際に、所望する被写体が前を向いており、かつ適切な大きさで写っている画像だけが表示装置80に表示され、画像の選択が容易に行える。また、プリント端末70におけるユーザの画像選択時間が短縮されることにより、プリント端末の設置台数を減らすことができる。
【0090】
本実施形態では、S14において相対表を作ったが、S13の比較結果の記憶だけを行い、S16でその結果を参照することにより相対表を作成する処理を省いてもよい。また、本実施形態ではS15においてプリントを所望する被写体を特定するための検索条件を入力したが、S11において一の被写体、例えば3aのみのタグ情報及び外見的特徴画像を読みこんだ場合には、S15を省略してもよい。
【0091】
なお、本実施形態では、所望する被写体が正面を向いていることを判断するために顔画像を用いたが、正面から見た髪型や被写体が着用している服を正面から見た模様に基づいて被写体の向きや大きさを判断してもよい。
【0092】
<第二実施形態>
第二実施形態は、デジタルカメラ10において撮影画像を検索する実施形態である。本実施形態に係るデジタルカメラ10は、撮像した画像の中から、所望する被写体が所望する大きさ及び向きで写っている画像を検索することができるデジタルカメラである。
【0093】
図12は、デジタルカメラ10の要部構成図である。デジタルカメラ10は、主に無線タグセンサ121、撮影部101、画像蓄積部116a、被写体検索部100a、被写体情報蓄積部116b、顔認識・比較部100b、参照情報蓄積部116c、画像表示・選択部100c、及び選択画像送出部100dから構成される。このうち、撮像部101は、レンズ14、CCD108、アナログ信号処理110により構成される。
【0094】
画像蓄積部116a、被写体情報蓄積部116b、参照情報蓄積部116cは、画像記録部116及び記録メディア120に備えられる。被写体検索部100a及び顔認識・比較部100bはCPU100が実行するプログラムにより構成される。
【0095】
選択画像送出部100dは、電子アルバムサーバ41、他のデジタルカメラ42、カメラ付き携帯電話43、及びプリンタ44の他の装置に画像を送出するための構成であって、機器間接続、有線及び無線接続して画像を送出する場合は、USBコネクタや無線送受信部などの通信I/F132が相当する。また記録メディア120に画像を記録させることにより画像を送出するときにはメディア1/F118及び記録メディア120が相当する。画像蓄積部116a、被写体検索部100a、被写体情報蓄積部116b、顔認識・比較部100b、参照情報蓄積部116c、画像表示・選択部100c、は第一実施形態と同様の処理を実行する。
【0096】
本実施形態により、デジタルカメラ10で撮像した画像から所望する被写体が称する向き及び大きさで撮像されている画像のみを検索することができる。
【0097】
<その他の実施形態>
ユーザの自宅パソコン、電子アルバムサーバ41、カメラ付携帯電話43に、上記被写体検索部72a、顔認識・比較部72b、画像表示・選択部72cを構成するプログラムをインストールすることにより、所望する被写体が所定の大きさで前を向いて写っている写真の検索が行える。また、自宅パソコンから検索した画像をインターネットを介してプリント事業者の端末装置46に送り、プリントを注文してもよい。更に、家庭用プリンタ装置に本発明を適用し、デジタルカメラ10やカメラ付携帯電話43とプリンタ装置とを有線又は無線通信で接続し、デジタルカメラ10やカメラ付携帯電話43から得た画像データから写真の検索を行ってプリントとしてもよい。
【図面の簡単な説明】
【0098】
【図1】本発明を適用したプリント注文システム1の全体構成を示す図
【図2】デジタルカメラ10の内部の概略構成を示すブロック図
【図3】プリント端末70の内部構成を示すブロック図
【図4】プリント端末70の要部構成図
【図5】デジタルカメラ10の実行する撮影処理の流れを説明するフローチャート
【図6】図6(a)は強度情報の一例、図6(b)は強度距離対応情報の一例、図6(c)は主要被写体情報の一例を示す模式図
【図7】主要被写体位置の一例を示す模式図
【図8】プリント端末70の処理の流れを示すフローチャート
【図9】顔認識・比較部の処理を示す模式図
【図10】顔認識・比較部の処理を示す模式図
【図11】顔認識・比較部が生成する相対表を示す模式図
【図12】第二実施形態に係るデジタルカメラ10の要部構成図
【符号の説明】
【0099】
1:プリント注文システム、2a:無線タグ、2b:無線タグ、2c:無線タグ、3a:被写体、3b:被写体、3c:被写体、10:デジタルカメラ、70:店頭プリント端末装置
【技術分野】
【0001】
本発明は、画像検索装置、画像プリント装置、プリント注文システム、店頭プリント端末装置、撮像装置、画像検索プログラム及び方法に係り、特に、被写体を撮像して画像を蓄積し、その中からユーザが見たい画像を抽出する技術に関する。
【背景技術】
【0002】
従来、幼稚園などの施設における催し物で撮影された写真を販売するために、大量の写真を掲示し、その中から自分や友人が映った写真を選択して注文する方法がとられている。この写真を選択する作業を支援する技術として、特許文献1では、無線タグを人物に付与し、写真撮影時に無線タグと通信して被写体の位置を測定し、その位置と無線タグのタグ情報に基づいて画像中の被写体を特定する方法を開示している。
【特許文献1】特開2004−70717号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかし、上記特許文献1では、数ある画像の中から所望する被写体が写っている画像を選ぶことはできても、その被写体が後ろや横を向いていた場合、写真としての価値は低く、余計な写真まで抽出してしまうことになる。また、被写体が遠方に多数いて、画像には極めて小さく写っている場合には、多人数を抽出してしまい、余計な選択作業をユーザに強いることとなる。
【0004】
本発明は、上記問題に鑑みてなされたものであり、記録された画像の中から被写体が所望するレベルで写っている画像のみを検索する技術を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記目的を達成するために、本発明に係る画像検索装置は、被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取部と、検索対象の被写体を示す識別情報及び前記検索対象の被写体の外見的特徴画像を入力するための入力部と、前記読取部が読み取った画像データの中から、前記識別情報が関連づけられている画像を抽出する第一抽出部と、前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、を備えたことを特徴とする。
【0006】
「入力部」は、識別情報の入力を受け付ける手段と外見的特徴画像の入力を受け付ける手段とを同一の手段として構成してもよいし、異なる手段として構成してもよい。
【0007】
この画像検索装置によれば、単に被写体が写っているだけでなく、その被写体が所定の外見的特徴を有して写っている画像を検索することができる。
【0008】
また、前記画像データは、前記被写体にその被写体を固有に識別可能なタグ情報を記憶した無線タグを取り付けて撮像装置により撮影して得られた画像と、前記撮像装置が前記無線タグから受信した前記タグ情報とが関連づけられた画像データであってもよい。
【0009】
これにより、撮像装置により被写体を撮影するだけで、被写体の画像と識別情報(タグ情報)とを自動的に関連づけて格納することができる。
【0010】
また、前記第二抽出部は、前記第一抽出部が抽出した画像に含まれる前記外見的特徴画像に相当する領域を抽出する領域抽出部と、前記領域の面積を測定する測定部と、所定の閾値以上の領域面積がある場合にのみ前記抽出した領域と前記外見的特徴画像との比較を行う比較部と、を備えてもよい。
【0011】
これにより、所望の大きさで写っている場合だけ、外見的特徴画像との比較を行うことができ、比較処理に伴う演算量を減らしつつ、被写体が所定の大きさで写っている画像を検索することができる。
【0012】
また、前記第二抽出部は、前記第一抽出部が抽出した画像に含まれる前記外見的特徴画像に相当する領域を抽出する領域抽出部と、前記抽出した領域と前記外見的特徴画像との比較を行う比較部と、前記比較部により、前記外見的特徴画像と一致すると判断された画像に含まれる前記領域の面積を測定する測定部と、を備えてもよい。
【0013】
これにより、被写体が所定の大きさで写っている画像を検索することができる。
【0014】
また、前記外見的特徴画像は、前記所望する被写体の顔、前記被写体の所望する向きにおける髪型又は服を撮像した画像であってもよい。
【0015】
これにより、被写体が正面を向いている画像を検索することができる。
【0016】
また、前記第二抽出部は、抽出した画像とその画像における前記被写体の鮮明度とを関連づけた相対表を生成する生成部を更に備え、前記相対表において所定の鮮明度があると規定された画像又はその画像のサムネイル画像を表示する表示部を更に備えてもよい。
【0017】
ここでいう「鮮明度」とは、画像がプリントする価値があるか否かを示す指標であって、例えば、被写体が写っている大きさ、向き、ぼけ具合などから判断される。
【0018】
これにより、所定の鮮明度がある画像として抽出された画像を視認することができる。
【0019】
また、前記入力部は、検索対象として複数の被写体のそれぞれに関連付けられた識別情報及び前記各被写体の外見的特徴画像の入力を受けつけ、前記複数の被写体のうち、所望する被写体を選択するための被写体選択部を更に備え、前記表示部は、前記選択された被写体の画像又はその画像のサムネイル画像を表示してもよい。
【0020】
これにより、複数の被写体を検索しておき、そのうちの所望する被写体が写っている画像を表示することができる。
【0021】
また、前記表示部に表示された画像又はサムネイル画像のうち、所望する画像を選択するための画像選択部を更に備えてもよい。
【0022】
これにより、所望する被写体が写っている画像の中から、所望する画像を選択することができる。
【0023】
また、本発明に係る画像プリント装置は、被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取部と、検索対象の被写体を示す識別情報及び前記検索対象の被写体の外見的特徴画像を入力するための入力部と、前記読取部が読み取った画像データの中から、前記識別情報が関連づけられている画像を抽出する第一抽出部と、前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、前記第二抽出部が抽出した画像をプリントするプリンタ部と、を備えたことを特徴とする。
【0024】
ここでいう「読取部」は、画像データを記憶した記憶媒体から画像データを読み出す手段や、デジタルカメラやカメラ付き携帯電話のような撮像装置と有線、無線通信を行い、画像データを取得する手段を含む。
【0025】
この画像検索装置によれば、単に被写体が写っているだけでなく、その被写体が所定の外見的特徴を有して写っている画像を検索することができる。
【0026】
また、本発明に係るプリント注文システムは、被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取部と、プリントを所望する被写体を識別するための前記識別情報及び前記プリントを所望する被写体の外見的特徴画像を入力するための入力部と、前記読取部が読み取った画像データの中から、前記入力部により入力された識別情報と関連付けられた画像を抽出する第一抽出部と、前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、前記第二抽出部が抽出した画像を表示する表示部と、前記画像のプリントに要する費用を算出し、決済処理する課金部と、を備える。
【0027】
これにより、単に被写体が写っているだけでなく、その被写体が所定の外見的特徴を有して写っている画像を検索し、ユーザに提示することができる。そのため、ユーザがプリント注文する画像を選ぶ際に、被写体が写っていても後ろを向いていたり鮮明に写っていなかったりする写真であってプリント注文する価値がない無駄な写真の中からプリント注文するに足りうる画像を選択しなければならないという手間を省くことができる。
【0028】
また、前記表示部に表示された画像の中からプリントを所望する画像を選択するための画像選択部を更に備え、前記課金部は、前記画像選択部により選択された画像のプリントに要する費用を算出し、決済処理してもよい。
【0029】
これにより、表示された画像のうち所望する画像だけを選択してプリントすることができる。
【0030】
また、本発明に係る店頭プリント端末装置は、被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取部と、プリントを所望する被写体を識別するための前記識別情報及び前記プリントを所望する被写体の外見的特徴画像を入力するための入力部と、前記読取部が読み取った画像データの中から、前記入力部に入力された識別情報と関連付けられた画像を抽出する第一抽出部と、前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、前記第二抽出部が抽出した画像を表示する表示部と、前記画像のプリントに要する費用を算出し、決済処理する課金部と、前記画像のプリント処理を行うプリント部と、を備えることを特徴とする。
【0031】
これにより、単に被写体が写っているだけでなく、その被写体が所定の外見的特徴を有して写っている画像を検索し、ユーザに提示することができる。そのため、ユーザがプリント注文する画像を選ぶ際に、被写体が写っていても後ろを向いていたり鮮明に写っていなかったりする写真であってプリント注文する価値がない無駄な写真の中からプリント注文するに足りうる画像を選択しなければならないという手間を省くことができる。その結果、店頭プリント端末装置をユーザが占有する時間を短縮することができ、店頭プリント端末装置の設置台数を減らすことにも寄与できる。
【0032】
また、前記表示部に表示された画像の中からプリントを所望する画像を選択するための画像選択部を更に備え、前記課金部は、前記画像選択部により選択された画像のプリントに要する費用を算出して決済処理し、前記プリント部は、前記選択された画像のプリントを行ってもよい。
【0033】
また、本発明に係る撮像装置は、被写体に取り付けられた無線タグからの無線信号を受信する受信部と、受信した前記無線信号から前記無線タグに記録されたタグ情報であって、前記被写体を固有に識別可能なタグ情報を読み取るタグ情報読取部と、前記被写体を撮像する撮像部と、前記無線タグから読み取ったタグ情報と前記撮像部の撮像した画像とを対応づけて記憶する第一記憶部と、前記第一記憶部の画像の中から、前記画像に関連づけられた前記タグ情報に基づいて、所望する被写体が撮像されている画像を抽出する第一抽出部と、前記所望する被写体の外見的特徴画像を取得する取得部と、前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、前記第二抽出部が抽出した画像を表示する表示部と、を備えたことを特徴とする。
【0034】
これにより、撮像装置が撮った画像の中から、単に被写体が写っているだけでなく、その被写体が所定の外見的特徴を有して写っている画像を検索することができる。
【0035】
また本発明に係る画像検索プログラムは、被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取ステップと、検索対象の被写体を示す識別情報及び前記検索対象の被写体の外見的特徴画像を入力するための入力ステップと、前記読取ステップにおいて読み取られた画像データの中から、前記入力ステップにおいて入力された識別情報が関連づけられている画像を抽出する第一抽出ステップと、前記第一抽出ステップにおいて抽出された画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出ステップと、をコンピュータに実行させることを特徴とする。
【0036】
この画像検索プログラムによれば、このプログラムをインストールしたコンピュータに格納されている画像の中から、単に被写体が写っているだけでなく、その被写体が所定の外見的特徴を有して写っている画像を検索することができる。
【0037】
また本発明に係る画像検索方法は、被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取ステップと、前記識別情報及び前記検索対象の被写体の外見的特徴画像を入力するための入力ステップと、前記読取ステップにおいて読み取られた画像データの中から、前記入力ステップにおいて入力された識別情報が関連づけられている画像を抽出する第一抽出ステップと、前記第一抽出ステップにおいて抽出された画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出ステップと、を含むことを特徴とする。
【発明の効果】
【0038】
本発明によれば、記録された画像の中から被写体が所望するレベルで写っている画像のみを検索することができる。更に、プリント注文をする際に、ユーザに対しプリントするのに適切な画像のみを提示することができる。
【発明を実施するための最良の形態】
【0039】
<第一実施形態>
[システムの概略構成]
図1は、本発明を適用したプリント注文システム1の全体構成を示す図である。
【0040】
プリント注文システム1は、1又は複数の被写体(図1では一例として3a、3b、3c)を固有に識別するための個人情報が格納された1又は複数の無線タグ(図1では一例として2a、2b、2c)と、そのIC2a、2b、2cがそれぞれ取り付けられた被写体3a、3b、3cを撮像するデジタルカメラ10と、デジタルカメラ10が撮像した画像をプリントする店頭プリント端末装置(以下「プリント端末」という。)70とを備える。プリント端末70は、インターネットなどのネットワーク45を介してデジタルカメラ10の画像を取得してもよいし、xDピクチャーカードなどの記録メディア120に記録した画像を読み取ってもよい。更に、デジタルカメラ10は、店頭プリントを請け負う業者が操作する端末装置46に画像を送信してプリント注文をしてもよい。また、デジタルカメラ10は、撮像した画像を機器間接続ケーブル又はメディア記録媒体を介して電子アルバムサーバ41、他のデジタルカメラ42、カメラ付携帯電話43、プリンタ44に出力することができる。
【0041】
[カメラの概略構成]
図2は、図1のデジタルカメラ10の内部の概略構成を示すブロック図である。同図において、CPU100は、本プリント注文システムの各回路を統括制御する制御部であり、ROM102及びRAM104等の記憶手段を備えている。ROM102には、CPU100が処理するプログラム及び制御に必要な各種データ等が格納され、RAM104は、CPU100が各種の演算処理等を行う際の作業用エリアとして利用される。ROM102はデータの消去/書き込みが可能なフラッシュROMで構成される。
【0042】
CPU100は、レリーズボタン、電源ボタン、ストロボボタン、マクロボタン、ズームレバー、表示ボタン、BACKボタン、マークボタン、メニュー/OKボタン、十字ボタン、モードスイッチ等からなる操作部106から出力された操作信号に基づき対応する回路の動作を制御し、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録/再生制御、モニタ130の表示制御などを行うとともに、自動露出(AE)演算、自動焦点調節(AF)演算、ホワイトバランス(WB)調整演算などの各種演算処理を実行する。
【0043】
レンズ14を通過した光は、CCDイメージセンサ(CCD)108に入射する。CCD108の受光面には、フォトセンサが平面的に配列されており、レンズ14を介してCCD108の受光面に結像された被写体の光学像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。各フォトセンサに蓄積された信号電荷は、図示しないタイミングジェネレータから与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出され、アナログ信号処理部110に送られる。
【0044】
アナログ信号処理部110は、サンプリングホールド回路、色分離回路、ゲイン調整回路、A/D変換器等の信号処理回路を含み、このアナログ信号処理部110で入力された画像信号が、相関二重サンプリング処理並びにR、G、Bの各色信号に色分離処理され、各色信号の信号レベルの調整(プリホワイトバランス処理)が行われる。そして、デジタルの画像信号に変換されてRAM104に格納される。
【0045】
RAM104に格納された画像信号は、画像信号処理部112に送られる。画像信号処理部112は、輝度・色差信号生成回路、ガンマ補正回路、シャープネス補正回路、コントラスト補正回路、ホワイトバランス補正回路等を含むデジタルシグナルプロセッサ(DSP)で構成され、CPU100からのコマンドに従って入力された画像信号を処理する。この画像信号処理部112に入力された画像信号は、輝度信号(Y信号)及び色差信号(Cr,Cb 信号)に変換されるとともに、ガンマ補正等の所定の処理が施された後、RAM104に格納される。RAM104に格納された画像データは、表示部114に入力される。表示部114は入力された画像データを表示用の所定方式の信号(例えば、NTSC方式のカラー複合映像信号)に変換してモニタ130に出力する。
【0046】
CCD108から出力される画像信号によってRAM104内の画像データが定期的に書き換えられ、その画像データから生成される映像信号がモニタ130に供給されることにより、CCD108を介して入力される画像がリアルタイムにモニタ130に表示される。撮影者は、このモニタ130に映し出される画像(スルー画像)によって撮影画角を確認することができる。
【0047】
なお、表示部114は、OSD信号発生回路を含み、OSD信号発生回路はCPU100からのコマンドに従ってシャッタ速度や絞り値、撮影可能枚数、撮影日時、警告メッセージ、オートフォーカスフレーム(AF)等の文字及び記号情報を表示するための信号を発生させる。このOSD信号発生回路から出力される信号は、必要に応じて画像信号に混合されて、モニタ130に供給される。これにより、スルー画像や再生画像に文字等が合成された合成画像が表示される。
【0048】
モードスイッチにてカメラのモードが撮影モードに設定されると、デジタルカメラ10は撮影が可能になる。この状態でレリーズボタンが半押しされると、CPU100にS1ON信号が発せられる。CPU100は、このS1ON信号を検知して、AE、AF動作を実行する。すなわち、CPU100は、被写体にピントが合うように、図示しないレンズ駆動部を制御するとともに、被写体の明るさを測定し、適正露出となるように絞り値とシャッタ速度を決定する。
【0049】
この後、レリーズボタンが全押しされると、CPU100にS2ON信号が発せられ、CPU100は、このS2ON信号を検知して、記録動作を実行する。すなわち、レリーズボタンの半押し時に決定した絞り値、シャッタ速度となるように、図示しない絞り駆動部及びCCD108の電子シャッタを制御し、画像の取り込みを行なう。
【0050】
こうしてレリーズボタンの全押し操作に応動して、記録用の画像データの取り込みが開始され、CCD108から出力された1コマ分の画像信号が、アナログ信号処理部110を介してRAM104に取り込まれる。RAM104に取り込まれた画像信号は、画像信号処理部112で所定の信号処理が施された後、再びRAM104に格納され、画像記録部116に送られる。
【0051】
画像記録部116は、圧縮伸張処理回路を含み、圧縮伸張処理回路はCPU100からのコマンドに従って入力された画像データをJPEGその他の所定の形式に従って圧縮する。圧縮された画像データは、メディアインターフェース(メディアI/F)118を介して所定フォーマットの画像ファイル(例えばExif(Exchangeable Image File Format)形式の画像ファイル)として記録メディア120に記録される。なお、記録メディア120としては、xDピクチャーカード、スマートメディア、コンパクトフラッシュ(登録商標)、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどのカメラボディに対して着脱可能なリムーバブルメディアの他、カメラボディに内蔵された記録メディア(内部メモリ)であってもよい。
【0052】
モードスイッチにて再生モードが選択されると、記録メディア120に記録された画像の再生が可能になる。モードスイッチが再生モードに設定されると、記録メディア120に最後に記録された画像ファイルの画像データを読み出す。読み出された画像データは、画像記録部116にて所要の伸張処理が施されたのち、表示部114を介してモニタ130に出力される。これにより、記録メディア120に記録された画像の閲覧が可能になる。
【0053】
画像のコマ送りは、十字ボタンで行なわれ、十字ボタンの右キーが押されると、次の画像ファイルが記録メディア120から読み出され、モニタ130に再生表示される。また、十字ボタンの左キーが押されると、前の画像ファイルが記録メディア120から読み出され、モニタ130に再生表示される。
【0054】
また、デジタルカメラ10は、ホスト機器へのUSB接続をトリガとして、その動作モードを通信モードに移行する。通信モードとしては、パーソナルコンピュータ(PC)に接続されて、PCからリムーバブルディスク(マスストレージデバイス)として認識させる「PCモード」と、プリンタに接続されて、プリンタに対して記録メディア120に記録されている画像をプリントさせる「ダイレクトプリントモード」とを備えている。通信制御部122は、設定された通信モードの下で所定のコマンド形式に従ったデータの送受信を行なう。
【0055】
デジタルカメラ10のカメラボディにはレンズ14の前方に指向性を有するアンテナを備えた無線タグセンサ121が設けられており、被写体3a、3b、3cに取り付けられた無線タグ2a、2b、2cから送信された無線信号を受信してこれを検知する。無線タグセンサ121がレンズ14後方の無線タグ2からの無線信号を受信しないように、無線タグセンサ121のレンズ14後方側に電磁シールドフィルムなどを貼付してもよい。RSSI回路123は、無線タグセンサ121の受信した無線信号の強度を検出してCPU100に出力する。無線タグリーダ113は無線タグセンサ121の受信した無線信号から無線タグ2に記録されている情報(以下無線タグ情報という)を読み出してCPU100に出力する。測距部124はピントを合わせた被写体までの距離を測定する手段であり、例えば、CCD108から出力された信号中の高周波成分に基づいて被写体像の鮮鋭度を示すAF評価値(焦点評価値)を検出し、この焦点評価値が極大となるようにレンズの合焦位置を設定した際のレンズ位置から被写体像までの距離を算出する手段である。あるいは、ピントを合わせた被写体に光を発して被写体に反射して戻ってきた光を受光し、発光部と受光部のなす角から被写体までの距離を検出する三角測距センサなどであってもよい。
【0056】
[プリント端末]
図3は、プリント端末70の内部構成を示すブロック図である。
【0057】
画像を記録した記録メディア120が挿入されると、ハードディスクコントローラ74は、ハードディスク(HDD)75に記録されている制御ソフトウェアをプログラムメモリ71にロードする。記録メディア120には、画像データが所定の形式で圧縮された状態で記録されており、CPU72は、メディアリーダコントローラ51に画像データの読み出しを指示して記録媒体50から所要の画像データを取得すると、画像処理部61によりこの画像データを伸張して元の画像データに復元し、更に、画像処理部61で所要の画像処理を施してその画像データをワークメモリ76に記憶させる。
【0058】
顧客は、プリントする画像の選択、プリント枚数、プリント種類など、プリント注文に関する各種の情報をタッチパネル98から入力する。プリントの種類としては、<デジカメプリント/分割プリント/シールプリント/インデックスプリント>などを指定できる。なお、分割プリントについては画面分割数として、<16分割/4分割/2分割/分割無し>などを指定できる。プリントサイズについては、<カードサイズ/Lサイズ/CDサイズ/2Lサイズ>などを選択できる。以下、タッチパネル98から入力されたプリント注文に関する情報を注文情報という。
【0059】
プリントサイズ、プリント枚数などの注文情報は、顧客がタッチパネル98の所望位置を押圧することでその位置に対応した電気信号に変換され、タッチパネルインターフェイス(I/F)部97を介してCPU72に入力される。
【0060】
入力された情報は表示装置80に表示される。表示装置80は、表示制御部78によって作動される。コインマシン64は、投入された硬貨の種類や枚数を検出して投入金額を算出して電気信号に変換し、コインマシンI/F部63を介してCPU72に入力する。CPU72は、顧客が必要な金額を投入したかどうかを確認する。必要な金額が投入されたら、プリントデータ処理部91は、ワークメモリ76に格納されている画像データからプリントジョブデータを作成し、プリンタI/F部62を介してプリントジョブデータを各プリンタ90に送る。これらの一連の制御はCPU72が行う。
【0061】
各プリンタ90は、TA方式と呼ばれる印画方式を採用したもので、熱を加えると発色し、所定の波長の光を照射すると定着するという特性を有するTAペーパーを使用する。
【0062】
プリントが終了すると、コインマシン64への投入金額及び返却した釣り銭額などが記載されたレシートがレシートプリンタ92から出力される。レシートプリンタ92がプリントする内容はCPU72がレシートプリンタI/F部93を介して指令する。
【0063】
プリント端末70は、無線タグセンサ73、無線タグリーダ73a、RSSI回路73bを備える。これらの無線タグセンサ73、無線タグリーダ73a、RSSI回路73bは、上記デジタルカメラ10の無線タグセンサ121、無線タグリーダ113、RSSI回路123と同様である。
【0064】
図4は、プリント端末70の要部構成図である。プリント端末は、主に画像蓄積部75a、被写体検索部72a、被写体情報蓄積部75b、顔認識・比較部72b、参照情報蓄積部75c、画像表示・選択部72c、課金部72d、プリント注文部72e、及びプリント部72fから構成される。このうち、画像蓄積部75a、被写体情報蓄積部75b、参照情報蓄積部75cは、HDD75に備えられる。被写体検索部72a及び顔認識・比較部72bはCPU72が実行するプログラムにより構成される。
【0065】
画像表示・選択部72cは、表示装置80に対し画像を表示制御し、タッチパネル98からの操作入力を受け付けるプログラム、表示制御部78、表示装置80、タッチパネルI/F97、及びタッチパネル98により構成される。
【0066】
課金部72dは、プリントの費用を算出し、ユーザが投入した金額の計算及び釣り銭処理を行うプログラム及びコインマシンI/F63、コインマシン64により構成される。
【0067】
プリント注文部72eは、画像表示・選択部72cが受け付けたユーザの指定する画像を画像蓄積部75aから読み出してプリンタ部90にプリント指示を送る。プリント注文部72eは、画像の読みだし及びプリント指示を行うプログラム及びプリントデータ処理部91により構成される。
【0068】
プリント部72fは、ユーザが選択した画像をプリントする。プリント部72fは、プリンタ90の制御を行い、画像をプリントした写真を投出するプログラム及びプリンタI/F62、プリンタ90により構成される。
【0069】
上記プログラムは、HDD75に格納され、CPU72が実行時に適宜読み出してプログラムメモリ71にロードして実行する。
【0070】
[デジタルカメラの実行する処理]
以下、図5のフローチャートに基づき、デジタルカメラ10の実行する撮影処理の流れを説明する。この処理はデジタルカメラ10の被写体3a、3b、3cに取り付けられた無線タグ2a、2b、2cの無線タグ情報を、被写体3a〜3cを撮影した画像ファイルのヘッダ部分に記憶する。この処理は、無線タグセンサ121が無線タグ2a〜2cの無線信号を検出したときに開始する。
【0071】
S1では、RSSI回路123は無線タグ2a〜2cから送信された無線信号の強度を検出してCPU100に出力する。S2では、無線タグリーダ113が無線タグ2a〜2cの無線信号から無線タグ情報を読み取る。S3では、CPU100は、S1で検出した強度とS2で各無線タグ2a〜2cから読み取った無線タグ情報とを対応づけた強度情報をRAM104に記憶する。図6(a)は強度情報の一例を示す。この図に示すように、強度情報では、3つの被写体3a〜3cにそれぞれ取り付けられている無線タグ2a〜2cから読み取った無線タグ情報である情報1〜3と、情報1〜3を読み取った無線信号の強度とが対応している。即ち、画像中の被写体3a〜3cの遠近と強度情報に含まれる強度の強弱を比較することで、被写体と無線タグ情報との対応が分かる。
【0072】
S4では、操作部106のシャッターボタンの半押し操作を検知し、この検知に応じてオートフォーカスフレームAFの囲む撮影位置の被写体3aにフォーカスロック(焦点のロック、合焦)する。以下、フォーカスロックされた被写体3aを主要被写体と表すこともある。図7はフォーカスロックされた際のスルー画像及びオートフォーカスフレームAFの表示例を示している。この図では、オートフォーカスフレームAFが被写体3aに位置する状態で半押し操作され、被写体3aに合焦されている。なお、オートフォーカスフレームAFのモニタ130上の表示位置はモニタ130の中心であってもよいし、十字ボタンで上下左右にスクロールさせることで任意の位置(例えば図7のようにモニタ130の中心よりもやや左に移動した位置)に移動できるようにしてもよい。そして、この後でシャッターボタンを半押しすることで、移動したオートフォーカスフレームAFの示す撮影位置の被写体にフォーカスロックしてもよい。以下、合焦後のオートフォーカスフレームAFの示す撮影位置を主要被写体位置という。
【0073】
図7では主要被写体位置の一例として、モニタ130の左下隅を原点Oとするモニタ130上のXY平面におけるフォーカスロックしたオートフォーカスフレームAFの中心の位置(X0,Y0)を示している。即ち、主要被写体位置により合焦された被写体3b、3cの位置が分かる。なお、OSD信号発生回路により、無線タグ2a〜2cが検出されたこと及び検出された無線タグが送信する無線信号の強度を示すマーカーをモニタ130に表示してもよい。図7では3つの無線タグ2a〜2cが送信する無線信号の強度を示すマーカーMK1〜MK3がモニタ130に表示されている。
【0074】
S5では、測距部124は主要被写体までの距離を算出する。例えば、図7のように被写体3aにフォーカスロックした場合は被写体3aまでの距離を算出する。S6では、シャッターボタン全押し検知に応じて記録用の画像データの取り込みが開始される。記録用の画像データは所定フォーマットの画像ファイルのデータ部分に記録される。S7では、CPU100は、RAM104の強度情報を画像ファイルのヘッダ部分に記憶する。一例として、画像ファイルがヘッダ部分にタグを有するExif形式の画像ファイルの場合、所定のタグ(UserCommentタグなど)に強度情報を記憶すればよい。
【0075】
S8では、CPU100は、主要被写体までの距離に対応する無線信号の強度をROM102に記憶された強度距離対応情報に基づいて特定する。図6(b)は強度距離対応情報の一例である。強度距離情報は測距部124から無線タグ2a〜2cまでの距離と無線タグ2a〜2cの送信する無線信号の強度との対応を規定している。図6(b)では一例として、強度「強」には距離「0〜50cm(0cm以上50cm未満)」、強度「中」には距離「50〜100cm(50cm以上100cm未満)」、強度「弱」には距離「100cm〜∞(100cm以上)」が対応しているが、強度距離対応情報による距離と強度との対応の規定の仕方は上記に限定されず、距離と強度とが比例関係などで対応した数式などであってもよい。次に、CPU100は、上記特定した無線信号の強度に対応する無線タグ情報を強度情報から特定することで、主要被写体に取り付けられた無線タグ2に記録された無線タグ情報である主要被写体無線タグ情報を特定する。そして、CPU100は、主要被写体無線タグ情報と主要被写体位置とを対応づけた主要被写体情報を画像ファイルのヘッダ部分に記憶する。図6(c)は主要被写体情報の一例である。この図では、合焦された被写体3aの被写体位置(X0,Y0)と被写体3aに取り付けられたタグ2aから読み取られた情報1(即ち主要被写体無線タグ情報)とが対応している。主要被写体情報と画像を比較すれば、画像中の合焦した被写体3aの位置とその被写体3aの無線タグ情報の関係が分かる。
【0076】
[プリント端末の実行する処理]
以下、図8のフローチャートに基づき、プリント端末70の実行する検索及びプリント処理の流れを説明する。この処理はデジタルカメラ10が被写体3a〜3cに取り付けられた無線タグ2a〜2cの無線タグ情報と被写体の画像とが関連づけた画像データが記録された記録メディア120が、プリント端末70のメディアスロットに挿入されたときに開始する。
【0077】
S10では、プリント端末70は、デジタルカメラ10が撮像した画像を画像蓄積部75aに蓄積する。
【0078】
S11では、タグ情報と、そのタグ情報が示す被写体の顔画像とを関連付けてプリント端末70に記録する(S11)。ユーザは、プリントを所望する被写体3a〜3cに付した無線タグ2a〜2cのタグ情報をプリント端末70の無線タグリーダ73に読み取らせる。更に、被写体3a〜3cの顔画像を記録メディア120から読み出し、無線タグ2a〜2cのタグ情報と被写体3a〜3cの顔画像とを対応付けて被写体情報蓄積部75b及び参照情報蓄積部75cに蓄積させる。タグ情報と顔画像とをデータベースとして構成し、画像蓄積部75aに格納してもよい。
【0079】
S12では、被写体検索部72aは、被写体情報蓄積部75bから被写体を示すタグ情報を読み出し、画像蓄積部75aに蓄積された画像群のうちタグ情報と関連づけられている画像を抽出する(S12)。以下、S12で抽出された画像群を第一画像グループという。
【0080】
S13では、顔認識・比較部72bは、第一画像グループの中から、被写体の顔が正面を向き、かつ所定の大きさで写っている画像群を抽出する(S13)。顔認識・比較部72bは、画像から検索対象領域を抽出する領域抽出部と抽出領域の面積を測定する測定部と比較部とにより構成される。領域抽出部は、第一画像グループの画像に対して顔領域検出処理を行う。顔領域の検出は、肌色検出処理を用いてもよい。次に、測定部は、その肌色領域の画素数を計測する。測定部は、所定の閾値以上の画素数がある顔領域の画像を比較部に渡す。比較部は、参照情報蓄積部75cから所望する被写体の顔画像を読み出し、第一画像グループに含まれる個々の画像から抽出した顔領域と、被写体の顔画像とを比較し、被写体の顔画像が含まれている画像を抽出する。以下、S14で抽出された画像群を第二画像グループという。
【0081】
図9及び10に基づいてS13の処理を説明する。図9の撮影画像A及び図10の撮影画像Bは、被写体として「山田太郎」、「青木一郎」、「富士花子」を指定した場合の第一画像グループに属する撮影画像である。撮影画像A及びBは、共に「山田太郎:たけ組:5歳」、「青木一郎:もも組:4歳」、「富士花子:きく組:6歳」の三人が写っている。第一画像グループでは、顔領域の大小及び向きを問わず、三人が写っている画像は全て抽出されている。
【0082】
しかし図9の撮影画像Aは、三人は全て正面を向いているが、山田太郎のみが所定の大きさで写っており、青木一郎及び富士花子は所定の大きさよりも小さく写っている。この場合、顔認識・比較部72bは、撮影画像Aと参照画像(山田太郎、青木一郎及び富士花子の顔画像)とを比較し、「山田太郎」は「一致」と判断し、「青木一郎」及び「富士花子」は「不一致」と判断する。その結果、「山田太郎」を指定した場合の第二画像グループには撮影画像Aが含まれるが、「青木一郎」及び「富士花子」を指定した場合の第二画像グループには撮影画像Aが含まれない。図10では、「青木一郎」及び「富士花子」は正面を向いているが、「山田太郎」は後ろを向いている。この場合、顔認識・比較部72bは、「山田太郎」は後ろ向きであるため「不一致」と判断し、「青木一郎」は所定の大きさよりも小さいため「不一致」と判断し、「富士花子」は「一致」と判断する。
【0083】
S14では、顔認識・比較部72bは、認識した結果に基づいて各画像について被写体の顔が写っているか否かを示す相対表を作成する(S15)。図11は相対表の例を示す模式図である。相対表は、撮影画像に顔が写っていることを○印で、撮影画像に被写体が写っているが、顔が鮮明に写っていないことを△印で示す。例えば、S14では撮影画像Aは山田太郎のみが「一致」と判断され、「青木一郎」及び「富士花子」は「不一致」と判断されたため、撮影画像Aについて「山田太郎」は○、「青木一郎」及び「富士花子」は△が入力される。
【0084】
S15では、ユーザは、プリントを所望する被写体の検索条件を入力する(S15)。S11で入力された三人の被写体3a〜3cのうち、プリントしたい被写体を選択するために、ユーザはタッチパネル98からプリントを所望する被写体を特定するための条件、例えば被写体の名前を入力する。また、画像表示・選択部72cが、S11で読みこんだ顔画像を表示装置80に表示し、ユーザに選択させてもよい。
【0085】
S16では、画像表示・選択部72cは、相対表を参照し、S15で入力された検索条件に合う被写体の画像、又はそのサムネイル画像を表示装置80に表示する(S16)。相対表を参照した結果、顔が写っている画像数、すなわち相対表において○印の画像の数が少ない場合、例えば3枚以下のときは、被写体が写っている画像である△印の画像を表示してもよい。
【0086】
S17では、ユーザは、タッチパネル98からプリントを所望する画像を選択する(S17)。
【0087】
S18では、課金部72dは、ユーザが選択した画像の枚数に基づいてプリント費用を算出し、課金処理する。
【0088】
S19では、プリント注文部72eは、ユーザが選択した画像を画像蓄積部75aから読み出し、プリント部72fは、プリント注文部72eからの指示に従い、画像プリント処理を行う。
【0089】
本実施形態により、ユーザがプリント端末70でプリントを所望する画像を選ぶ際に、所望する被写体が前を向いており、かつ適切な大きさで写っている画像だけが表示装置80に表示され、画像の選択が容易に行える。また、プリント端末70におけるユーザの画像選択時間が短縮されることにより、プリント端末の設置台数を減らすことができる。
【0090】
本実施形態では、S14において相対表を作ったが、S13の比較結果の記憶だけを行い、S16でその結果を参照することにより相対表を作成する処理を省いてもよい。また、本実施形態ではS15においてプリントを所望する被写体を特定するための検索条件を入力したが、S11において一の被写体、例えば3aのみのタグ情報及び外見的特徴画像を読みこんだ場合には、S15を省略してもよい。
【0091】
なお、本実施形態では、所望する被写体が正面を向いていることを判断するために顔画像を用いたが、正面から見た髪型や被写体が着用している服を正面から見た模様に基づいて被写体の向きや大きさを判断してもよい。
【0092】
<第二実施形態>
第二実施形態は、デジタルカメラ10において撮影画像を検索する実施形態である。本実施形態に係るデジタルカメラ10は、撮像した画像の中から、所望する被写体が所望する大きさ及び向きで写っている画像を検索することができるデジタルカメラである。
【0093】
図12は、デジタルカメラ10の要部構成図である。デジタルカメラ10は、主に無線タグセンサ121、撮影部101、画像蓄積部116a、被写体検索部100a、被写体情報蓄積部116b、顔認識・比較部100b、参照情報蓄積部116c、画像表示・選択部100c、及び選択画像送出部100dから構成される。このうち、撮像部101は、レンズ14、CCD108、アナログ信号処理110により構成される。
【0094】
画像蓄積部116a、被写体情報蓄積部116b、参照情報蓄積部116cは、画像記録部116及び記録メディア120に備えられる。被写体検索部100a及び顔認識・比較部100bはCPU100が実行するプログラムにより構成される。
【0095】
選択画像送出部100dは、電子アルバムサーバ41、他のデジタルカメラ42、カメラ付き携帯電話43、及びプリンタ44の他の装置に画像を送出するための構成であって、機器間接続、有線及び無線接続して画像を送出する場合は、USBコネクタや無線送受信部などの通信I/F132が相当する。また記録メディア120に画像を記録させることにより画像を送出するときにはメディア1/F118及び記録メディア120が相当する。画像蓄積部116a、被写体検索部100a、被写体情報蓄積部116b、顔認識・比較部100b、参照情報蓄積部116c、画像表示・選択部100c、は第一実施形態と同様の処理を実行する。
【0096】
本実施形態により、デジタルカメラ10で撮像した画像から所望する被写体が称する向き及び大きさで撮像されている画像のみを検索することができる。
【0097】
<その他の実施形態>
ユーザの自宅パソコン、電子アルバムサーバ41、カメラ付携帯電話43に、上記被写体検索部72a、顔認識・比較部72b、画像表示・選択部72cを構成するプログラムをインストールすることにより、所望する被写体が所定の大きさで前を向いて写っている写真の検索が行える。また、自宅パソコンから検索した画像をインターネットを介してプリント事業者の端末装置46に送り、プリントを注文してもよい。更に、家庭用プリンタ装置に本発明を適用し、デジタルカメラ10やカメラ付携帯電話43とプリンタ装置とを有線又は無線通信で接続し、デジタルカメラ10やカメラ付携帯電話43から得た画像データから写真の検索を行ってプリントとしてもよい。
【図面の簡単な説明】
【0098】
【図1】本発明を適用したプリント注文システム1の全体構成を示す図
【図2】デジタルカメラ10の内部の概略構成を示すブロック図
【図3】プリント端末70の内部構成を示すブロック図
【図4】プリント端末70の要部構成図
【図5】デジタルカメラ10の実行する撮影処理の流れを説明するフローチャート
【図6】図6(a)は強度情報の一例、図6(b)は強度距離対応情報の一例、図6(c)は主要被写体情報の一例を示す模式図
【図7】主要被写体位置の一例を示す模式図
【図8】プリント端末70の処理の流れを示すフローチャート
【図9】顔認識・比較部の処理を示す模式図
【図10】顔認識・比較部の処理を示す模式図
【図11】顔認識・比較部が生成する相対表を示す模式図
【図12】第二実施形態に係るデジタルカメラ10の要部構成図
【符号の説明】
【0099】
1:プリント注文システム、2a:無線タグ、2b:無線タグ、2c:無線タグ、3a:被写体、3b:被写体、3c:被写体、10:デジタルカメラ、70:店頭プリント端末装置
【特許請求の範囲】
【請求項1】
被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取部と、
検索対象の被写体を示す識別情報及び前記検索対象の被写体の外見的特徴画像を入力するための入力部と、
前記読取部が読み取った画像データの中から、前記識別情報が関連づけられている画像を抽出する第一抽出部と、
前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、
を備えたことを特徴とする画像検索装置。
【請求項2】
前記画像データは、前記被写体にその被写体を固有に識別可能なタグ情報を記憶した無線タグを取り付けて撮像装置により撮影して得られた画像と、前記撮像装置が前記無線タグから受信した前記タグ情報とが関連づけられた画像データである、
ことを特徴とする請求項1に記載の画像検索装置。
【請求項3】
前記第二抽出部は、前記第一抽出部が抽出した画像に含まれる前記外見的特徴画像に相当する領域を抽出する領域抽出部と、前記領域の面積を測定する測定部と、所定の閾値以上の領域面積がある場合にのみ前記抽出した領域と前記外見的特徴画像との比較を行う比較部と、を備える、
ことを特徴とする請求項1又は2に記載の画像検索装置。
【請求項4】
前記第二抽出部は、前記第一抽出部が抽出した画像に含まれる前記外見的特徴画像に相当する領域を抽出する領域抽出部と、前記抽出した領域と前記外見的特徴画像との比較を行う比較部と、前記比較部により、前記外見的特徴画像と一致すると判断された画像に含まれる前記領域の面積を測定する測定部と、を備える、
ことを特徴とする請求項1又は2に記載の画像検索装置。
【請求項5】
前記外見的特徴画像は、前記所望する被写体の顔、前記被写体の所望する向きにおける髪型又は服を撮像した画像である、
ことを特徴とする請求項1乃至4の何れか一つに記載の画像検索装置。
【請求項6】
前記第二抽出部は、抽出した画像とその画像における前記被写体の鮮明度とを関連づけた相対表を生成する生成部を更に備え、
前記相対表において所定の鮮明度があると規定された画像又はその画像のサムネイル画像を表示する表示部を更に備える、
ことを特徴とする請求項1乃至5の何れか一つに記載の画像検索装置。
【請求項7】
前記入力部は、検索対象として複数の被写体のそれぞれに関連付けられた識別情報及び前記各被写体の外見的特徴画像の入力を受けつけ、
前記複数の被写体のうち、所望する被写体を選択するための被写体選択部を更に備え、
前記表示部は、前記選択された被写体の画像又はその画像のサムネイル画像を表示する、
ことを特徴とする請求項6に記載の画像検索装置。
【請求項8】
前記表示部に表示された画像又はサムネイル画像のうち、所望する画像を選択するための画像選択部を更に備える、
ことを特徴とする請求項6又は7に記載の画像検索装置。
【請求項9】
被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取部と、
検索対象の被写体を示す識別情報及び前記検索対象の被写体の外見的特徴画像を入力するための入力部と、
前記読取部が読み取った画像データの中から、前記識別情報が関連づけられている画像を抽出する第一抽出部と、
前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、
前記第二抽出部が抽出した画像をプリントするプリンタ部と、
を備えたことを特徴とする画像プリント装置。
【請求項10】
被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取部と、
プリントを所望する被写体を識別するための前記識別情報及び前記プリントを所望する被写体の外見的特徴画像を入力するための入力部と、
前記読取部が読み取った画像データの中から、前記入力部により入力された識別情報と関連付けられた画像を抽出する第一抽出部と、
前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、
前記第二抽出部が抽出した画像を表示する表示部と、
前記画像のプリントに要する費用を算出し、決済処理する課金部と、
を備えることを特徴とするプリント注文システム。
【請求項11】
前記表示部に表示された画像の中からプリントを所望する画像を選択するための画像選択部を更に備え、
前記課金部は、前記画像選択部により選択された画像のプリントに要する費用を算出し、決済処理する、
ことを特徴とする請求項10に記載のプリント注文システム。
【請求項12】
被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取部と、
プリントを所望する被写体を識別するための前記識別情報及び前記プリントを所望する被写体の外見的特徴画像を入力するための入力部と、
前記読取部が読み取った画像データの中から、前記入力部に入力された識別情報と関連付けられた画像を抽出する第一抽出部と、
前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、
前記第二抽出部が抽出した画像を表示する表示部と、
前記画像のプリントに要する費用を算出し、決済処理する課金部と、
前記画像のプリント処理を行うプリント部と、
を備えることを特徴とする店頭プリント端末装置。
【請求項13】
前記表示部に表示された画像の中からプリントを所望する画像を選択するための画像選択部を更に備え、
前記課金部は、前記画像選択部により選択された画像のプリントに要する費用を算出して決済処理し、
前記プリント部は、前記選択された画像のプリントを行う、
ことを特徴とする請求項12に記載の店頭プリント端末装置。
【請求項14】
被写体に取り付けられた無線タグからの無線信号を受信する受信部と、
受信した前記無線信号から前記無線タグに記録されたタグ情報であって、前記被写体を固有に識別可能なタグ情報を読み取るタグ情報読取部と、
前記被写体を撮像する撮像部と、
前記無線タグから読み取ったタグ情報と前記撮像部の撮像した画像とを対応づけて記憶する第一記憶部と、
前記第一記憶部の画像の中から、前記画像に関連づけられた前記タグ情報に基づいて、所望する被写体が撮像されている画像を抽出する第一抽出部と、
前記所望する被写体の外見的特徴画像を取得する取得部と、
前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、
前記第二抽出部が抽出した画像を表示する表示部と、
を備えたことを特徴とする撮像装置。
【請求項15】
被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取ステップと、
検索対象の被写体を示す識別情報及び前記検索対象の被写体の外見的特徴画像を入力するための入力ステップと、
前記読取ステップにおいて読み取られた画像データの中から、前記入力ステップにおいて入力された識別情報が関連づけられている画像を抽出する第一抽出ステップと、
前記第一抽出ステップにおいて抽出された画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出ステップと、
をコンピュータに実行させることを特徴とする画像検索プログラム。
【請求項16】
被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取ステップと、
前記識別情報及び前記検索対象の被写体の外見的特徴画像を入力するための入力ステップと、
前記読取ステップにおいて読み取られた画像データの中から、前記入力ステップにおいて入力された識別情報が関連づけられている画像を抽出する第一抽出ステップと、
前記第一抽出ステップにおいて抽出された画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出ステップと、
を含むことを特徴とする画像検索方法。
【請求項1】
被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取部と、
検索対象の被写体を示す識別情報及び前記検索対象の被写体の外見的特徴画像を入力するための入力部と、
前記読取部が読み取った画像データの中から、前記識別情報が関連づけられている画像を抽出する第一抽出部と、
前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、
を備えたことを特徴とする画像検索装置。
【請求項2】
前記画像データは、前記被写体にその被写体を固有に識別可能なタグ情報を記憶した無線タグを取り付けて撮像装置により撮影して得られた画像と、前記撮像装置が前記無線タグから受信した前記タグ情報とが関連づけられた画像データである、
ことを特徴とする請求項1に記載の画像検索装置。
【請求項3】
前記第二抽出部は、前記第一抽出部が抽出した画像に含まれる前記外見的特徴画像に相当する領域を抽出する領域抽出部と、前記領域の面積を測定する測定部と、所定の閾値以上の領域面積がある場合にのみ前記抽出した領域と前記外見的特徴画像との比較を行う比較部と、を備える、
ことを特徴とする請求項1又は2に記載の画像検索装置。
【請求項4】
前記第二抽出部は、前記第一抽出部が抽出した画像に含まれる前記外見的特徴画像に相当する領域を抽出する領域抽出部と、前記抽出した領域と前記外見的特徴画像との比較を行う比較部と、前記比較部により、前記外見的特徴画像と一致すると判断された画像に含まれる前記領域の面積を測定する測定部と、を備える、
ことを特徴とする請求項1又は2に記載の画像検索装置。
【請求項5】
前記外見的特徴画像は、前記所望する被写体の顔、前記被写体の所望する向きにおける髪型又は服を撮像した画像である、
ことを特徴とする請求項1乃至4の何れか一つに記載の画像検索装置。
【請求項6】
前記第二抽出部は、抽出した画像とその画像における前記被写体の鮮明度とを関連づけた相対表を生成する生成部を更に備え、
前記相対表において所定の鮮明度があると規定された画像又はその画像のサムネイル画像を表示する表示部を更に備える、
ことを特徴とする請求項1乃至5の何れか一つに記載の画像検索装置。
【請求項7】
前記入力部は、検索対象として複数の被写体のそれぞれに関連付けられた識別情報及び前記各被写体の外見的特徴画像の入力を受けつけ、
前記複数の被写体のうち、所望する被写体を選択するための被写体選択部を更に備え、
前記表示部は、前記選択された被写体の画像又はその画像のサムネイル画像を表示する、
ことを特徴とする請求項6に記載の画像検索装置。
【請求項8】
前記表示部に表示された画像又はサムネイル画像のうち、所望する画像を選択するための画像選択部を更に備える、
ことを特徴とする請求項6又は7に記載の画像検索装置。
【請求項9】
被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取部と、
検索対象の被写体を示す識別情報及び前記検索対象の被写体の外見的特徴画像を入力するための入力部と、
前記読取部が読み取った画像データの中から、前記識別情報が関連づけられている画像を抽出する第一抽出部と、
前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、
前記第二抽出部が抽出した画像をプリントするプリンタ部と、
を備えたことを特徴とする画像プリント装置。
【請求項10】
被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取部と、
プリントを所望する被写体を識別するための前記識別情報及び前記プリントを所望する被写体の外見的特徴画像を入力するための入力部と、
前記読取部が読み取った画像データの中から、前記入力部により入力された識別情報と関連付けられた画像を抽出する第一抽出部と、
前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、
前記第二抽出部が抽出した画像を表示する表示部と、
前記画像のプリントに要する費用を算出し、決済処理する課金部と、
を備えることを特徴とするプリント注文システム。
【請求項11】
前記表示部に表示された画像の中からプリントを所望する画像を選択するための画像選択部を更に備え、
前記課金部は、前記画像選択部により選択された画像のプリントに要する費用を算出し、決済処理する、
ことを特徴とする請求項10に記載のプリント注文システム。
【請求項12】
被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取部と、
プリントを所望する被写体を識別するための前記識別情報及び前記プリントを所望する被写体の外見的特徴画像を入力するための入力部と、
前記読取部が読み取った画像データの中から、前記入力部に入力された識別情報と関連付けられた画像を抽出する第一抽出部と、
前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、
前記第二抽出部が抽出した画像を表示する表示部と、
前記画像のプリントに要する費用を算出し、決済処理する課金部と、
前記画像のプリント処理を行うプリント部と、
を備えることを特徴とする店頭プリント端末装置。
【請求項13】
前記表示部に表示された画像の中からプリントを所望する画像を選択するための画像選択部を更に備え、
前記課金部は、前記画像選択部により選択された画像のプリントに要する費用を算出して決済処理し、
前記プリント部は、前記選択された画像のプリントを行う、
ことを特徴とする請求項12に記載の店頭プリント端末装置。
【請求項14】
被写体に取り付けられた無線タグからの無線信号を受信する受信部と、
受信した前記無線信号から前記無線タグに記録されたタグ情報であって、前記被写体を固有に識別可能なタグ情報を読み取るタグ情報読取部と、
前記被写体を撮像する撮像部と、
前記無線タグから読み取ったタグ情報と前記撮像部の撮像した画像とを対応づけて記憶する第一記憶部と、
前記第一記憶部の画像の中から、前記画像に関連づけられた前記タグ情報に基づいて、所望する被写体が撮像されている画像を抽出する第一抽出部と、
前記所望する被写体の外見的特徴画像を取得する取得部と、
前記第一抽出部が抽出した画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出部と、
前記第二抽出部が抽出した画像を表示する表示部と、
を備えたことを特徴とする撮像装置。
【請求項15】
被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取ステップと、
検索対象の被写体を示す識別情報及び前記検索対象の被写体の外見的特徴画像を入力するための入力ステップと、
前記読取ステップにおいて読み取られた画像データの中から、前記入力ステップにおいて入力された識別情報が関連づけられている画像を抽出する第一抽出ステップと、
前記第一抽出ステップにおいて抽出された画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出ステップと、
をコンピュータに実行させることを特徴とする画像検索プログラム。
【請求項16】
被写体の画像と、その被写体を固有に識別可能な識別情報と、が関連づけられた画像データを読み取る読取ステップと、
前記識別情報及び前記検索対象の被写体の外見的特徴画像を入力するための入力ステップと、
前記読取ステップにおいて読み取られた画像データの中から、前記入力ステップにおいて入力された識別情報が関連づけられている画像を抽出する第一抽出ステップと、
前記第一抽出ステップにおいて抽出された画像と前記外見的特徴画像とを比較し、前記外見的特徴画像が含まれる画像を抽出する第二抽出ステップと、
を含むことを特徴とする画像検索方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2007−52646(P2007−52646A)
【公開日】平成19年3月1日(2007.3.1)
【国際特許分類】
【出願番号】特願2005−237442(P2005−237442)
【出願日】平成17年8月18日(2005.8.18)
【出願人】(000005201)富士フイルムホールディングス株式会社 (7,609)
【Fターム(参考)】
【公開日】平成19年3月1日(2007.3.1)
【国際特許分類】
【出願日】平成17年8月18日(2005.8.18)
【出願人】(000005201)富士フイルムホールディングス株式会社 (7,609)
【Fターム(参考)】
[ Back to top ]