画像情報処理装置
【課題】多量の画像データの中から、求める画像を選択する場合に、理解が容易でかつ直感的な操作で選択ができ、より柔軟な検索処理を実現する。
【解決手段】表示装置上に表示された画像に対し、ゼスチャ入力により画像の領域選択を行い、選択された領域内の画像の特徴となる項目の抽出を行い、画像を特徴づけるキー値としての画像特徴を表示装置上に表示し、さらなるゼスチャ入力でキーの選択を行い、そのキーに基づいて画像データの検索の実行を行う。
【解決手段】表示装置上に表示された画像に対し、ゼスチャ入力により画像の領域選択を行い、選択された領域内の画像の特徴となる項目の抽出を行い、画像を特徴づけるキー値としての画像特徴を表示装置上に表示し、さらなるゼスチャ入力でキーの選択を行い、そのキーに基づいて画像データの検索の実行を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報処理装置、特にプリンター装置に関する。
【背景技術】
【０００２】
カメラ付携帯電話やデジタルカメラは、一般に、撮影した画像データをＳＤ，メモリースティックなどの小型の汎用記憶媒体に保存する。一方、その汎用記憶媒体は年々、低価格、大容量化している。そのため、以前は一時的なデータ保管手段として位置づけられていたが容量の増加、価格の低下にともない記憶媒体をストレージ的に運用をする利用者も増えてきた。これは、記憶容量がさほど大きくない以前であれば、より記憶容量の大きいパーソナルコンピュータなどに必要な画像データを保管することが一般的な運用であったものが、大容量化した記憶媒体に要・不要にかかわらず、一度得た画像データをそのまま保管する傾向が見られるようになってきたためである。
【０００３】
必然的に、SD，メモリースティックなどの汎用記憶媒体をサポートしているデジタルカメラ、プリンタにおいては、記憶媒体内の大量の画像を扱う必要が出てきた。
【０００４】
特に、大量に保存された画像のなかから、求める画像を選択する機能が重要となっている。
【０００５】
画像の選択の最も一般的な方法は、装置付属のLCD表示装置に画像を表示しながら、求める画像が表示されるまで、順次画像送り動作をくり返すことであるが、操作が単純である半面、前述したように画像データが多量である場合は、非効率な操作となる。そこで、画像データのヘッダー情報に注目し、撮影時に画像とともに記憶された日付、人物の有無、撮影条件、GPS情報などの項目を、メニューなどから選択し、それをキーとして、記憶媒体内の画像データを検索し、該当する画像を本体の表示装置に表示する方法が知られている。
【０００６】
特許文献１においては、表示装置上の表示画面の任意の場所を選択し、その表示領域に見合った画像処理装置を表示装置上の選択領域近傍に表示する方法が開示されている。
【０００７】
また、特許文献２においては、選択された画像から特徴を検出し、それをキーをして画像データの検出を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−３６５８２号公報
【特許文献２】特開２００５−３１１４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、これらの操作には多くの手順、操作が必要な上、操作方法自体も複雑になる傾向があり、さらに、多量の画像から求める画像を検出するためには、より複雑な検索操作によるしかなく、ユーザー操作がより煩雑になる傾向があった。また、従来のヘッダ上の情報に注目した検索では検索機能そのものにも限界があり、ユーザーの意図した画像を得る手段としては不十分であった。
【００１０】
この問題を解決するために、理解が容易な直感的なユーザー操作方法と、より柔軟な検索方法が求めらる。
【課題を解決するための手段】
【００１１】
表示装置に対応した位置情報入力手段があって、複数のゼスチャパターンを判別可能であることが可能で、前記位置情報入力手段により指定された位置情報を対応する前記表示装置に表示中の画像の選択領域として取得する選択領域取得手段と、前記選択領域取得手段によって得られた画像データの特徴を抽出する画像特徴項目抽出手段と、前記画像特徴抽項目出手段によって得られた画像特徴を、あらかじめ指定された表示方式で前記表示装置に表示する項目表示手段と、前記項目表示手段により表示された項目を、あらかじめ指定された検索方式に準じて選択する項目選択手段と、前記項目選択手段によって選択された項目に従いあらかじめ指定された検索方式により画像データを検索する画像検索手段を備え、前記選択領域取得手段は前記位置情報入力手段からの入力が任意の一点とそれに続く連続移動軌跡によって閉画像が形成された際、その閉画像を対応する前記表示画像の選択領域として認識すること機能を備え、
さらに、前記項目表示手段は、前記画像特徴項目抽出手段からの項目を設定された検索方法に従い、複数、または一つ表示することを特徴とし、設定された表示方法に従い、文字情報またはアイコン化情報を選択的に表示することを特徴とし、
各項目を選択状態を反映した表示方法を行い、
また、前記項目選択手段は、設定された検索方法に従い、複数項目の選択または単一項目の選択を行う機能提供する。
【発明の効果】
【００１２】
本発明により、記憶媒体などに保存された多量の画像データに対し容易かつ直感的な操作で検索可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明のプリンター装置のシステム構成図である。
【図２】本発明のプリンター装置の操作パネル表した図である。
【図３】本発明の画像検索処理の動作の概要を表すフローチャートである
【図４】本発明のプリンター装置の操作パネル上の液晶表示装置に対し、領域選択を行う様子を表す図である。
【図５】本発明のプリンター装置の操作パネル上の液晶表示装置にキー値が表示されることを表す図である。
【図６】本発明のプリンター装置のゼスチャ入力処理を表すフローチャートである。
【図７】本発明のプリンタ装置のキー値選択ゼスチャを表す図である。
【図８】本発明のプリンター装置の操作パネル上の液晶表示装置に対し、領域選択をキャンセルするゼスチャを表す図である。
【図９】本発明のプリンター装置の第2の実施例の操作パネル上の液晶表示装置にキー値が表示されることを表す図である。
【図１０】本発明のプリンター装置の第2の実施例のゼスチャ入力処理を表すフローチャートである。
【図１１】本発明のプリンター装置の第2の実施例のキー値追加ゼスチャを表す図である。
【図１２】本発明のプリンター装置の第2の実施例の領域選択をキャンセルするゼスチャを表す図である。
【図１３】本発明のプリンター装置のその他の実施例のキー値表示を表す図である。
【発明を実施するための形態】
【００１４】
［実施例１］
以下、図面を参照して本発明の実施例を説明する。
【００１５】
図1は本発明のプリンター装置のシステム構成図である。
【００１６】
１０１は利用者からの操作を受け付ける一連の操作部材の入力制御を行う入力部材制御部であり、電源ボタン、印刷ボタン、スタンプ編集ボタン、画像送りボタン、印刷枚数選択ボタンおよび、後述する表示装置１０４と一体化した接触検知センサーからなる。
【００１７】
１０２は対象画像の読み出し、表示、印刷データへの展開と印刷制御シーケンスの実行など、システム全体の制御を行うシステムプログラムコードの実行を行うCPUである。
【００１８】
１０３は主記憶装置であり、CPU１０２で実行されるシステムプログラムの作業領域、表示装置１０４に表示するイメージデータのvram領域、印画データの展開領域、内部記憶装置１０８、外部記憶媒体制御部１０６の入出力バッファなどに用いられる。
【００１９】
１０４は表示部であり、内部記憶１０８あるいは外部記憶制御部１０９から読み込んだ画像データの表示、さらに、ユーザー操作による選択した画像データの編集操作や、本体の設定などのユーザーインターフェイスの提供を行う。
【００２０】
１０５は印刷制御部であり、印画ヘッドと用紙搬送機からなり、CPU１０２からの制御により、印画動作と用紙搬送を行う。
【００２１】
１０６は外部記憶媒体制御部であり、携帯電話、デジタルカメラなどで作成された画像データを印画可能とするために、SD、メモリースティック、ＣＦコンパクトフラッシュをサポートし、それぞれの外部記憶媒体のスロットと入出力制御回路からなる。
【００２２】
１０７は内部記憶装置フラッシュメモリであり、CPU１０２で実行されるシステムプログラム、ユーザーインターフェイスでもちられる文字フォントなどのリソースデータ、などがインストールされている。
【００２３】
以上が図１の説明である。
【００２４】
次に、図１および図２を用い、本発明のプリンター装置のシステムプログラムの動作について説明する。
【００２５】
図２は本発明のプリンター装置の操作パネルを表す図である。利用者はまず操作部材制御部１０１の構成要素である電源ボタン２０２を押下し、システムの起動を図る。CPU１０２はフラッシュメモリ１０７内のシステムプログラムを逐次実行し、一連のシステムの初期化を行う。その後、システムプログラムは外部記憶媒体制御部１０６を通じ、現在装着されている記憶媒体のなかから、SD、CF、メモリースティックの優先順位で最優先の記憶媒体のみをマウントする。
【００２６】
システムプログラムはマウントされた記憶媒体内のファイルの走査を行い、画像データと認識されるデータを発見すると、外部記憶媒体制御部１０６を通じ読み出された画像データを主記憶装置１０３上に展開し、さらに表示用データに変換の後、主記憶装置１０３上に配置された表示用VRAM上に展開し、表示部１０４即ち図２においては液晶表示装置２０４に対し画像データの表示を行う。２０４は液晶表示装置であると同時に操作部材制御部１０１の構成要素であるタッチセンサーである。２０３はタッチペンであり、前述した２０４タッチセンサーへの入力を行う。
【００２７】
図3は本発明の画像検索処理の動作の概要を表すフローチャートである。
【００２８】
以下、図3に基づき本発明の画像検索処理の概要を説明する。
【００２９】
前述したように、図２の液晶表示装置２０４に記憶媒体内の特定の画像が表示されている状態で、図2のEDITボタン２０６を押下すると本処理が起動され、システムプログラムは画像検索モードに入ると同時に選択領域指定処理３０１が起動される。この状態で利用者からタッチペン２０３で液状表示装置２０４上の画像に対し図4の４０１のような閉画像を描くことによって画像の部分領域を指定されると、選択領域指定処理３０１は液晶表示装置上の閉画像の座標から対応する本画像の領域を得る。
【００３０】
表示対象画像上の選択領域が得られると、キー項目抽出処理３０２が起動され、選択領域内の画像の特徴となる項目を抽出を行う。これは、後述する画像検索処理に用いられる画像検索キーとなり得る値であって、画像内の支配的な色、存在しているオブジェクトを指定画像から抽出する処理であり、図4の液晶表示装置４０２内に描かれている図に即して説明すると、４０１を選択領域としたことによりオブジェクトとして“PERSON”支配的な色として、図内で斜線メッシュで表現されている色が抽出される。以上のように指定範囲の画像特徴が決定すると、キー項目表示処理３０３が起動され、図５に示すように液晶表示装置上の選択領域近傍の５０１、５０２のように３０２で決定されたキー値が表示される。
【００３１】
この状態で、タッチペン２０３にてタッチパネル２０４に対し後述するゼスチャ入力を行うことによって、検索キーの選択、検索動作の実行が行われる。
【００３２】
以上が本発明の画像検索処理の概要である。次に本発明の画像検索処理における項目選択、キャンセル、検索実行を指令するタッチパネル上からのゼスチャ処理についてのべる。
【００３３】
図６はゼスチャ操作による、本発明の画像検索処理の動作を表すものである。
【００３４】
６０１は入力されたゼスチャーが閉画像であるかの判定である。YESの場合は６０４で、既に閉画像入力によりキー値が表示済かの判定を行う。
【００３５】
YESすなわち、既に表示済の場合は、閉画像入力が表示済のキー値が複数であった場合は、次のキーが選択される。この動作をさらに図７にて説明すると、既に述べたように閉画像７０１を入力した結果、キー値として７０２、７０３が表示されており、キー値として７０２が選択された状態で、閉画像７０４がさらに入力されると、選択状態であった７０２が解除され７０３が選択状態となる。つまり、再度閉画像の入力で、キー値の選択を変更することが可能となる。
【００３６】
６０４でNOと判定された場合は前述したように、６０６で検索キー項目抽出処理が実行され、その結果が検索キーメニュとして６０７で表示される。
【００３７】
次に、６０１の判定がNOとなり６０２で入力ゼスチャが“Z”状であるかの判定でを行う。本処理の結果がYESであった場合はさらに６０８にて既に閉画像入力によりキー値が表示済かの判定を行う。YESの場合は領域キャンセル処理６０９にて、現在選択されている画像領域がキャンセルされ、既に抽出済のキー値を無効とし、表示も消去する。この動作をさらに図８で説明すると、既に述べたように閉画像８０１を入力した結果、キー値として８０２、８０３が表示されており、キー値として８０２が選択された状態で、“Z”状のゼスチャ８０４が入力されるとキー値はすべて、消去される。
【００３８】
次に６０２の判定がNOとなり、６０３で入力ゼスチャが“−”状であるかの判定を行う。本処理の結果がYESであった場合はさらに６１０にて既に閉画像入力によりキー値が表示済かの判定を行う。YESの場合は画像検索処理６１１が選択されたキー値用いて実行される。本処理は、入力されたキー値を前述したキー項目抽出処理と同様な論理を外部記憶媒体制御部１０６を通じ読み出し可能なすべての画像データに対し各々実施し、入力されたキー値が対象画像の特徴と一致する画像を検索するものである。
【００３９】
［実施例２］
実施例１においては、画像検索処理６１１に採用されるキー値は単一であったが複数キーの論理和で画像検索処理を実行する実施例を、以下に述べる。
【００４０】
図3は本発明の画像検索処理の動作の概要を表すフローチャートである。
【００４１】
以下、図3に基づき本発明の画像検索処理の概要を説明する。
【００４２】
前述したように、図２の液晶表示装置２０４に記憶媒体内の特定の画像が表示されている状態で、図2のEDITボタン２０６を押下すると本処理が起動され、システムプログラムは画像検索モードに入ると同時に選択領域指定処理３０１が起動される。この状態で利用者からタッチペン２０３で液状表示装置２０４上の画像に対し図4の４０１のような閉画像を描くことによって画像の部分領域を指定されると、選択領域指定処理３０１は液晶表示装置上の閉画像の座標から対応する本画像の領域を得る。
【００４３】
表示対象画像上の選択領域が得られると、キー項目抽出処理３０２が起動され、選択領域内の画像の特徴となる項目を抽出を行う。これは、後述する画像検索処理に用いられる画像検索キーとなり得る値であって、画像内の支配的な色、存在しているオブジェクトを指定画像から抽出する処理であり、図4の液晶表示装置４０２内に描かれている図に即して説明すると、４０１を選択領域としたことによりオブジェクトとして“PERSON”支配的な色として、図内で斜線メッシュで表現されている色が抽出される。以上のように指定範囲の画像特徴が決定すると、キー項目表示処理３０３が起動され、図９に示すように液晶表示装置上の選択領域近傍の９０１のように３０２で決定されたキー値のひとつが表示される。
【００４４】
この状態で、タッチペン２０３にてタッチパネル２０４に対し後述するゼスチャ入力を行うことによって、検索キーの選択、検索動作の実行が行われる。
【００４５】
以上が本発明の実施例２の画像検索処理の概要である。次に本発明の画像検索処理における項目選択、キャンセル、検索実行を指令するタッチパネル上からのゼスチャ処理についてのべる。
【００４６】
図１０はゼスチャ操作による、本発明の実施例２の画像検索処理の動作を表すものである。
【００４７】
１００１は入力されたゼスチャーが閉画像であるかの判定である。YESの場合は１００４で、既に閉画像入力によりキー値が表示済かの判定を行う。
【００４８】
YESすなわち、既に表示済の場合は、１００５にて指定選択領域から抽出されたキー値が複数あって、未表示のキー値があるか判定を行い、ある場合は１０１２にて、未表示のキー値をすでに表示済みのキー値の近傍に表示する。
【００４９】
この動作をさらに図１１にて説明すると、既に述べたように閉画像１１０１を入力した結果、キー値として１１０２が表示されており、閉画像１１０４がさらに入力されると、すでに表示されている１１０２の下に未表示であった１１０３が新たに表示される。つまり、再度閉画像の入力で、未表示であったキー値の追加が実現される。
【００５０】
１００４でNOと判定された場合は前述したように、１００６で検索キー項目抽出処理が実行され、その結果の内一つが検索キーメニュとして１００７で表示される。
【００５１】
次に、１００１の判定がNOとなり１００２で入力ゼスチャが“Z”状であるかの判定でを行う。本処理の結果がYESであった場合はさらに１００８にて既に閉画像入力によりキー値が表示済かの判定を行う。YESの場合は領域キャンセル処理１００９にて、現在選択されている画像領域がキャンセルされ、既に抽出済のキー値を無効とし、表示も消去する。この動作をさらに図１２で説明すると、既に述べたように閉画像１２０１を入力した結果、キー値として１２０２が表示されており、 “Z”状のゼスチャ１２０３が入力されるとキー値はすべて、消去される。
【００５２】
次に１００２の判定がNOとなり、１００３で入力ゼスチャが“−”状であるかの判定を行う。本処理の結果がYESであった場合はさらに１０１０にて既に閉画像入力によりキー値が表示済かの判定を行う。YESの場合は画像検索処理１０１１が選択されたキー値用いて実行される。本処理は、外部記憶媒体制御部１０６を通じ読み出し可能なすべての画像データに対し、入力されたキー値が、あるいは指定されたキー値を複数の場合であったら、それらの論理和として対象画像の特徴と一致する画像を検索するものである。
【００５３】
［その他の実施例］
前述した実施例１、実施例２においては、キー項目抽出処理３０２によって得られたキー値を文字情報として表示装置２０４上の選択領域近傍に表示をしたが、その他の実施例として、そのキー値をアイコン化して表示する実施例を以下に述べる。
【００５４】
図3に基づき本発明その他の実施例の概要を説明する。
【００５５】
前述したように、図２の液晶表示装置２０４に記憶媒体内の特定の画像が表示されている状態で、図2のEDITボタン２０６を押下すると本処理が起動され、システムプログラムは画像検索モードに入ると同時に選択領域指定処理３０１が起動される。この状態で利用者からタッチペン２０３で液状表示装置２０４上の画像に対し図4の４０１のような閉画像を描くことによって画像の部分領域を指定されると、選択領域指定処理３０１は液晶表示装置上の閉画像の座標から対応する本画像の領域を得る。
【００５６】
表示対象画像上の選択領域が得られると、キー項目抽出処理３０２が起動され、選択領域内の画像の特徴となる項目を抽出を行う。これは、後述する画像検索処理に用いられる画像検索キーとなり得る値であって、画像内の支配的な色、存在しているオブジェクトを指定画像から抽出する処理であり、図4の液晶表示装置４０２内に描かれている図に即して説明すると、４０１を選択領域としたことによりオブジェクトとして“PERSON”、支配的な色として、図内で斜線メッシュで表現されている色が抽出される。以上のように指定範囲の画像特徴が決定すると、キー項目表示処理３０３が起動され、図１３に示すように液晶表示装置上の選択領域近傍に３０２で決定された”PERSON“を象徴する人アイコン１３０１、選択領域の支配的な色として、斜線メッシュ状のアイコン１３０２が表示される。
【符号の説明】
【００５７】
１０１ 入力部材制御部
１０２ CPU
【技術分野】
【０００１】
本発明は、画像情報処理装置、特にプリンター装置に関する。
【背景技術】
【０００２】
カメラ付携帯電話やデジタルカメラは、一般に、撮影した画像データをＳＤ，メモリースティックなどの小型の汎用記憶媒体に保存する。一方、その汎用記憶媒体は年々、低価格、大容量化している。そのため、以前は一時的なデータ保管手段として位置づけられていたが容量の増加、価格の低下にともない記憶媒体をストレージ的に運用をする利用者も増えてきた。これは、記憶容量がさほど大きくない以前であれば、より記憶容量の大きいパーソナルコンピュータなどに必要な画像データを保管することが一般的な運用であったものが、大容量化した記憶媒体に要・不要にかかわらず、一度得た画像データをそのまま保管する傾向が見られるようになってきたためである。
【０００３】
必然的に、SD，メモリースティックなどの汎用記憶媒体をサポートしているデジタルカメラ、プリンタにおいては、記憶媒体内の大量の画像を扱う必要が出てきた。
【０００４】
特に、大量に保存された画像のなかから、求める画像を選択する機能が重要となっている。
【０００５】
画像の選択の最も一般的な方法は、装置付属のLCD表示装置に画像を表示しながら、求める画像が表示されるまで、順次画像送り動作をくり返すことであるが、操作が単純である半面、前述したように画像データが多量である場合は、非効率な操作となる。そこで、画像データのヘッダー情報に注目し、撮影時に画像とともに記憶された日付、人物の有無、撮影条件、GPS情報などの項目を、メニューなどから選択し、それをキーとして、記憶媒体内の画像データを検索し、該当する画像を本体の表示装置に表示する方法が知られている。
【０００６】
特許文献１においては、表示装置上の表示画面の任意の場所を選択し、その表示領域に見合った画像処理装置を表示装置上の選択領域近傍に表示する方法が開示されている。
【０００７】
また、特許文献２においては、選択された画像から特徴を検出し、それをキーをして画像データの検出を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−３６５８２号公報
【特許文献２】特開２００５−３１１４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、これらの操作には多くの手順、操作が必要な上、操作方法自体も複雑になる傾向があり、さらに、多量の画像から求める画像を検出するためには、より複雑な検索操作によるしかなく、ユーザー操作がより煩雑になる傾向があった。また、従来のヘッダ上の情報に注目した検索では検索機能そのものにも限界があり、ユーザーの意図した画像を得る手段としては不十分であった。
【００１０】
この問題を解決するために、理解が容易な直感的なユーザー操作方法と、より柔軟な検索方法が求めらる。
【課題を解決するための手段】
【００１１】
表示装置に対応した位置情報入力手段があって、複数のゼスチャパターンを判別可能であることが可能で、前記位置情報入力手段により指定された位置情報を対応する前記表示装置に表示中の画像の選択領域として取得する選択領域取得手段と、前記選択領域取得手段によって得られた画像データの特徴を抽出する画像特徴項目抽出手段と、前記画像特徴抽項目出手段によって得られた画像特徴を、あらかじめ指定された表示方式で前記表示装置に表示する項目表示手段と、前記項目表示手段により表示された項目を、あらかじめ指定された検索方式に準じて選択する項目選択手段と、前記項目選択手段によって選択された項目に従いあらかじめ指定された検索方式により画像データを検索する画像検索手段を備え、前記選択領域取得手段は前記位置情報入力手段からの入力が任意の一点とそれに続く連続移動軌跡によって閉画像が形成された際、その閉画像を対応する前記表示画像の選択領域として認識すること機能を備え、
さらに、前記項目表示手段は、前記画像特徴項目抽出手段からの項目を設定された検索方法に従い、複数、または一つ表示することを特徴とし、設定された表示方法に従い、文字情報またはアイコン化情報を選択的に表示することを特徴とし、
各項目を選択状態を反映した表示方法を行い、
また、前記項目選択手段は、設定された検索方法に従い、複数項目の選択または単一項目の選択を行う機能提供する。
【発明の効果】
【００１２】
本発明により、記憶媒体などに保存された多量の画像データに対し容易かつ直感的な操作で検索可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明のプリンター装置のシステム構成図である。
【図２】本発明のプリンター装置の操作パネル表した図である。
【図３】本発明の画像検索処理の動作の概要を表すフローチャートである
【図４】本発明のプリンター装置の操作パネル上の液晶表示装置に対し、領域選択を行う様子を表す図である。
【図５】本発明のプリンター装置の操作パネル上の液晶表示装置にキー値が表示されることを表す図である。
【図６】本発明のプリンター装置のゼスチャ入力処理を表すフローチャートである。
【図７】本発明のプリンタ装置のキー値選択ゼスチャを表す図である。
【図８】本発明のプリンター装置の操作パネル上の液晶表示装置に対し、領域選択をキャンセルするゼスチャを表す図である。
【図９】本発明のプリンター装置の第2の実施例の操作パネル上の液晶表示装置にキー値が表示されることを表す図である。
【図１０】本発明のプリンター装置の第2の実施例のゼスチャ入力処理を表すフローチャートである。
【図１１】本発明のプリンター装置の第2の実施例のキー値追加ゼスチャを表す図である。
【図１２】本発明のプリンター装置の第2の実施例の領域選択をキャンセルするゼスチャを表す図である。
【図１３】本発明のプリンター装置のその他の実施例のキー値表示を表す図である。
【発明を実施するための形態】
【００１４】
［実施例１］
以下、図面を参照して本発明の実施例を説明する。
【００１５】
図1は本発明のプリンター装置のシステム構成図である。
【００１６】
１０１は利用者からの操作を受け付ける一連の操作部材の入力制御を行う入力部材制御部であり、電源ボタン、印刷ボタン、スタンプ編集ボタン、画像送りボタン、印刷枚数選択ボタンおよび、後述する表示装置１０４と一体化した接触検知センサーからなる。
【００１７】
１０２は対象画像の読み出し、表示、印刷データへの展開と印刷制御シーケンスの実行など、システム全体の制御を行うシステムプログラムコードの実行を行うCPUである。
【００１８】
１０３は主記憶装置であり、CPU１０２で実行されるシステムプログラムの作業領域、表示装置１０４に表示するイメージデータのvram領域、印画データの展開領域、内部記憶装置１０８、外部記憶媒体制御部１０６の入出力バッファなどに用いられる。
【００１９】
１０４は表示部であり、内部記憶１０８あるいは外部記憶制御部１０９から読み込んだ画像データの表示、さらに、ユーザー操作による選択した画像データの編集操作や、本体の設定などのユーザーインターフェイスの提供を行う。
【００２０】
１０５は印刷制御部であり、印画ヘッドと用紙搬送機からなり、CPU１０２からの制御により、印画動作と用紙搬送を行う。
【００２１】
１０６は外部記憶媒体制御部であり、携帯電話、デジタルカメラなどで作成された画像データを印画可能とするために、SD、メモリースティック、ＣＦコンパクトフラッシュをサポートし、それぞれの外部記憶媒体のスロットと入出力制御回路からなる。
【００２２】
１０７は内部記憶装置フラッシュメモリであり、CPU１０２で実行されるシステムプログラム、ユーザーインターフェイスでもちられる文字フォントなどのリソースデータ、などがインストールされている。
【００２３】
以上が図１の説明である。
【００２４】
次に、図１および図２を用い、本発明のプリンター装置のシステムプログラムの動作について説明する。
【００２５】
図２は本発明のプリンター装置の操作パネルを表す図である。利用者はまず操作部材制御部１０１の構成要素である電源ボタン２０２を押下し、システムの起動を図る。CPU１０２はフラッシュメモリ１０７内のシステムプログラムを逐次実行し、一連のシステムの初期化を行う。その後、システムプログラムは外部記憶媒体制御部１０６を通じ、現在装着されている記憶媒体のなかから、SD、CF、メモリースティックの優先順位で最優先の記憶媒体のみをマウントする。
【００２６】
システムプログラムはマウントされた記憶媒体内のファイルの走査を行い、画像データと認識されるデータを発見すると、外部記憶媒体制御部１０６を通じ読み出された画像データを主記憶装置１０３上に展開し、さらに表示用データに変換の後、主記憶装置１０３上に配置された表示用VRAM上に展開し、表示部１０４即ち図２においては液晶表示装置２０４に対し画像データの表示を行う。２０４は液晶表示装置であると同時に操作部材制御部１０１の構成要素であるタッチセンサーである。２０３はタッチペンであり、前述した２０４タッチセンサーへの入力を行う。
【００２７】
図3は本発明の画像検索処理の動作の概要を表すフローチャートである。
【００２８】
以下、図3に基づき本発明の画像検索処理の概要を説明する。
【００２９】
前述したように、図２の液晶表示装置２０４に記憶媒体内の特定の画像が表示されている状態で、図2のEDITボタン２０６を押下すると本処理が起動され、システムプログラムは画像検索モードに入ると同時に選択領域指定処理３０１が起動される。この状態で利用者からタッチペン２０３で液状表示装置２０４上の画像に対し図4の４０１のような閉画像を描くことによって画像の部分領域を指定されると、選択領域指定処理３０１は液晶表示装置上の閉画像の座標から対応する本画像の領域を得る。
【００３０】
表示対象画像上の選択領域が得られると、キー項目抽出処理３０２が起動され、選択領域内の画像の特徴となる項目を抽出を行う。これは、後述する画像検索処理に用いられる画像検索キーとなり得る値であって、画像内の支配的な色、存在しているオブジェクトを指定画像から抽出する処理であり、図4の液晶表示装置４０２内に描かれている図に即して説明すると、４０１を選択領域としたことによりオブジェクトとして“PERSON”支配的な色として、図内で斜線メッシュで表現されている色が抽出される。以上のように指定範囲の画像特徴が決定すると、キー項目表示処理３０３が起動され、図５に示すように液晶表示装置上の選択領域近傍の５０１、５０２のように３０２で決定されたキー値が表示される。
【００３１】
この状態で、タッチペン２０３にてタッチパネル２０４に対し後述するゼスチャ入力を行うことによって、検索キーの選択、検索動作の実行が行われる。
【００３２】
以上が本発明の画像検索処理の概要である。次に本発明の画像検索処理における項目選択、キャンセル、検索実行を指令するタッチパネル上からのゼスチャ処理についてのべる。
【００３３】
図６はゼスチャ操作による、本発明の画像検索処理の動作を表すものである。
【００３４】
６０１は入力されたゼスチャーが閉画像であるかの判定である。YESの場合は６０４で、既に閉画像入力によりキー値が表示済かの判定を行う。
【００３５】
YESすなわち、既に表示済の場合は、閉画像入力が表示済のキー値が複数であった場合は、次のキーが選択される。この動作をさらに図７にて説明すると、既に述べたように閉画像７０１を入力した結果、キー値として７０２、７０３が表示されており、キー値として７０２が選択された状態で、閉画像７０４がさらに入力されると、選択状態であった７０２が解除され７０３が選択状態となる。つまり、再度閉画像の入力で、キー値の選択を変更することが可能となる。
【００３６】
６０４でNOと判定された場合は前述したように、６０６で検索キー項目抽出処理が実行され、その結果が検索キーメニュとして６０７で表示される。
【００３７】
次に、６０１の判定がNOとなり６０２で入力ゼスチャが“Z”状であるかの判定でを行う。本処理の結果がYESであった場合はさらに６０８にて既に閉画像入力によりキー値が表示済かの判定を行う。YESの場合は領域キャンセル処理６０９にて、現在選択されている画像領域がキャンセルされ、既に抽出済のキー値を無効とし、表示も消去する。この動作をさらに図８で説明すると、既に述べたように閉画像８０１を入力した結果、キー値として８０２、８０３が表示されており、キー値として８０２が選択された状態で、“Z”状のゼスチャ８０４が入力されるとキー値はすべて、消去される。
【００３８】
次に６０２の判定がNOとなり、６０３で入力ゼスチャが“−”状であるかの判定を行う。本処理の結果がYESであった場合はさらに６１０にて既に閉画像入力によりキー値が表示済かの判定を行う。YESの場合は画像検索処理６１１が選択されたキー値用いて実行される。本処理は、入力されたキー値を前述したキー項目抽出処理と同様な論理を外部記憶媒体制御部１０６を通じ読み出し可能なすべての画像データに対し各々実施し、入力されたキー値が対象画像の特徴と一致する画像を検索するものである。
【００３９】
［実施例２］
実施例１においては、画像検索処理６１１に採用されるキー値は単一であったが複数キーの論理和で画像検索処理を実行する実施例を、以下に述べる。
【００４０】
図3は本発明の画像検索処理の動作の概要を表すフローチャートである。
【００４１】
以下、図3に基づき本発明の画像検索処理の概要を説明する。
【００４２】
前述したように、図２の液晶表示装置２０４に記憶媒体内の特定の画像が表示されている状態で、図2のEDITボタン２０６を押下すると本処理が起動され、システムプログラムは画像検索モードに入ると同時に選択領域指定処理３０１が起動される。この状態で利用者からタッチペン２０３で液状表示装置２０４上の画像に対し図4の４０１のような閉画像を描くことによって画像の部分領域を指定されると、選択領域指定処理３０１は液晶表示装置上の閉画像の座標から対応する本画像の領域を得る。
【００４３】
表示対象画像上の選択領域が得られると、キー項目抽出処理３０２が起動され、選択領域内の画像の特徴となる項目を抽出を行う。これは、後述する画像検索処理に用いられる画像検索キーとなり得る値であって、画像内の支配的な色、存在しているオブジェクトを指定画像から抽出する処理であり、図4の液晶表示装置４０２内に描かれている図に即して説明すると、４０１を選択領域としたことによりオブジェクトとして“PERSON”支配的な色として、図内で斜線メッシュで表現されている色が抽出される。以上のように指定範囲の画像特徴が決定すると、キー項目表示処理３０３が起動され、図９に示すように液晶表示装置上の選択領域近傍の９０１のように３０２で決定されたキー値のひとつが表示される。
【００４４】
この状態で、タッチペン２０３にてタッチパネル２０４に対し後述するゼスチャ入力を行うことによって、検索キーの選択、検索動作の実行が行われる。
【００４５】
以上が本発明の実施例２の画像検索処理の概要である。次に本発明の画像検索処理における項目選択、キャンセル、検索実行を指令するタッチパネル上からのゼスチャ処理についてのべる。
【００４６】
図１０はゼスチャ操作による、本発明の実施例２の画像検索処理の動作を表すものである。
【００４７】
１００１は入力されたゼスチャーが閉画像であるかの判定である。YESの場合は１００４で、既に閉画像入力によりキー値が表示済かの判定を行う。
【００４８】
YESすなわち、既に表示済の場合は、１００５にて指定選択領域から抽出されたキー値が複数あって、未表示のキー値があるか判定を行い、ある場合は１０１２にて、未表示のキー値をすでに表示済みのキー値の近傍に表示する。
【００４９】
この動作をさらに図１１にて説明すると、既に述べたように閉画像１１０１を入力した結果、キー値として１１０２が表示されており、閉画像１１０４がさらに入力されると、すでに表示されている１１０２の下に未表示であった１１０３が新たに表示される。つまり、再度閉画像の入力で、未表示であったキー値の追加が実現される。
【００５０】
１００４でNOと判定された場合は前述したように、１００６で検索キー項目抽出処理が実行され、その結果の内一つが検索キーメニュとして１００７で表示される。
【００５１】
次に、１００１の判定がNOとなり１００２で入力ゼスチャが“Z”状であるかの判定でを行う。本処理の結果がYESであった場合はさらに１００８にて既に閉画像入力によりキー値が表示済かの判定を行う。YESの場合は領域キャンセル処理１００９にて、現在選択されている画像領域がキャンセルされ、既に抽出済のキー値を無効とし、表示も消去する。この動作をさらに図１２で説明すると、既に述べたように閉画像１２０１を入力した結果、キー値として１２０２が表示されており、 “Z”状のゼスチャ１２０３が入力されるとキー値はすべて、消去される。
【００５２】
次に１００２の判定がNOとなり、１００３で入力ゼスチャが“−”状であるかの判定を行う。本処理の結果がYESであった場合はさらに１０１０にて既に閉画像入力によりキー値が表示済かの判定を行う。YESの場合は画像検索処理１０１１が選択されたキー値用いて実行される。本処理は、外部記憶媒体制御部１０６を通じ読み出し可能なすべての画像データに対し、入力されたキー値が、あるいは指定されたキー値を複数の場合であったら、それらの論理和として対象画像の特徴と一致する画像を検索するものである。
【００５３】
［その他の実施例］
前述した実施例１、実施例２においては、キー項目抽出処理３０２によって得られたキー値を文字情報として表示装置２０４上の選択領域近傍に表示をしたが、その他の実施例として、そのキー値をアイコン化して表示する実施例を以下に述べる。
【００５４】
図3に基づき本発明その他の実施例の概要を説明する。
【００５５】
前述したように、図２の液晶表示装置２０４に記憶媒体内の特定の画像が表示されている状態で、図2のEDITボタン２０６を押下すると本処理が起動され、システムプログラムは画像検索モードに入ると同時に選択領域指定処理３０１が起動される。この状態で利用者からタッチペン２０３で液状表示装置２０４上の画像に対し図4の４０１のような閉画像を描くことによって画像の部分領域を指定されると、選択領域指定処理３０１は液晶表示装置上の閉画像の座標から対応する本画像の領域を得る。
【００５６】
表示対象画像上の選択領域が得られると、キー項目抽出処理３０２が起動され、選択領域内の画像の特徴となる項目を抽出を行う。これは、後述する画像検索処理に用いられる画像検索キーとなり得る値であって、画像内の支配的な色、存在しているオブジェクトを指定画像から抽出する処理であり、図4の液晶表示装置４０２内に描かれている図に即して説明すると、４０１を選択領域としたことによりオブジェクトとして“PERSON”、支配的な色として、図内で斜線メッシュで表現されている色が抽出される。以上のように指定範囲の画像特徴が決定すると、キー項目表示処理３０３が起動され、図１３に示すように液晶表示装置上の選択領域近傍に３０２で決定された”PERSON“を象徴する人アイコン１３０１、選択領域の支配的な色として、斜線メッシュ状のアイコン１３０２が表示される。
【符号の説明】
【００５７】
１０１ 入力部材制御部
１０２ CPU
【特許請求の範囲】
【請求項１】
表示装置を持った画像情報処理装置であって、前記表示装置に対応した位置情報入力手段があって、前記位置情報入力手段により指定された位置情報を対応する前記表示装置に表示中の画像の選択領域として取得する選択領域取得手段と、前記選択領域取得手段によって得られた画像データの特徴を抽出する画像特徴項目抽出手段と、前記画像特徴抽項目出手段によって得られた画像特徴を、あらかじめ指定された表示方式で前記表示装置に表示する項目表示手段と、前記項目表示手段により表示された項目を、あらかじめ指定された検索方式に準じて選択する項目選択手段と、前期項目選択手段によって選択された項目に従いあらかじめ指定された検索方式により画像データを検索する画像検索手段を備え、さらに前記位置情報入力手段は複数のゼスチャパターンを判別可能であることを特徴とする画像情報処理装置。
【請求項２】
前記選択領域取得手段は前記位置情報入力手段からの入力が任意の一点とそれに続く連続移動軌跡によって閉画像が形成された際、その閉画像を対応する前記表示画像の選択領域として認識することを特徴とする請求項１に記載の画像情報処理装置。
【請求項３】
前記項目表示手段は、前記画像特徴項目抽出手段からの項目を設定された検索方法に従い、複数、または一つ表示することを特徴とする請求項１に記載の画像情報処理装置。
【請求項４】
請求項３記載の項目表示手段は、設定された表示方法に従い、文字情報またはアイコン化情報を選択的に表示することを特徴とする請求項１に記載の画像情報処理装置。
【請求項５】
請求項３記載の項目表示手段は、複数の項目が表示されていた場合は、各項目を選択状態を反映した表示方法を行うことを特徴とする請求項１に記載の画像情報処理装置。
【請求項６】
前記項目選択手段は、設定された検索方法に従い、複数項目の選択または単一項目の選択を行うことを特徴とする請求項１に記載の画像情報処理装置。
【請求項７】
前記検索方法には複数項目指定検索モードと単一項目指定検索モードがあって、前記画像検索手段は前記複数項目指定検索モード選択時には指定された複数の項目の論理和検索を行うことを特徴とする請求項１に記載の画像情報処理装置。
【請求項８】
前記位置情報入力手段からの入力が任意の一点とそれに続く連続移動軌跡によって閉画像が形成された際、既に表示画像に対し前記領域選択が行われていて前記項目表示手段によって項目表示済であった際、前記検索方法が複数項目指定検索モードであった場合には未選択の項目があれば、内一つの項目が選択項目として新たに追加され、一方、前記検索方法が単一項目指定検索モードであった場合に未選択の項目があれば、現在選択中の項目がキャンセルされ未選択の項目うちの一つが選択項目となることを特徴とする請求項１に記載の画像情報処理装置。
【請求項９】
前記位置情報入力手段からの入力判定が否定的ゼスチャであった場合、既に表示画像に対し前記領域選択が行われてれば、選択領域のキャンセルを行うことを特徴とする請求項１に記載の画像情報処理装置。
【請求項１０】
前記選択領域のキャンセルが行われた際は、前記項目表示処理は表示中の項目表示をすべて非表示とすることを特徴とする請求項１に記載の画像情報処理装置。
【請求項１１】
前記位置情報入力手段は、ボタンつきマウス、タブレット、タッチパネルの、任意の位置入力と、任意のドラッグ操作による移動軌跡を認識可能なデバイスからの入力処理であることを特徴とする請求項１に記載の画像情報処理装置。
【請求項１２】
前記画像特徴抽項目出手段は一種のパターン認識処理であって、入力画像内の支配的な色、入力画像内に認識された物体名を抽出することを特徴とする請求項１に記載の画像情報処理装置。
【請求項１３】
前記画像検索手段は、前記位置情報入力手段からの入力判定が検索を指示するゼスチャであった場合に実行されることを特徴とする請求項１に記載の画像情報処理装置。
【請求項１４】
前記画像検索手段は装置内に保持した画像データに対し、前記画像特徴抽項目出手段によって得られた項目を前記検索方法にしたがい検索を行うことを特徴とする請求項１に記載の画像情報処理装置。
【請求項１】
表示装置を持った画像情報処理装置であって、前記表示装置に対応した位置情報入力手段があって、前記位置情報入力手段により指定された位置情報を対応する前記表示装置に表示中の画像の選択領域として取得する選択領域取得手段と、前記選択領域取得手段によって得られた画像データの特徴を抽出する画像特徴項目抽出手段と、前記画像特徴抽項目出手段によって得られた画像特徴を、あらかじめ指定された表示方式で前記表示装置に表示する項目表示手段と、前記項目表示手段により表示された項目を、あらかじめ指定された検索方式に準じて選択する項目選択手段と、前期項目選択手段によって選択された項目に従いあらかじめ指定された検索方式により画像データを検索する画像検索手段を備え、さらに前記位置情報入力手段は複数のゼスチャパターンを判別可能であることを特徴とする画像情報処理装置。
【請求項２】
前記選択領域取得手段は前記位置情報入力手段からの入力が任意の一点とそれに続く連続移動軌跡によって閉画像が形成された際、その閉画像を対応する前記表示画像の選択領域として認識することを特徴とする請求項１に記載の画像情報処理装置。
【請求項３】
前記項目表示手段は、前記画像特徴項目抽出手段からの項目を設定された検索方法に従い、複数、または一つ表示することを特徴とする請求項１に記載の画像情報処理装置。
【請求項４】
請求項３記載の項目表示手段は、設定された表示方法に従い、文字情報またはアイコン化情報を選択的に表示することを特徴とする請求項１に記載の画像情報処理装置。
【請求項５】
請求項３記載の項目表示手段は、複数の項目が表示されていた場合は、各項目を選択状態を反映した表示方法を行うことを特徴とする請求項１に記載の画像情報処理装置。
【請求項６】
前記項目選択手段は、設定された検索方法に従い、複数項目の選択または単一項目の選択を行うことを特徴とする請求項１に記載の画像情報処理装置。
【請求項７】
前記検索方法には複数項目指定検索モードと単一項目指定検索モードがあって、前記画像検索手段は前記複数項目指定検索モード選択時には指定された複数の項目の論理和検索を行うことを特徴とする請求項１に記載の画像情報処理装置。
【請求項８】
前記位置情報入力手段からの入力が任意の一点とそれに続く連続移動軌跡によって閉画像が形成された際、既に表示画像に対し前記領域選択が行われていて前記項目表示手段によって項目表示済であった際、前記検索方法が複数項目指定検索モードであった場合には未選択の項目があれば、内一つの項目が選択項目として新たに追加され、一方、前記検索方法が単一項目指定検索モードであった場合に未選択の項目があれば、現在選択中の項目がキャンセルされ未選択の項目うちの一つが選択項目となることを特徴とする請求項１に記載の画像情報処理装置。
【請求項９】
前記位置情報入力手段からの入力判定が否定的ゼスチャであった場合、既に表示画像に対し前記領域選択が行われてれば、選択領域のキャンセルを行うことを特徴とする請求項１に記載の画像情報処理装置。
【請求項１０】
前記選択領域のキャンセルが行われた際は、前記項目表示処理は表示中の項目表示をすべて非表示とすることを特徴とする請求項１に記載の画像情報処理装置。
【請求項１１】
前記位置情報入力手段は、ボタンつきマウス、タブレット、タッチパネルの、任意の位置入力と、任意のドラッグ操作による移動軌跡を認識可能なデバイスからの入力処理であることを特徴とする請求項１に記載の画像情報処理装置。
【請求項１２】
前記画像特徴抽項目出手段は一種のパターン認識処理であって、入力画像内の支配的な色、入力画像内に認識された物体名を抽出することを特徴とする請求項１に記載の画像情報処理装置。
【請求項１３】
前記画像検索手段は、前記位置情報入力手段からの入力判定が検索を指示するゼスチャであった場合に実行されることを特徴とする請求項１に記載の画像情報処理装置。
【請求項１４】
前記画像検索手段は装置内に保持した画像データに対し、前記画像特徴抽項目出手段によって得られた項目を前記検索方法にしたがい検索を行うことを特徴とする請求項１に記載の画像情報処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１１８６４４（Ｐ２０１２−１１８６４４Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６５９４３（Ｐ２０１０−２６５９４３）
【出願日】平成２２年１１月３０日（２０１０．１１．３０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．コンパクトフラッシュ
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１１月３０日（２０１０．１１．３０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．コンパクトフラッシュ
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]