撮像装置、画像処理方法及びプログラム
【課題】角画像を生成する際における撮像のやり直しが発生する可能性を低減できる撮像装置、画像処理方法及びプログラムを提供すること。
【解決手段】広角撮像モード中にユーザがデジタルカメラ１を移動させると、撮像画像制御部１１３Ａは、当該移動に併せて現在撮像中の撮像画像を表示部１９に移動表示し、ルート制御部１１３Ｂは、この撮像画像の移動に追従させてルートを撮像方向と直交する方向に移動して表示部１９に表示する。このとき、報知部１１５は、デジタルカメラ１の撮像方向と直交する方向の移動量が不適切である場合には、ユーザに対してその旨を報知する。
【解決手段】広角撮像モード中にユーザがデジタルカメラ１を移動させると、撮像画像制御部１１３Ａは、当該移動に併せて現在撮像中の撮像画像を表示部１９に移動表示し、ルート制御部１１３Ｂは、この撮像画像の移動に追従させてルートを撮像方向と直交する方向に移動して表示部１９に表示する。このとき、報知部１１５は、デジタルカメラ１の撮像方向と直交する方向の移動量が不適切である場合には、ユーザに対してその旨を報知する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノラマ撮像等の広角撮像の生成が可能な撮像装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラや、撮像機能を有する携帯電話等においては、撮像画角の限界はレンズの焦点距離、撮像素子のサイズ等、装置本体が備えるハードスペックに依存している。そこで、ハードスペックを超えるような広角画像を得るためのパノラマ撮像といった技術が従来から知られている。
【０００３】
パノラマ撮像を実現するためには、ユーザは、例えば、シャッタスイッチを押下操作した状態を維持しながら、自身の体を軸にして、デジタルカメラを垂直方向にほぼ固定したまま水平方向に回転させるように移動させる。すると、デジタルカメラは、その間に複数回の撮像処理を実行し、当該複数回の撮像処理の各々の結果得られた複数の画像（以下、「撮像画像」と呼ぶ）の画像データを横方向（水平方向）に合成することによって、パノラマ画像の画像データを生成する。
【０００４】
パノラマ撮像に関する工夫は、これまで多数なされてきており、例えば、特許文献１（特に図４）には、デジタルカメラが、現在撮像している最中の画像の上にどれくらいパノラマ合成がされているかを表す枠を重畳して表示させることで、パノラマ撮像の進行状態を提示する技術が開示されている。
【０００５】
しかしながら、単に進行状態を表示する特許文献１では、ユーザは、パノラマ撮像中にこれまでの撮像の履歴（例えば、パノラマ撮像が開始されてから現在までに撮像された画像の内容）を確認することができなかった。そのため、パノラマ撮像の終了後に画像データとして記録されたパノラマ画像に、必要な画像が欠落している場合や、逆に、余分な画像が混在している場合等があり、ユーザは、所望のパノラマ画像を得るために、何度も撮像操作を繰り返す必要があった。
【０００６】
そこで、本出願人は、デジタルカメラの表示部に本デジタルカメラを移動させるべき方向に延びる枠（以下、「ルート」と呼ぶ）を表示するとともに、当該ルート内に撮像の履歴を併せて表示する発明に関する特許出願（特願２０１０−２１３６５７（特に図５））を行っている。
ここで、ルートについて図１０を参照して説明する。例えば、図１０（１）に示すように、デジタルカメラは、その表示部にルート３００を表示する。このとき、図１０（２）に示すように、デジタルカメラは、ルート３００の内側には撮像画像３１０を表示する。そして、デジタルカメラは、複数回の撮像処理の結果得られた複数の撮像画像３１０，３１１を、デジタルカメラの移動に併せてルート３００とともに表示する。これにより、ルート３００内には、デジタルカメラの移動に追従して複数の撮像画像３１０，３１１が表示されることになり、パノラマ撮像中に必要な画像が撮像されているか否かを把握可能にしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０６−３０３５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ここで、上記特許文献によりパノラマ撮像を手動で行った場合、即ち、デジタルカメラを垂直方向に固定せずに手に持った状態でパノラマ撮像を行った場合、例えば、デジタルカメラは水平方向だけでなく、垂直方向に移動してしまうことがある。このような場合に、従来の工夫では、デジタルカメラの移動に併せて撮像画像が垂直方向に移動してしまう結果、撮像画像がルート内から外れてしまっていた。
そして、パノラマ撮像中にルート内から外れてしまった場合、合成されたパノラマ画像が不適切なものとなる可能性があるため、所望のパノラマ画像が得られるまでパノラマ撮像を再度行わなければならない虞があった。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、広角画像を生成する際における撮像のやり直しが発生する可能性を低減できる撮像装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の一態様の撮像装置は、表示手段と、撮像手段と、本撮像装置の所定の移動方向に沿って、前記撮像手段により連続的に撮像された複数の画像から合成画像を生成する合成手段と、本撮像装置の移動方向又は移動量を取得する取得手段と、前記取得手段により取得された移動方向又は移動量に基づいて、本撮像装置の移動方向が所定の移動方向から外れたことを報知する報知手段と、を備えることを特徴とする撮像装置。
【発明の効果】
【００１１】
本発明によれば、広角画像を生成する際における撮像のやり直しが発生することを低減できる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る撮像装置の一実施形態としてのデジタルカメラのハードウェア構成を示すブロック図である。
【図２】図１のデジタルカメラが、広角撮像処理を実行するための機能的構成を示す機能ブロック図である。
【図３】図２のデジタルカメラの動作モードとして、通常撮像モードと広角撮像モードとが夫々選択された場合における撮像操作を説明する図である。
【図４】図３に示す広角撮像モードによって生成される広角画像の一例を示す図である。
【図５】デジタルカメラの有する機能的構成の具体的な動作例を示す図である。
【図６】ルート、ルートの移動可能領域及びエラー領域の関係を示す図である。
【図７】広角撮像処理の詳細な流れを示すフローチャートである。
【図８】図７の広角撮像処理のうち、連続撮像処理の詳細な流れを示すフローチャートである。
【図９】広角撮像モードにおける撮像方向の一例を示す図である。
【図１０】従来のデジタルカメラにおけるパノラマ撮像時の表示例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明に係る実施形態について説明する。
図１に、本発明に係る撮像装置の一実施形態としてのデジタルカメラ１のハードウェア構成を示す。
図１を参照して、デジタルカメラ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、光学系１５と、撮像部１６と、画像処理部１７と、記憶部１８と、表示部１９と、操作部２０と、通信部２１と、センサ部２２と、ドライブ２３と、を備えている。
【００１４】
ＣＰＵ１１は、ＲＯＭ１２に記憶されているプログラム、又は記憶部１８からＲＡＭ１３にロードされたプログラムに従って、各種の処理を実行する。ＲＯＭ１２は、ＣＰＵ１１が各種の処理を実行するためのプログラムに加え、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等を適宜記憶している。
【００１５】
例えば、本実施形態では、後述する図２のルート生成部１１１乃至報知部１１５の各機能や画像取得部１７１乃至合成部１７３の各機能を実現するプログラムが、ＲＯＭ１２や記憶部１８に記憶されている。したがって、ＣＰＵ１１が、これらのプログラムに従った処理を実行し、後述する画像処理部１７と適宜協働することで、本発明にかかる各機能を実現することができる。
【００１６】
ＣＰＵ１１、ＲＯＭ１２、及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、光学系１５、撮像部１６、画像処理部１７、記憶部１８、表示部１９、操作部２０、通信部２１、センサ部２２、及びドライブ２３が接続されている。
【００１７】
光学系１５は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、撮像部１６の撮像素子の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学系１５にはまた、必要に応じて、焦点や、露出等を調整する周辺装置が設けられる。
【００１８】
撮像部１６は、光電変換素子やＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成されている。光電変換素子は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子から構成される。光電変換素子は、一定時間毎に、その間に入射されて蓄積された被写体像の光信号を光電変換（撮像）して、その結果得られるアナログの電気信号をＡＦＥに順次供給する。
ＡＦＥは、当該アナログの電気信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を施し、その結果得られるデジタル信号を、撮像部１６の出力信号として出力する。
なお、以下、撮像部１６の出力信号を、「撮像画像の画像データ」と呼ぶ。したがって、撮像部１６からは撮像画像の画像データが出力されて、画像処理部１７等に適宜供給される。
【００１９】
画像処理部１７は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されている。
画像処理部１７は、ＣＰＵ１１と協働して、撮像部１６から入力される撮像画像の画像データに対して、ノイズ低減、ホワイトバランス等の画像処理の他、後述する画像取得部１７１乃至合成部１７３の各機能の発揮に必要な各種画像処理を施す。
ここで、以下、特に断りのない限り、「画像データ」とは、撮像部１６から一定時間毎に出力される撮像画像の画像データ、又は、当該画像データが加工等されたものを呼ぶ。即ち、本実施形態では、当該画像データが処理単位として採用されている。
【００２０】
記憶部１８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、画像処理部１７から出力された画像データや、後述する簡易合成画像の画像データ等を一時的に記憶する。また、記憶部１８は、各種画像処理に必要な各種データ等も記憶する。
【００２１】
表示部１９は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｅｖｉｃｅ：液晶表示装置）やＬＣＤ駆動部からなるフラット・ディスプレイ・パネルとして構成されている。表示部１９は、記憶部１８等から供給される画像データにより表現される画像、例えば後述する簡易合成画像やルート画像を画像データ単位で表示する。
【００２２】
操作部２０は、シャッタスイッチ４１の他、図示はしないが、電源スイッチ、撮像モードスイッチ、再生スイッチ等の複数のスイッチを有している。操作部２０は、これらの複数のスイッチのうち所定のスイッチが押下操作されると、当該所定のスイッチに割り当てられている指令をＣＰＵ１１に供給する。
【００２３】
通信部２１は、インターネットを含むネットワークを介する、図示せぬ他の装置との間の通信を制御する。
【００２４】
センサ部２２は、画像撮像時のユーザの体を軸にした回転に伴う、デジタルカメラ１の水平方向及び垂直方向の移動量を検出し、検出結果を示すデジタル信号（以下、単に「移動量」とする）をＣＰＵ１１に供給する。より詳細には、センサ部２２は、後述する広角撮像モードにおける各撮像時（即ち、撮像部１６が画像データを出力したタイミング）のデジタルカメラ１の移動量を検出し、ＣＰＵ１１に出力する。このとき、センサ部２２は、基準位置からの撮像時のデジタルカメラ１の移動量を検出する。なお、基準位置については、本発明の目的から逸脱しない範囲のものを採用することができ、例えば、広角撮像モードにおける最初の撮像時のデジタルカメラ１の位置を基準位置としてもよく、また、広角撮像モードにおける直前の撮像時のデジタルカメラ１の位置を基準位置としてもよい。
このようなセンサ部２２としては、ジャイロセンサや加速度センサ等の任意のセンサを用いることができる。
なお、センサ部２２がデジタルカメラ１の水平方向や垂直方向等の移動方向と移動量を検出する構成について述べたが、移動方向又は移動量だけを検出するようなセンサを本実施形態に適用しても構わない。この場合、センサが検出した移動方向又は移動量に基づいて、後述する報知部１１５がデジタルカメラ１の移動が不適切であるか否かを報知することになる。
【００２５】
ドライブ２３には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。そして、リムーバブルメディア３１から読み出されたプログラムが、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア３１は、記憶部１８に記憶されている画像データ等の各種データも、記憶部１８と同様に記憶することができる。
【００２６】
図２は、図１のデジタルカメラ１が実行する処理のうち、被写体を撮像し、その結果得られる撮像画像の画像データをリムーバブルメディア３１に記録するまでの一連の処理（以下、「撮像処理」と呼ぶ）を実行するための機能的構成を示す機能ブロック図である。
【００２７】
ここで、本実施形態のデジタルカメラ１は、動作モードとして、通常撮像モードと、広角撮像モードとを選択的に切り替えることを可能としている。以下、撮像処理を実行するための機能の理解を容易にすべく、機能的構成の説明の前に、図３及び図４を適宜参照して、広角撮像モードについて詳しく説明する。
【００２８】
図３は、デジタルカメラ１の動作モードとして、通常撮像モードと広角撮像モードとが夫々選択された場合における撮像操作を説明する図である。詳細には、図３（Ａ）は、通常撮像モードでの撮像操作を説明する図であり、図３（Ｂ）は、広角撮像モードでの撮像操作を説明する図である。
【００２９】
図３（Ａ）及び図３（Ｂ）の夫々において、デジタルカメラ１の奥にある絵は、デジタルカメラ１の被写体を含む実世界の様子を示している。また、図３（Ｂ）に示す縦の点線は、デジタルカメラ１の移動方向の各位置ａ、ｂ、ｃを示している。デジタルカメラ１の移動方向とは、ユーザが、自身の体を軸にしてデジタルカメラ１の撮像方向（角度）を変化させた場合における、デジタルカメラ１の光軸が移動する方向をいう。デジタルカメラ１の移動量は、センサ部２２により水平方向及び垂直方向の移動量として検出される。
【００３０】
通常撮像モードとは、デジタルカメラ１の画角に対応するサイズ（解像度）の画像を撮像する場合の動作モードをいう。
通常撮像モードでは、図３（Ａ）に示すように、ユーザは、デジタルカメラ１を固定させた状態で、操作部２０のシャッタスイッチ４１を下限まで押下する。なお、このように、シャッタスイッチ４１を下限まで押下する操作を、以下、「全押し操作」又は単に「全押し」と呼ぶ。
通常撮像モードでは、ＣＰＵ１１及び画像処理部１７は、全押し操作がなされた直後に撮像部１６から出力された画像データを、記録対象としてリムーバブルメディア３１に記録する。
【００３１】
一方、広角撮像モードとは、デジタルカメラ１の所定の移動方向に沿った連続的な撮像により得られた複数の画像データを合成することで得られる合成画像の画像データを撮像する場合の動作モードをいう。広角撮像モードにおける撮像動作の好適な一例としては、水平方向に連続的な撮像を行うことでパノラマ画像の画像データを撮像するパノラマ撮像や、水平方向に連続的な撮像を行い、その後レンズ中心を垂直方向に移動させて再度平方向に連続的な撮像を行うことで広角画像の画像データを撮像する広角撮像があげられる。なお、以下、特に断りのない限り、パノラマ画像も広角画像の一種として取り扱い、広角画像の用語で統一して説明する。
何れの撮像動作でも広角撮像モードでは、図３（Ｂ）に示すように、ユーザは、シャッタスイッチ４１の全押し操作を維持した状態で、デジタルカメラ１を同図中黒矢印の方向（移動方向）に移動させる。
全押し操作が維持されている間、ＣＰＵ１１及び画像処理部１７は、センサ部２２からの移動量が一定値に達する毎に、その直後に撮像部１６から出力された画像データを取得し、記憶部１８に一時的に記憶していくことを繰り返す。
その後、ＣＰＵ１１及び画像処理部１７は、記憶部１８に記憶された隣接する画像データ同士を、デジタルカメラ１の移動方向に順番に合成することによって、連続画像の画像データを生成する。ここで、隣接する画像データとは、広角撮像中に、Ｋ回目（Ｋは１以上の整数値）の撮像により得られた撮像画像の画像データと、Ｋ＋１回目の撮像により得られた撮像画像の画像データとをいう。なお、画像データの合成については、隣接する２つの画像データの合成に限られず、合成対象となる２以上の任意の数の画像データを取得するたびに行うこととしてもよく、合成対象となる全ての画像データを取得した後に行うこととしてもよい。
その後、ユーザが全押し操作を解除する操作、即ちシャッタスイッチ４１から指等を離す操作（以下、このような操作を「リリース操作」と呼ぶ）をすることで、広角撮像の終了を指示されると、ＣＰＵ１１及び画像処理部１７は、合成画像の画像データが、記録対象としてリムーバブルメディア３１に記録される。
その結果、図４に示す広角画像Ｐの画像データが生成され、リムーバブルメディア３１に記録される。
【００３２】
ここで、図３（Ｂ）に示すように、本実施形態の広角撮像モード中のデジタルカメラ１は、表示部１９の所定の位置にルート２００を表示する。詳細については図５で後述するが、ルート２００は、枠上の画像であり、ユーザに対してデジタルカメラ１の移動方向を指示し、ユーザの移動操作をアシストする。図３（Ｂ）では、ルート２００は、水平方向に延びる枠であり、デジタルカメラ１の移動方向が左から右であることを示している。
また、広角撮像モード中では、このルート２００と併せて連続的な撮像により得られた複数の画像データの簡易合成画像Ｇを表示する。簡易合成画像Ｇは、広角撮像モード中に現在までに撮像された領域を示す画像（途中画像）であり、ユーザは、簡易合成画像Ｇから広角撮像の状況を把握することができる。
【００３３】
また、デジタルカメラ１は、広角撮像モード中に現在撮像中の撮像画像（ライブビュー画像）をルート２００と併せて表示する。ユーザは、ルート２００内に撮像画像が収まるようにデジタルカメラ１を移動させることで、広角撮像を行うことができる。
ここで、デジタルカメラ１を固定することなく、手動で移動させた場合、移動方向と直交する方向にぶれが生じてしまう場合がある。その結果、撮像画像がルート２００から外れてしまうと、ユーザは、撮像画像がルート２００内に収まるように修正を行うことになり、円滑な広角撮像を行うことができず、ユーザに強いストレスを感じさせてしまうおそれがある。
そこで、本実施形態のデジタルカメラ１では、広角撮像モード中にデジタルカメラ１の移動に対してルート２００を一定範囲追従させることとしている。以下、本実施形態の特徴的な機能である広角撮像モード中のルート２００の移動について、図２等を参照して説明する。
【００３４】
図２を参照して、本実施形態のデジタルカメラ１の特徴的な機能を発揮するための機能的構成を説明する。本実施形態のデジタルカメラ１では、ＣＰＵ１１において、ルート生成部１１１と、移動領域設定部１１２と、表示制御部１１３と、エラー制御部１１４と、報知部１１５と、が機能し、画像処理部１７においては、画像取得部１７１と、簡易合成部１７２と、合成部１７３と、が機能する。
なお、ルート生成部１１１乃至報知部１１５の機能は、本実施形態のようにＣＰＵ１１に搭載されている必要は特になく、これらの機能のうち少なくとも一部を、画像処理部１７に移譲させることも可能である。同様に、画像取得部１７１乃至合成部１７３の各機能は、本実施形態のように画像処理部１７に搭載されている必要は特になく、これらの機能のうち少なくとも一部を、ＣＰＵ１１に移譲させることも可能である。
【００３５】
初めに、画像処理部１７の画像取得部１７１は、撮像部１６が一定時間毎に出力する撮像画像の画像データを取得し、表示制御部１１３に出力する。また、画像取得部１７１は、撮像部１６から取得した画像データを記憶部１８に一時的に記憶する。このとき、画像取得部１７１は、取得した全ての画像データを記憶部１８に記憶するのではなく、一部の画像データのみを記憶部１８に記憶することが好ましい。一部の画像データとしては、例えば、前回記憶した画像データの撮像時に対して、デジタルカメラ１が所定以上移動したタイミングで撮像された画像データを採用することができる。デジタルカメラ１が移動していないにも関わらず、複数の画像データを記憶する必要がないためである。
【００３６】
簡易合成部１７２は、記憶部１８に記憶された画像データを簡易的に合成し、簡易合成画像（簡易合成画像Ｇ）の画像データを生成する。簡易合成部１７２は、例えば、センサ部２２から移動量を取得し、当該移動量に基づいて合成対象の画像データの位置合わせを行うことで、簡易合成画像の画像データを生成する。簡易合成部１７２は、簡易合成画像の画像データを生成すると、当該画像データを表示制御部１１３に出力するとともに、記憶部１８に一時的に記憶する。
【００３７】
合成部１７３は、記憶部１８に記憶された隣接する画像データ同士を合成することで合成画像の画像データを生成し、リムーバブルメディア３１に記憶する。合成部１７３による合成は、公知の方法で行うことができ、例えば、画像データ同士の重複部分を検出し、当該重複部分の特徴点（画素）に基づいて位置合わせを行った上で、画像データ同士を合成することができる。
【００３８】
続いて、ＣＰＵ１１のルート生成部１１１は、広角撮像のための撮像方向を指示するルート（ルート２００）を生成する。ルートの生成は、任意の方法で行うことができ、例えば、記憶部１８に予め記憶されたルートを読み出すことで生成することとしてもよく、また、操作部２０から広角撮像による合成画像のサイズ（幅及び高さ）を受け付け、当該サイズに基づいてルートを生成することとしてもよい。また、ルートを生成するタイミングについても、任意のタイミングとすることができ、例えば、操作部２０を介して広角撮像モードが選択されたタイミングでルートを生成することとしてもよく、また、広角撮像モード中にシャッタスイッチ４１の全押し操作が行われたタイミング、即ち、広角撮像モード中に撮像部１６から最初の撮像画像の画像データが出力されたタイミングでルートを生成することとしてもよい。
【００３９】
移動領域設定部１１２は、ルートの外側にある撮像方向と直交する方向の所定の領域を、ルートの移動可能領域として設定する。広角撮像モードでは、複数の画像データを合成することで合成画像の画像データを取得するため、撮像方向と直交する方向にデジタルカメラ１が大きくずれてしまった場合には、適切な合成画像の画像データを得ることができない。そこで、本実施形態では、撮像方向に直交する方向については、所定の領域内に限りデジタルカメラ１の移動を認めることとし、この所定の領域をルートの移動可能領域として設定している。なお、所定の領域は、画像データの合成に影響を与えない範囲であればよく、適宜設定可能である。
【００４０】
表示制御部１１３は、画像取得部１７１から画像データとして出力された撮像画像とルート生成部１１１が生成したルートとを、撮像方向の軸を同軸にした状態で表示部１９に表示する制御を行う。
ここで、広角撮像モード中では、表示制御部１１３は、デジタルカメラ１の移動に応じて、撮像画像及びルートの夫々を移動して表示部１９に表示する制御を行う。そのため、本実施形態の表示制御部１１３は、撮像画像制御部１１３Ａと、ルート制御部１１３Ｂと、を含むこととしている。
【００４１】
撮像画像制御部１１３Ａは、画像取得部１７１から画像データとして順次出力される撮像画像を、当該撮像画像の撮像時のデジタルカメラ１の移動方向及び移動量に応じて位置合わせして表示部１９に表示する制御を行う。即ち、撮像画像制御部１１３Ａは、センサ部２２から対象となる撮像画像の撮像時の移動方向及び移動量を取得し、基準位置から移動させることで位置合わせを行う。
【００４２】
ルート制御部１１３Ｂは、ルート生成部１１１が生成したルートを、撮像画像制御部１１３Ａが位置合わせを行った撮像画像の位置に追従して表示部１９に移動表示する制御を行う。このとき、ルート制御部１１３Ｂは、撮像方向と直交する方向についてのみルートを移動させれば足り、撮像方向へルートを移動させる必要はない。また、ルート制御部１１３Ｂは、移動領域設定部１１２が設定した移動可能領域を限度に、ルートを移動表示する。
撮像画像の位置に追従したルートの移動については、任意の方法で行うことができ、例えば、センサ部２２から撮像方向と直交する方向への移動量を取得し、当該移動量に応じて位置合わせ、即ち、基準位置から移動させることで実現することができる。
【００４３】
エラー制御部１１４は、ルートの移動が移動可能領域を超えることになる移動量をセンサ部２２が所定時間継続して取得することを条件に、広角撮像モードを強制的に終了する。具体的には、エラー制御部１１４は、撮像画像が移動可能領域を超えて表示されている状態で所定時間が経過すると、広角撮像モードを強制的に終了する。
ここで、図６を参照して、本実施形態では、撮像方向に延びるルート２００の撮像方向と直交する方向の外側にルート２００の移動可能領域２１０を設定している。この移動可能領域２１０を超えてしまった場合には画像データの合成を適切に行うことができなくなるため、移動可能領域２１０の撮像方向と直交する方向の外側は、エラー領域２５０と扱うことができる。そこで、エラー制御部１１４は、撮像画像の一部がエラー領域２５０内に移動表示されてしまっている状態で所定時間が経過すると、広角撮像モードを強制的に終了する。他方、撮像画像の一部がエラー領域２５０内に移動表示されたものの、所定時間経過する前にエラー領域２５０から外れた場合には、エラー制御部１１４は、広角撮像モードを終了することがない。
【００４４】
報知部１１５は、センサ部２２が取得したデジタルカメラ１の移動方向及び移動量に基づいて、デジタルカメラ１の移動が不適切であるか否かを報知する。即ち、報知部１１５は、ルートの移動が移動可能領域を超えることになる移動量をセンサ部２２が取得することを条件に、デジタルカメラ１の移動が不適切であることを報知する。
ここで、報知部１１５による報知は、任意の方法で行うことができる。例えば、報知部１１５は、ルートの移動が移動可能領域を超えた旨を表示部１９に表示することで、報知を行うこととしてもよく、また、図示しない音声出力部から音声を発することで、報知を行うこととしてもよい。また、報知部１１５は、ルートをデジタルカメラ１の移動方向及び移動量に応じて表示部１９に移動表示することで、報知を行うこととしてもよい。具体的には、報知部１１５は、ルートを移動可能領域を限度に表示部１９に表示することで、デジタルカメラ１の移動が不適切であることを報知する。即ち、撮像画像を移動可能領域に関係なく移動表示する一方で、ルートを移動可能領域を限度に移動表示することで、撮像画像（デジタルカメラ１）の移動にルートが追従することがなくなるため、ユーザに対して、デジタルカメラ１の移動が不適切であることを報知することができる。そのため、本実施形態では、表示制御部１１３が報知部１１５として機能する場合がある。これらのような構成を設けることで、ユーザにデジタルカメラ１の移動方向が本来移動させるべき方向（所定の移動方向）から外れたことやデジタルカメラ１が移動可能領域を超えた状態の撮像画像が生成すべき広角画像の要素として不適切となったことを報知することができる。
また、報知部１１５は、デジタルカメラ１の移動が不適切であることの報知と併せて、「カメラをルート内に収まるように移動させてください」というメッセージを表示部１９に表示してもよいし、当該メッセージを音声出力部から発することとしてもよい。これらのようにすることで、ユーザにデジタルカメラ１の撮像画像が移動可能領域に収まるようデジタルカメラ１の移動方向を変更するよう報知することができる。
【００４５】
続いて、これら本実施形態の特徴的な機能的構成の動作例について、図５を参照して説明する。図５（Ａ）は広角撮像モード中の時刻ｔ１（広角撮像開始時）における動作例を示し、図５（Ｂ）は広角撮像モード中の時刻ｔ２（２枚目撮像時）における動作例を示し、図５（Ｃ）は広角撮像モード中の時刻ｔ３（３枚目撮像時）における動作例を示す。
【００４６】
図５（Ａ）を参照して、広角撮像が開始されると、ルート生成部１１１は、ルート２００を生成し、移動領域設定部１１２は、当該ルート２００の移動可能領域２１０を設定する。このとき、画像取得部１７１が１枚目の撮像画像２２０の画像データを出力すると、表示制御部１１３は、ルート２００及び撮像画像２２０を表示部１９に表示する制御を行う。具体的には、表示制御部１１３は、ルート２００及び撮像画像２２０夫々の撮像方向の軸を同軸にした上で、表示部１９に表示する。
このとき、撮像開始時でルート２００が移動していないため、表示制御部１１３は、例えば、ルート２００及び撮像画像２２０夫々の撮像方向の中心軸Ｃ１を一致させた上で、表示部１９に表示する。そのため、図５（Ａ）では、ルート２００、移動可能領域２１０及び撮像画像２２０の全ての中心軸が中心軸Ｃ１で一致することになる。
【００４７】
図５（Ｂ）を参照して、撮像開始時から所定時間経過した時刻ｔ２では、デジタルカメラ１が撮像方向に所定量移動するとともに、撮像方向と直交する方向（図中上方向）に所定量移動している。ここで、図５（Ｂ）では、撮像方向と直交する方向の移動量は、移動可能領域２１０を超えることのない量であるとする。
このとき、画像取得部１７１が２枚目の撮像画像２２１の画像データを出力すると、表示制御部１１３は、ルート２００及び撮像画像２２１を表示部１９に表示する制御を行う。具体的には、表示制御部１１３（撮像画像制御部１１３Ａ）は、撮像画像２２１をデジタルカメラ１の移動量に応じて位置合わせした上で、表示部１９に表示する。また、表示制御部１１３（ルート制御部１１３Ｂ）は、ルート２００をデジタルカメラ１の撮像方向に直交する方向の移動量に応じて位置合わせした上で、表示部１９に表示する。その結果、ルート２００は、撮像画像２２１の移動に追従して移動することになる。
このように、移動可能領域２１０内では、ルート２００が撮像画像２２１に追従して移動するため、ルート２００及び撮像画像２２１の中心軸は、中心軸Ｃ２で一致することになる。なお、移動可能領域２１０は、移動することがないため、中心軸は、中心軸Ｃ１のままである。
また、表示制御部１１３は、簡易合成部１７２が簡易合成した簡易合成画像Ｇを撮像画像２２１と併せて表示する。なお、時刻ｔ２は、２枚目の撮像画像２２１が撮像されたタイミングであるため、簡易合成画像Ｇは、１枚目の撮像画像２２０である。このとき、表示制御部１１３は、現在撮像中の撮像画像と、既に撮像済みの簡易合成画像Ｇとを区別可能に表示することが好ましく、本実施形態では、現在撮像中の撮像画像と簡易合成画像Ｇとの明暗を異ならせることとしている。
【００４８】
図５（Ｃ）を参照して、時刻ｔ２から所定時間経過した時刻ｔ３では、デジタルカメラ１が撮像方向に所定量移動するとともに、撮像方向と直交する方向（図中上方向）に所定量移動している。ここで、図５（Ｃ）では、撮像方向と直交する方向の移動量が移動可能領域２１０を超える量であるとする。
このとき、画像取得部１７１が３枚目の撮像画像２２２の画像データを出力すると、表示制御部１１３は、ルート２００及び撮像画像２２２を表示部１９に表示する制御を行う。具体的には、表示制御部１１３（撮像画像制御部１１３Ａ）は、撮像画像２２２をデジタルカメラ１の移動量に応じて位置合わせした上で、表示部１９に表示する。また、表示制御部１１３（ルート制御部１１３Ｂ）は、ルート２００をデジタルカメラ１の撮像方向に直交する方向の移動量に応じて位置合わせした上で、表示部１９に表示する。ここで、本実施形態では、表示制御部１１３（ルート制御部１１３Ｂ）は、ルート２００を移動可能領域２１０を限度に移動表示することとしている。図５（Ｃ）では、撮像方向と直交する方向の移動量が移動可能領域２１０を超える量であるため、表示制御部１１３（ルート制御部１１３Ｂ）は、ルート２００の端部（図中上端）が移動可能領域２１０の端部（図中上端）と一致する位置まで移動した状態で、ルート２００を表示する。その結果、ルート２００は、撮像画像２２２の移動に追従することができなくなる。
このように、移動可能領域２１０外では、ルート２００は、撮像画像２２２に追従することができないため、ルート２００の中心軸Ｃ３は、撮像画像２２２の中心軸Ｃ４と異なることになる。
また、表示制御部１１３は、簡易合成部１７２が簡易合成した簡易合成画像Ｇを撮像画像２２１と併せて表示する。なお、時刻ｔ３では、１枚目の撮像画像２２０と２枚目の撮像画像２２１とが合成された簡易合成画像Ｇが表示されることになる。
ここで、図５（Ｃ）では、撮像方向と直交する方向の移動量が移動可能領域２１０を超える量であるため、報知部１１５は、例えば、報知画像２６０を表示部１９に表示することで、デジタルカメラ１の移動が不適切であることを報知している。
【００４９】
以上、本実施形態のデジタルカメラ１の機能的構成について説明した。続いて、図７及び図８を参照して、このような機能的構成を有するデジタルカメラ１が実行する広角撮像処理について説明する。
【００５０】
図７は、広角撮像処理の流れの一例を示すフローチャートである。広角撮像処理は、操作部２０を介して広角撮像モードが選択された状態になると開始する。
【００５１】
ステップＳ１において、ＣＰＵ１１（ルート生成部１１１）は、連続撮像のための撮像方向を指示するルートを生成する。また、ＣＰＵ１１（移動領域設定部１１２）は、ルートの外側の撮像方向と直交する方向の所定の領域を、ルートの移動可能領域として設定する。
【００５２】
続いて、ステップＳ２において、ＣＰＵ１１は、シャッタスイッチ４１の状態を監視し、シャッタスイッチ４１が半押しされたか否かを判定し、半押しされるまで待機する。ここで、半押しとは、シャッタスイッチ４１の途中（下限に至らない所定の位置）まで押下する操作をいう。
【００５３】
ステップＳ３において、シャッタスイッチ４１が半押しされると、ＣＰＵ１１は、撮像部１６を制御して、いわゆるＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）処理を実行する。続いて、ステップＳ４において、ＣＰＵ１１は、シャッタスイッチ４１が全押しされたか否かを判定する。
このとき、ＣＰＵ１１は、シャッタスイッチ４１が全押しされないとステップＳ４においてＮＯであると判定するので、シャッタスイッチ４１が全押しされるまでの間、ステップＳ３及びステップＳ４のループ処理を繰り返し実行する。
【００５４】
他方、シャッタスイッチ４１が全押しされると、ＣＰＵ１１は、ステップＳ４においてＹＥＳであると判定して、ステップＳ５において、画像処理部１７と協働して連続撮像処理を実行する。なお、連続撮像処理の詳細については、図８を参照して後述するが、連続撮像処理では、ＣＰＵ１１は、連続的な撮像により得られた撮像画像と併せて撮像方向を報知するルートを表示部１９に表示する制御を行う。
【００５５】
続いて、ステップＳ６において、ＣＰＵ１１は、処理の終了指示があるか否かを判定する。このとき、処理の終了指示がない場合には、ＣＰＵ１１は、ステップＳ６においてＮＯであると判定するので、ステップＳ５及びステップＳ６の処理を繰り返し実行する。即ち、処理の終了指示があるまで、ＣＰＵ１１は、連続撮像処理を繰り返す。ここで、処理の終了指示については、任意のものを用いることができ、例えば、シャッタスイッチ４１の全押しが解除されたこと（リリース操作がなされたこと）や、デジタルカメラ１が所定量移動したことに加え、エラー制御部１１４による広角撮像モードの強制的な終了を用いることができる。
【００５６】
他方、処理の終了の指示があると、ＣＰＵ１１は、ステップＳ６においてＹＥＳであると判定して、処理をステップＳ７に進める。ステップＳ７において、画像処理部１７（合成部１７３）は、連続撮像処理により得られた画像データのうちの隣接する画像データ同士を合成し、合成画像の画像データを生成し、リムーバブルメディア３１に記憶し、広角撮像処理を終了する。
【００５７】
次に、図８を参照して、図７の広角撮像処理のうち、ステップＳ５の連続撮像処理の詳細な流れについて説明する。
【００５８】
ステップＳ５１において、画像処理部１７（画像取得部１７１）は、撮像部１６から画像データを取得し、ＣＰＵ１１（表示制御部１１３）に出力する。このとき、画像処理部１７は、取得した画像データを適宜縮小した上でＣＰＵ１１（表示制御部１１３）に出力することとしてもよい。
【００５９】
続いて、ステップＳ５２において、ＣＰＵ１１（表示制御部１１３）は、画像処理部（画像取得部１７１）から画像データとして出力された撮像画像の簡易位置合わせ処理を行う。この処理では、例えば、１枚目の撮像画像の撮像時には、ＣＰＵ１１（撮像画像制御部１１３Ａ）は、１枚目の撮像画像の撮像方向の中心軸が図７のステップＳ１の処理で生成したルートの撮像方向の中心軸と一致するように、当該撮像画像を配置する。また、２枚目以降の撮像画像の撮像時には、ＣＰＵ１１（撮像画像制御部１１３Ａ）は、センサ部２２から取得したデジタルカメラ１の移動量に応じて移動させた位置に、当該撮像画像を配置する。
【００６０】
続いて、ステップＳ５３において、ＣＰＵ１１は、センサ部２２から取得したデジタルカメラ１の移動量がルートの移動可能領域内の移動量であるか否かを判定する。この判定は、任意の方法で行うことができ、例えば、デジタルカメラ１の撮像方向と直交する方向の移動量の総和が所定の閾値を超える場合に、デジタルカメラ１の移動量がルートの移動可能領域内の移動量であると判定することができる。また、ステップＳ５２の処理で位置合わせを行った撮像画像の位置に応じて、当該判定を行うこととしてもよい。即ち、例えば、撮像画像の撮像方向と直交する方向の端部（上端）が移動可能領域内である場合に、デジタルカメラ１の移動量がルートの移動可能領域内の移動量であると判定することができる。
【００６１】
ステップＳ５３においてＹＥＳと判定されると、ステップＳ５４において、ＣＰＵ１１（ルート制御部１１３Ｂ）は、ステップＳ５２の簡易位置合わせ結果に合わせてルートを移動表示する。即ち、ＣＰＵ１１（ルート制御部１１３Ｂ）は、デジタルカメラ１の撮像方向と直交する方向の移動に追従してルートを移動する。
【００６２】
続いて、ステップＳ５５において、画像処理部１７（画像取得部１７１）は、画像データを保存するか否かを判定する。この判定では、画像処理部１７（画像取得部１７１）は、デジタルカメラ１が所定以上移動したタイミングで撮像された画像データについては、保存すると判定し、デジタルカメラ１が所定以上移動していないタイミングで撮像された画像データについては保存しないと判定する。
【００６３】
保存すると判定されると、即ちステップＳ５５においてＹＥＳであると判定されると、処理はステップＳ５６に進む。ステップＳ５６において、画像処理部１７（画像取得部１７１）は、当該画像データを記憶部１８に一時的に記憶する。また、画像処理部１７（簡易合成部１７２）は、記憶部１８に記憶された画像データを読み出し、適宜縮小した上で簡易合成し、ＣＰＵ１１に出力する。このとき、ＣＰＵ１１（表示制御部１１３）は、出力された簡易合成画像を表示部１９に適宜表示する。
他方、記憶しないと判定した場合には、ステップＳ５５においてＮＯであると判定されるので、ステップＳ５６の処理が実行されることなく、ステップＳ５９の処理に移る。
このように、デジタルカメラ１が所定以上移動したタイミングで撮像された画像データのみを記憶部１８に記憶するため、合成のために不要な画像データを記憶することなく、記憶部１８のメモリ容量を有効に利用することができる。
【００６４】
他方、ステップＳ５３においてＮＯと判定されると、処理はステップＳ５７に進む。ステップＳ５７において、ＣＰＵ１１（ルート制御部１１３Ｂ）は、移動可能領域内を限度にルートを移動し、表示部１９に表示する。即ち、この場合には、ＣＰＵ１１（ルート制御部１１３Ｂ）は、デジタルカメラ１の撮像方向と直交する方向の移動に追従させることなくルートを移動する。続いて、ＣＰＵ１１（報知部１１５）は、報知処理を行う（ステップＳ５８）。即ち、ＣＰＵ１１（報知部１１５）は、任意の方法によりデジタルカメラ１の移動が不適切であることを報知する。
【００６５】
ここで、図８に示すように、ステップＳ５３においてＮＯであると判定されると、ＹＥＳであると判定された場合とは異なり、画像データを記憶部１８に記憶することがない（ステップＳ５６参照）。即ち、画像処理部１７（画像取得部１７１）は、デジタルカメラ１の移動量がルートの移動可能領域を超えたタイミングで撮像された撮像画像の画像データを記憶部１８に記憶しない。これにより、画像データの合成に影響を与えるほど移動したタイミングで撮像された撮像画像の画像データを記憶部１８に記憶することがなく、記憶部１８のメモリ容量を有効に利用することができる。
【００６６】
ステップＳ５６又はステップＳ５８の後、ステップＳ５９において、ＣＰＵ１１（撮像画像制御部１１３Ａ）は、ステップＳ５２の簡易位置合わせ結果に合わせて撮像画像を表示し、連続撮像処理を終了する。
【００６７】
以上のような本実施形態のデジタルカメラ１によれば、広角撮像モード中にユーザがデジタルカメラ１を移動させると、ＣＰＵ１１（撮像画像制御部１１３Ａ）は、当該移動に併せて現在撮像中の撮像画像を移動表示する。このとき、撮像画像が撮像方向と直交する方向に移動した場合、即ち、デジタルカメラ１が撮像方向と直交する方向に移動した場合、ＣＰＵ１１（ルート制御部１１３Ｂ）は、この撮像画像（デジタルカメラ１）の移動に追従させてルートを撮像方向と直交する方向に移動表示する。
これにより、広角撮像モード中にユーザがデジタルカメラ１を撮像方向と直交する方向に移動させてしまった場合であっても、撮像画像とルートとが追従して移動するため、撮像画像がルートから外れてしまうことがない。そのため、ユーザは、撮像方向と直交する方向への調整を試みる必要がなく、ユーザに対してストレスを感じさせることがない。
【００６８】
このとき、ルートは、ＣＰＵ１１（移動領域設定部１１２）が設定した移動可能領域を限度に撮像画像やデジタルカメラ１に追従して移動する。これにより、撮像方向と直交する方向への移動を移動可能領域内に留めることができる。ここで、デジタルカメラ１では、移動可能領域を画像データの合成に影響を与えない範囲に設定しているため、ユーザに対して、撮像方向と直交する方向への移動が合成画像を得るために許容されるものであるか否かを知らせることができる。即ち、ユーザは、ルートが撮像画像に追従している限りは、合成画像を適切に得ることができることを把握し、ルートが撮像画像に追従しなくなった場合には、撮像方向と直交する方向への調整を行う必要があることを把握することができる。
【００６９】
また、画像処理部１７（画像取得部１７１）は、デジタルカメラ１の移動量がルートの移動可能領域を超えないタイミングで撮像された撮像画像の画像データについては記憶部１８に記憶するが、デジタルカメラ１の移動量がルートの移動可能領域を超えるタイミングで撮像された撮像画像の画像データについては記憶部１８に記憶しない。そして、画像処理部１７（簡易合成部１７２）は、記憶部１８に記憶された画像データを用いて簡易合成画像の画像データを生成する。これにより、移動可能領域を超えるほど撮像方向と直交する方向に移動した画像データを用いて簡易合成画像を生成することがなく、簡易合成画像の構図を違和感のないものとすることができる。また、不要な画像データを記憶部１８に記憶することがなく、記憶部１８のメモリ容量を有効に利用することができる。
【００７０】
また、ＣＰＵ１１（エラー制御部１１４）は、ルートの移動可能領域を超えることとなる移動量をセンサ部２２が所定時間継続して取得することを条件に、広角撮像モードを強制的に終了する。これにより、画像データの合成に影響を与える状態が継続した場合に、広角撮像モードを強制的に終了することができ、ユーザに対して不要な操作を要求することがない。
【００７１】
また、ＣＰＵ１１（報知部１１５）は、デジタルカメラ１の移動量がルートの移動可能領域を超えることとなる移動量である場合には、デジタルカメラ１の移動が不適切であることを報知する。これにより、ユーザに対して、デジタルカメラ１の移動が本来移動させるべき方向から外れたことやデジタルカメラ１が移動可能領域を超えた状態の撮像画像が生成すべき広角画像の要素として不適切となったことを報知することができる。
【００７２】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００７３】
図９を参照して、上述の実施形態では、広角撮像モード中の撮像方向を、図９（１）に示すように撮像方向を左から右とすることとしていたが、広角撮像モード中の撮像方向は、これに限られるものではない。例えば、右から左、上から下、下から上等を撮像方向として広角撮像を得ることとしてもよい。また、図９（２）に示すようにコの字状の撮像方向を用いることとしてもよい。この場合においても、ルートは、撮像方向と直交する方向に移動可能に制御される。
【００７４】
また、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラ１を例として説明したが、特にこれに限定されない。本発明は、広角画像の生成が可能になる機能を有する電子機器一般に適用することができ、例えば、携帯型パーソナルコンピュータ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。
【００７５】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【００７６】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、画像処理装置又は当該画像処理装置を制御するコンピュータ等にネットワークや記録媒体からインストールされる。ここで、コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。或いはまた、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００７７】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、光磁気ディスク等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているＲＯＭ１２や記憶部１８に含まれるハードディスク等で構成される。
【００７８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【００７９】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
表示手段と、
撮像手段と、
本撮像装置の所定の移動方向に沿って、前記撮像手段により連続的に撮像された複数の画像から合成画像を生成する合成手段と、
本撮像装置の移動方向又は移動量を取得する取得手段と、
前記取得手段により取得された移動方向又は移動量に基づいて、本撮像装置の移動方向が所定の移動方向から外れたことを報知する報知手段と、
を備えることを特徴とする撮像装置。
［付記２］
撮像方向を指示するルートを生成するルート生成手段と、
前記撮像手段により撮像される画像と前記ルート生成手段により生成されるルートとを、前記撮像方向の軸を基準として、前記表示手段に表示させるよう制御する第１の表示制御手段と、
前記第１の表示制御手段の制御により表示される画像を前記取得手段により取得された前記移動方向又は前記移動量に応じた位置で表示させるよう制御する第２の表示制御手段と、
前記報知手段は、前記第１の表示制御手段の制御により表示されるルートを前記取得手段により取得された前記撮像方向と直交する方向の移動量に応じた位置で表示させるよう制御することで、本撮像装置の移動方向が所定の移動方向から外れたことを報知する、
ことを特徴とする付記１に記載の撮像装置。
［付記３］
前記報知手段は、前記表示手段による表示又は音声出力手段による音声出力により、撮像装置の移動方向を変更するよう報知することを特徴とする付記１に記載の撮像装置。
［付記４］
前記ルートの外側の前記撮像方向と直交する方向の所定の領域を、前記ルートの移動可能領域として設定する移動領域設定手段とを更に備え、
前記報知手段は、前記移動可能領域を限度に、前記ルートを前記表示手段に表示させることで、本撮像装置の移動方向が所定の移動方向から外れたことを報知する、
ことを特徴とする付記２に記載の撮像装置。
［付記５］
前記撮像手段により撮像される画像のうち、前記取得手段により取得された前記撮像方向と直交する方向の移動量が前記移動可能領域を超える撮像時に撮像された画像を合成することなく、前記取得手段により取得した前記撮像方向と直交する方向の移動量が前記移動可能領域を超えない画像を順次合成することで簡易合成画像を生成する簡易合成手段、
を備えることを特徴とする付記４に記載の撮像装置。
［付記６］
前記取得手段が前記移動可能領域を超える前記移動量を所定時間継続して取得することを条件に、前記連続的な撮像を終了するエラー制御手段、
を備えることを特徴とする付記４又は５に記載の撮像装置。
［付記７］
表示手段と、撮像手段とを備える撮像装置が実行する画像処理方法であって、
本撮像装置の所定の移動方向に沿って、前記撮像手段により連続的に撮像された複数の画像から合成画像を生成する生成ステップと、
本撮像装置の移動方向又は移動量を取得する取得ステップと、
前記取得ステップで取得された移動方向又は移動量に基づいて、本撮像装置の移動方向が所定の移動方向から外れたことを報知する報知ステップと
を含むことを特徴とする画像処理方法。
［付記８］
表示手段と、撮像手段とを備える撮像装置のコンピュータを、
本撮像装置の所定の移動方向に沿って、前記撮像手段により連続的に撮像された複数の画像から合成画像を生成する合成手段、
本撮像装置の移動方向又は移動量を取得する取得手段、
前記取得手段により取得された移動方向又は移動量に基づいて、本撮像装置の移動方向が所定の移動方向から外れたことを報知する報知手段
として機能させることを特徴とするプログラム。
【符号の説明】
【００８０】
１・・・デジタルカメラ（撮像装置）、１１・・・ＣＰＵ（報知手段、ルート生成手段、第１の表示制御手段、第２の表示制御手段、移動領域設定手段、エラー制御手段）、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１５・・・光学系、１６・・・撮像部（撮像手段）、１７・・・画像処理部（合成手段、簡易合成手段）、１８・・・記憶部、１９・・・表示部（表示手段）、２０・・・操作部、２１・・通信部、２２・・・センサ部（取得手段）、２３・・・ドライブ、３１・・・リムーバブルメディア、４１・・・シャッタスイッチ、１１１・・・ルート生成部、１１２・・・移動領域設定部、１１３・・・表示制御部、１１３Ａ・・・撮像画像制御部、１１３Ｂ・・・ルート制御部、１１４・・・エラー制御部、１１５・・・報知部、１７１・・・画像取得部、１７２・・・簡易合成部、１７３・・・合成部
【技術分野】
【０００１】
本発明は、パノラマ撮像等の広角撮像の生成が可能な撮像装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラや、撮像機能を有する携帯電話等においては、撮像画角の限界はレンズの焦点距離、撮像素子のサイズ等、装置本体が備えるハードスペックに依存している。そこで、ハードスペックを超えるような広角画像を得るためのパノラマ撮像といった技術が従来から知られている。
【０００３】
パノラマ撮像を実現するためには、ユーザは、例えば、シャッタスイッチを押下操作した状態を維持しながら、自身の体を軸にして、デジタルカメラを垂直方向にほぼ固定したまま水平方向に回転させるように移動させる。すると、デジタルカメラは、その間に複数回の撮像処理を実行し、当該複数回の撮像処理の各々の結果得られた複数の画像（以下、「撮像画像」と呼ぶ）の画像データを横方向（水平方向）に合成することによって、パノラマ画像の画像データを生成する。
【０００４】
パノラマ撮像に関する工夫は、これまで多数なされてきており、例えば、特許文献１（特に図４）には、デジタルカメラが、現在撮像している最中の画像の上にどれくらいパノラマ合成がされているかを表す枠を重畳して表示させることで、パノラマ撮像の進行状態を提示する技術が開示されている。
【０００５】
しかしながら、単に進行状態を表示する特許文献１では、ユーザは、パノラマ撮像中にこれまでの撮像の履歴（例えば、パノラマ撮像が開始されてから現在までに撮像された画像の内容）を確認することができなかった。そのため、パノラマ撮像の終了後に画像データとして記録されたパノラマ画像に、必要な画像が欠落している場合や、逆に、余分な画像が混在している場合等があり、ユーザは、所望のパノラマ画像を得るために、何度も撮像操作を繰り返す必要があった。
【０００６】
そこで、本出願人は、デジタルカメラの表示部に本デジタルカメラを移動させるべき方向に延びる枠（以下、「ルート」と呼ぶ）を表示するとともに、当該ルート内に撮像の履歴を併せて表示する発明に関する特許出願（特願２０１０−２１３６５７（特に図５））を行っている。
ここで、ルートについて図１０を参照して説明する。例えば、図１０（１）に示すように、デジタルカメラは、その表示部にルート３００を表示する。このとき、図１０（２）に示すように、デジタルカメラは、ルート３００の内側には撮像画像３１０を表示する。そして、デジタルカメラは、複数回の撮像処理の結果得られた複数の撮像画像３１０，３１１を、デジタルカメラの移動に併せてルート３００とともに表示する。これにより、ルート３００内には、デジタルカメラの移動に追従して複数の撮像画像３１０，３１１が表示されることになり、パノラマ撮像中に必要な画像が撮像されているか否かを把握可能にしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０６−３０３５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ここで、上記特許文献によりパノラマ撮像を手動で行った場合、即ち、デジタルカメラを垂直方向に固定せずに手に持った状態でパノラマ撮像を行った場合、例えば、デジタルカメラは水平方向だけでなく、垂直方向に移動してしまうことがある。このような場合に、従来の工夫では、デジタルカメラの移動に併せて撮像画像が垂直方向に移動してしまう結果、撮像画像がルート内から外れてしまっていた。
そして、パノラマ撮像中にルート内から外れてしまった場合、合成されたパノラマ画像が不適切なものとなる可能性があるため、所望のパノラマ画像が得られるまでパノラマ撮像を再度行わなければならない虞があった。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、広角画像を生成する際における撮像のやり直しが発生する可能性を低減できる撮像装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の一態様の撮像装置は、表示手段と、撮像手段と、本撮像装置の所定の移動方向に沿って、前記撮像手段により連続的に撮像された複数の画像から合成画像を生成する合成手段と、本撮像装置の移動方向又は移動量を取得する取得手段と、前記取得手段により取得された移動方向又は移動量に基づいて、本撮像装置の移動方向が所定の移動方向から外れたことを報知する報知手段と、を備えることを特徴とする撮像装置。
【発明の効果】
【００１１】
本発明によれば、広角画像を生成する際における撮像のやり直しが発生することを低減できる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る撮像装置の一実施形態としてのデジタルカメラのハードウェア構成を示すブロック図である。
【図２】図１のデジタルカメラが、広角撮像処理を実行するための機能的構成を示す機能ブロック図である。
【図３】図２のデジタルカメラの動作モードとして、通常撮像モードと広角撮像モードとが夫々選択された場合における撮像操作を説明する図である。
【図４】図３に示す広角撮像モードによって生成される広角画像の一例を示す図である。
【図５】デジタルカメラの有する機能的構成の具体的な動作例を示す図である。
【図６】ルート、ルートの移動可能領域及びエラー領域の関係を示す図である。
【図７】広角撮像処理の詳細な流れを示すフローチャートである。
【図８】図７の広角撮像処理のうち、連続撮像処理の詳細な流れを示すフローチャートである。
【図９】広角撮像モードにおける撮像方向の一例を示す図である。
【図１０】従来のデジタルカメラにおけるパノラマ撮像時の表示例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明に係る実施形態について説明する。
図１に、本発明に係る撮像装置の一実施形態としてのデジタルカメラ１のハードウェア構成を示す。
図１を参照して、デジタルカメラ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、光学系１５と、撮像部１６と、画像処理部１７と、記憶部１８と、表示部１９と、操作部２０と、通信部２１と、センサ部２２と、ドライブ２３と、を備えている。
【００１４】
ＣＰＵ１１は、ＲＯＭ１２に記憶されているプログラム、又は記憶部１８からＲＡＭ１３にロードされたプログラムに従って、各種の処理を実行する。ＲＯＭ１２は、ＣＰＵ１１が各種の処理を実行するためのプログラムに加え、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等を適宜記憶している。
【００１５】
例えば、本実施形態では、後述する図２のルート生成部１１１乃至報知部１１５の各機能や画像取得部１７１乃至合成部１７３の各機能を実現するプログラムが、ＲＯＭ１２や記憶部１８に記憶されている。したがって、ＣＰＵ１１が、これらのプログラムに従った処理を実行し、後述する画像処理部１７と適宜協働することで、本発明にかかる各機能を実現することができる。
【００１６】
ＣＰＵ１１、ＲＯＭ１２、及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、光学系１５、撮像部１６、画像処理部１７、記憶部１８、表示部１９、操作部２０、通信部２１、センサ部２２、及びドライブ２３が接続されている。
【００１７】
光学系１５は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、撮像部１６の撮像素子の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学系１５にはまた、必要に応じて、焦点や、露出等を調整する周辺装置が設けられる。
【００１８】
撮像部１６は、光電変換素子やＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成されている。光電変換素子は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子から構成される。光電変換素子は、一定時間毎に、その間に入射されて蓄積された被写体像の光信号を光電変換（撮像）して、その結果得られるアナログの電気信号をＡＦＥに順次供給する。
ＡＦＥは、当該アナログの電気信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を施し、その結果得られるデジタル信号を、撮像部１６の出力信号として出力する。
なお、以下、撮像部１６の出力信号を、「撮像画像の画像データ」と呼ぶ。したがって、撮像部１６からは撮像画像の画像データが出力されて、画像処理部１７等に適宜供給される。
【００１９】
画像処理部１７は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されている。
画像処理部１７は、ＣＰＵ１１と協働して、撮像部１６から入力される撮像画像の画像データに対して、ノイズ低減、ホワイトバランス等の画像処理の他、後述する画像取得部１７１乃至合成部１７３の各機能の発揮に必要な各種画像処理を施す。
ここで、以下、特に断りのない限り、「画像データ」とは、撮像部１６から一定時間毎に出力される撮像画像の画像データ、又は、当該画像データが加工等されたものを呼ぶ。即ち、本実施形態では、当該画像データが処理単位として採用されている。
【００２０】
記憶部１８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、画像処理部１７から出力された画像データや、後述する簡易合成画像の画像データ等を一時的に記憶する。また、記憶部１８は、各種画像処理に必要な各種データ等も記憶する。
【００２１】
表示部１９は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｅｖｉｃｅ：液晶表示装置）やＬＣＤ駆動部からなるフラット・ディスプレイ・パネルとして構成されている。表示部１９は、記憶部１８等から供給される画像データにより表現される画像、例えば後述する簡易合成画像やルート画像を画像データ単位で表示する。
【００２２】
操作部２０は、シャッタスイッチ４１の他、図示はしないが、電源スイッチ、撮像モードスイッチ、再生スイッチ等の複数のスイッチを有している。操作部２０は、これらの複数のスイッチのうち所定のスイッチが押下操作されると、当該所定のスイッチに割り当てられている指令をＣＰＵ１１に供給する。
【００２３】
通信部２１は、インターネットを含むネットワークを介する、図示せぬ他の装置との間の通信を制御する。
【００２４】
センサ部２２は、画像撮像時のユーザの体を軸にした回転に伴う、デジタルカメラ１の水平方向及び垂直方向の移動量を検出し、検出結果を示すデジタル信号（以下、単に「移動量」とする）をＣＰＵ１１に供給する。より詳細には、センサ部２２は、後述する広角撮像モードにおける各撮像時（即ち、撮像部１６が画像データを出力したタイミング）のデジタルカメラ１の移動量を検出し、ＣＰＵ１１に出力する。このとき、センサ部２２は、基準位置からの撮像時のデジタルカメラ１の移動量を検出する。なお、基準位置については、本発明の目的から逸脱しない範囲のものを採用することができ、例えば、広角撮像モードにおける最初の撮像時のデジタルカメラ１の位置を基準位置としてもよく、また、広角撮像モードにおける直前の撮像時のデジタルカメラ１の位置を基準位置としてもよい。
このようなセンサ部２２としては、ジャイロセンサや加速度センサ等の任意のセンサを用いることができる。
なお、センサ部２２がデジタルカメラ１の水平方向や垂直方向等の移動方向と移動量を検出する構成について述べたが、移動方向又は移動量だけを検出するようなセンサを本実施形態に適用しても構わない。この場合、センサが検出した移動方向又は移動量に基づいて、後述する報知部１１５がデジタルカメラ１の移動が不適切であるか否かを報知することになる。
【００２５】
ドライブ２３には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア３１が適宜装着される。そして、リムーバブルメディア３１から読み出されたプログラムが、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア３１は、記憶部１８に記憶されている画像データ等の各種データも、記憶部１８と同様に記憶することができる。
【００２６】
図２は、図１のデジタルカメラ１が実行する処理のうち、被写体を撮像し、その結果得られる撮像画像の画像データをリムーバブルメディア３１に記録するまでの一連の処理（以下、「撮像処理」と呼ぶ）を実行するための機能的構成を示す機能ブロック図である。
【００２７】
ここで、本実施形態のデジタルカメラ１は、動作モードとして、通常撮像モードと、広角撮像モードとを選択的に切り替えることを可能としている。以下、撮像処理を実行するための機能の理解を容易にすべく、機能的構成の説明の前に、図３及び図４を適宜参照して、広角撮像モードについて詳しく説明する。
【００２８】
図３は、デジタルカメラ１の動作モードとして、通常撮像モードと広角撮像モードとが夫々選択された場合における撮像操作を説明する図である。詳細には、図３（Ａ）は、通常撮像モードでの撮像操作を説明する図であり、図３（Ｂ）は、広角撮像モードでの撮像操作を説明する図である。
【００２９】
図３（Ａ）及び図３（Ｂ）の夫々において、デジタルカメラ１の奥にある絵は、デジタルカメラ１の被写体を含む実世界の様子を示している。また、図３（Ｂ）に示す縦の点線は、デジタルカメラ１の移動方向の各位置ａ、ｂ、ｃを示している。デジタルカメラ１の移動方向とは、ユーザが、自身の体を軸にしてデジタルカメラ１の撮像方向（角度）を変化させた場合における、デジタルカメラ１の光軸が移動する方向をいう。デジタルカメラ１の移動量は、センサ部２２により水平方向及び垂直方向の移動量として検出される。
【００３０】
通常撮像モードとは、デジタルカメラ１の画角に対応するサイズ（解像度）の画像を撮像する場合の動作モードをいう。
通常撮像モードでは、図３（Ａ）に示すように、ユーザは、デジタルカメラ１を固定させた状態で、操作部２０のシャッタスイッチ４１を下限まで押下する。なお、このように、シャッタスイッチ４１を下限まで押下する操作を、以下、「全押し操作」又は単に「全押し」と呼ぶ。
通常撮像モードでは、ＣＰＵ１１及び画像処理部１７は、全押し操作がなされた直後に撮像部１６から出力された画像データを、記録対象としてリムーバブルメディア３１に記録する。
【００３１】
一方、広角撮像モードとは、デジタルカメラ１の所定の移動方向に沿った連続的な撮像により得られた複数の画像データを合成することで得られる合成画像の画像データを撮像する場合の動作モードをいう。広角撮像モードにおける撮像動作の好適な一例としては、水平方向に連続的な撮像を行うことでパノラマ画像の画像データを撮像するパノラマ撮像や、水平方向に連続的な撮像を行い、その後レンズ中心を垂直方向に移動させて再度平方向に連続的な撮像を行うことで広角画像の画像データを撮像する広角撮像があげられる。なお、以下、特に断りのない限り、パノラマ画像も広角画像の一種として取り扱い、広角画像の用語で統一して説明する。
何れの撮像動作でも広角撮像モードでは、図３（Ｂ）に示すように、ユーザは、シャッタスイッチ４１の全押し操作を維持した状態で、デジタルカメラ１を同図中黒矢印の方向（移動方向）に移動させる。
全押し操作が維持されている間、ＣＰＵ１１及び画像処理部１７は、センサ部２２からの移動量が一定値に達する毎に、その直後に撮像部１６から出力された画像データを取得し、記憶部１８に一時的に記憶していくことを繰り返す。
その後、ＣＰＵ１１及び画像処理部１７は、記憶部１８に記憶された隣接する画像データ同士を、デジタルカメラ１の移動方向に順番に合成することによって、連続画像の画像データを生成する。ここで、隣接する画像データとは、広角撮像中に、Ｋ回目（Ｋは１以上の整数値）の撮像により得られた撮像画像の画像データと、Ｋ＋１回目の撮像により得られた撮像画像の画像データとをいう。なお、画像データの合成については、隣接する２つの画像データの合成に限られず、合成対象となる２以上の任意の数の画像データを取得するたびに行うこととしてもよく、合成対象となる全ての画像データを取得した後に行うこととしてもよい。
その後、ユーザが全押し操作を解除する操作、即ちシャッタスイッチ４１から指等を離す操作（以下、このような操作を「リリース操作」と呼ぶ）をすることで、広角撮像の終了を指示されると、ＣＰＵ１１及び画像処理部１７は、合成画像の画像データが、記録対象としてリムーバブルメディア３１に記録される。
その結果、図４に示す広角画像Ｐの画像データが生成され、リムーバブルメディア３１に記録される。
【００３２】
ここで、図３（Ｂ）に示すように、本実施形態の広角撮像モード中のデジタルカメラ１は、表示部１９の所定の位置にルート２００を表示する。詳細については図５で後述するが、ルート２００は、枠上の画像であり、ユーザに対してデジタルカメラ１の移動方向を指示し、ユーザの移動操作をアシストする。図３（Ｂ）では、ルート２００は、水平方向に延びる枠であり、デジタルカメラ１の移動方向が左から右であることを示している。
また、広角撮像モード中では、このルート２００と併せて連続的な撮像により得られた複数の画像データの簡易合成画像Ｇを表示する。簡易合成画像Ｇは、広角撮像モード中に現在までに撮像された領域を示す画像（途中画像）であり、ユーザは、簡易合成画像Ｇから広角撮像の状況を把握することができる。
【００３３】
また、デジタルカメラ１は、広角撮像モード中に現在撮像中の撮像画像（ライブビュー画像）をルート２００と併せて表示する。ユーザは、ルート２００内に撮像画像が収まるようにデジタルカメラ１を移動させることで、広角撮像を行うことができる。
ここで、デジタルカメラ１を固定することなく、手動で移動させた場合、移動方向と直交する方向にぶれが生じてしまう場合がある。その結果、撮像画像がルート２００から外れてしまうと、ユーザは、撮像画像がルート２００内に収まるように修正を行うことになり、円滑な広角撮像を行うことができず、ユーザに強いストレスを感じさせてしまうおそれがある。
そこで、本実施形態のデジタルカメラ１では、広角撮像モード中にデジタルカメラ１の移動に対してルート２００を一定範囲追従させることとしている。以下、本実施形態の特徴的な機能である広角撮像モード中のルート２００の移動について、図２等を参照して説明する。
【００３４】
図２を参照して、本実施形態のデジタルカメラ１の特徴的な機能を発揮するための機能的構成を説明する。本実施形態のデジタルカメラ１では、ＣＰＵ１１において、ルート生成部１１１と、移動領域設定部１１２と、表示制御部１１３と、エラー制御部１１４と、報知部１１５と、が機能し、画像処理部１７においては、画像取得部１７１と、簡易合成部１７２と、合成部１７３と、が機能する。
なお、ルート生成部１１１乃至報知部１１５の機能は、本実施形態のようにＣＰＵ１１に搭載されている必要は特になく、これらの機能のうち少なくとも一部を、画像処理部１７に移譲させることも可能である。同様に、画像取得部１７１乃至合成部１７３の各機能は、本実施形態のように画像処理部１７に搭載されている必要は特になく、これらの機能のうち少なくとも一部を、ＣＰＵ１１に移譲させることも可能である。
【００３５】
初めに、画像処理部１７の画像取得部１７１は、撮像部１６が一定時間毎に出力する撮像画像の画像データを取得し、表示制御部１１３に出力する。また、画像取得部１７１は、撮像部１６から取得した画像データを記憶部１８に一時的に記憶する。このとき、画像取得部１７１は、取得した全ての画像データを記憶部１８に記憶するのではなく、一部の画像データのみを記憶部１８に記憶することが好ましい。一部の画像データとしては、例えば、前回記憶した画像データの撮像時に対して、デジタルカメラ１が所定以上移動したタイミングで撮像された画像データを採用することができる。デジタルカメラ１が移動していないにも関わらず、複数の画像データを記憶する必要がないためである。
【００３６】
簡易合成部１７２は、記憶部１８に記憶された画像データを簡易的に合成し、簡易合成画像（簡易合成画像Ｇ）の画像データを生成する。簡易合成部１７２は、例えば、センサ部２２から移動量を取得し、当該移動量に基づいて合成対象の画像データの位置合わせを行うことで、簡易合成画像の画像データを生成する。簡易合成部１７２は、簡易合成画像の画像データを生成すると、当該画像データを表示制御部１１３に出力するとともに、記憶部１８に一時的に記憶する。
【００３７】
合成部１７３は、記憶部１８に記憶された隣接する画像データ同士を合成することで合成画像の画像データを生成し、リムーバブルメディア３１に記憶する。合成部１７３による合成は、公知の方法で行うことができ、例えば、画像データ同士の重複部分を検出し、当該重複部分の特徴点（画素）に基づいて位置合わせを行った上で、画像データ同士を合成することができる。
【００３８】
続いて、ＣＰＵ１１のルート生成部１１１は、広角撮像のための撮像方向を指示するルート（ルート２００）を生成する。ルートの生成は、任意の方法で行うことができ、例えば、記憶部１８に予め記憶されたルートを読み出すことで生成することとしてもよく、また、操作部２０から広角撮像による合成画像のサイズ（幅及び高さ）を受け付け、当該サイズに基づいてルートを生成することとしてもよい。また、ルートを生成するタイミングについても、任意のタイミングとすることができ、例えば、操作部２０を介して広角撮像モードが選択されたタイミングでルートを生成することとしてもよく、また、広角撮像モード中にシャッタスイッチ４１の全押し操作が行われたタイミング、即ち、広角撮像モード中に撮像部１６から最初の撮像画像の画像データが出力されたタイミングでルートを生成することとしてもよい。
【００３９】
移動領域設定部１１２は、ルートの外側にある撮像方向と直交する方向の所定の領域を、ルートの移動可能領域として設定する。広角撮像モードでは、複数の画像データを合成することで合成画像の画像データを取得するため、撮像方向と直交する方向にデジタルカメラ１が大きくずれてしまった場合には、適切な合成画像の画像データを得ることができない。そこで、本実施形態では、撮像方向に直交する方向については、所定の領域内に限りデジタルカメラ１の移動を認めることとし、この所定の領域をルートの移動可能領域として設定している。なお、所定の領域は、画像データの合成に影響を与えない範囲であればよく、適宜設定可能である。
【００４０】
表示制御部１１３は、画像取得部１７１から画像データとして出力された撮像画像とルート生成部１１１が生成したルートとを、撮像方向の軸を同軸にした状態で表示部１９に表示する制御を行う。
ここで、広角撮像モード中では、表示制御部１１３は、デジタルカメラ１の移動に応じて、撮像画像及びルートの夫々を移動して表示部１９に表示する制御を行う。そのため、本実施形態の表示制御部１１３は、撮像画像制御部１１３Ａと、ルート制御部１１３Ｂと、を含むこととしている。
【００４１】
撮像画像制御部１１３Ａは、画像取得部１７１から画像データとして順次出力される撮像画像を、当該撮像画像の撮像時のデジタルカメラ１の移動方向及び移動量に応じて位置合わせして表示部１９に表示する制御を行う。即ち、撮像画像制御部１１３Ａは、センサ部２２から対象となる撮像画像の撮像時の移動方向及び移動量を取得し、基準位置から移動させることで位置合わせを行う。
【００４２】
ルート制御部１１３Ｂは、ルート生成部１１１が生成したルートを、撮像画像制御部１１３Ａが位置合わせを行った撮像画像の位置に追従して表示部１９に移動表示する制御を行う。このとき、ルート制御部１１３Ｂは、撮像方向と直交する方向についてのみルートを移動させれば足り、撮像方向へルートを移動させる必要はない。また、ルート制御部１１３Ｂは、移動領域設定部１１２が設定した移動可能領域を限度に、ルートを移動表示する。
撮像画像の位置に追従したルートの移動については、任意の方法で行うことができ、例えば、センサ部２２から撮像方向と直交する方向への移動量を取得し、当該移動量に応じて位置合わせ、即ち、基準位置から移動させることで実現することができる。
【００４３】
エラー制御部１１４は、ルートの移動が移動可能領域を超えることになる移動量をセンサ部２２が所定時間継続して取得することを条件に、広角撮像モードを強制的に終了する。具体的には、エラー制御部１１４は、撮像画像が移動可能領域を超えて表示されている状態で所定時間が経過すると、広角撮像モードを強制的に終了する。
ここで、図６を参照して、本実施形態では、撮像方向に延びるルート２００の撮像方向と直交する方向の外側にルート２００の移動可能領域２１０を設定している。この移動可能領域２１０を超えてしまった場合には画像データの合成を適切に行うことができなくなるため、移動可能領域２１０の撮像方向と直交する方向の外側は、エラー領域２５０と扱うことができる。そこで、エラー制御部１１４は、撮像画像の一部がエラー領域２５０内に移動表示されてしまっている状態で所定時間が経過すると、広角撮像モードを強制的に終了する。他方、撮像画像の一部がエラー領域２５０内に移動表示されたものの、所定時間経過する前にエラー領域２５０から外れた場合には、エラー制御部１１４は、広角撮像モードを終了することがない。
【００４４】
報知部１１５は、センサ部２２が取得したデジタルカメラ１の移動方向及び移動量に基づいて、デジタルカメラ１の移動が不適切であるか否かを報知する。即ち、報知部１１５は、ルートの移動が移動可能領域を超えることになる移動量をセンサ部２２が取得することを条件に、デジタルカメラ１の移動が不適切であることを報知する。
ここで、報知部１１５による報知は、任意の方法で行うことができる。例えば、報知部１１５は、ルートの移動が移動可能領域を超えた旨を表示部１９に表示することで、報知を行うこととしてもよく、また、図示しない音声出力部から音声を発することで、報知を行うこととしてもよい。また、報知部１１５は、ルートをデジタルカメラ１の移動方向及び移動量に応じて表示部１９に移動表示することで、報知を行うこととしてもよい。具体的には、報知部１１５は、ルートを移動可能領域を限度に表示部１９に表示することで、デジタルカメラ１の移動が不適切であることを報知する。即ち、撮像画像を移動可能領域に関係なく移動表示する一方で、ルートを移動可能領域を限度に移動表示することで、撮像画像（デジタルカメラ１）の移動にルートが追従することがなくなるため、ユーザに対して、デジタルカメラ１の移動が不適切であることを報知することができる。そのため、本実施形態では、表示制御部１１３が報知部１１５として機能する場合がある。これらのような構成を設けることで、ユーザにデジタルカメラ１の移動方向が本来移動させるべき方向（所定の移動方向）から外れたことやデジタルカメラ１が移動可能領域を超えた状態の撮像画像が生成すべき広角画像の要素として不適切となったことを報知することができる。
また、報知部１１５は、デジタルカメラ１の移動が不適切であることの報知と併せて、「カメラをルート内に収まるように移動させてください」というメッセージを表示部１９に表示してもよいし、当該メッセージを音声出力部から発することとしてもよい。これらのようにすることで、ユーザにデジタルカメラ１の撮像画像が移動可能領域に収まるようデジタルカメラ１の移動方向を変更するよう報知することができる。
【００４５】
続いて、これら本実施形態の特徴的な機能的構成の動作例について、図５を参照して説明する。図５（Ａ）は広角撮像モード中の時刻ｔ１（広角撮像開始時）における動作例を示し、図５（Ｂ）は広角撮像モード中の時刻ｔ２（２枚目撮像時）における動作例を示し、図５（Ｃ）は広角撮像モード中の時刻ｔ３（３枚目撮像時）における動作例を示す。
【００４６】
図５（Ａ）を参照して、広角撮像が開始されると、ルート生成部１１１は、ルート２００を生成し、移動領域設定部１１２は、当該ルート２００の移動可能領域２１０を設定する。このとき、画像取得部１７１が１枚目の撮像画像２２０の画像データを出力すると、表示制御部１１３は、ルート２００及び撮像画像２２０を表示部１９に表示する制御を行う。具体的には、表示制御部１１３は、ルート２００及び撮像画像２２０夫々の撮像方向の軸を同軸にした上で、表示部１９に表示する。
このとき、撮像開始時でルート２００が移動していないため、表示制御部１１３は、例えば、ルート２００及び撮像画像２２０夫々の撮像方向の中心軸Ｃ１を一致させた上で、表示部１９に表示する。そのため、図５（Ａ）では、ルート２００、移動可能領域２１０及び撮像画像２２０の全ての中心軸が中心軸Ｃ１で一致することになる。
【００４７】
図５（Ｂ）を参照して、撮像開始時から所定時間経過した時刻ｔ２では、デジタルカメラ１が撮像方向に所定量移動するとともに、撮像方向と直交する方向（図中上方向）に所定量移動している。ここで、図５（Ｂ）では、撮像方向と直交する方向の移動量は、移動可能領域２１０を超えることのない量であるとする。
このとき、画像取得部１７１が２枚目の撮像画像２２１の画像データを出力すると、表示制御部１１３は、ルート２００及び撮像画像２２１を表示部１９に表示する制御を行う。具体的には、表示制御部１１３（撮像画像制御部１１３Ａ）は、撮像画像２２１をデジタルカメラ１の移動量に応じて位置合わせした上で、表示部１９に表示する。また、表示制御部１１３（ルート制御部１１３Ｂ）は、ルート２００をデジタルカメラ１の撮像方向に直交する方向の移動量に応じて位置合わせした上で、表示部１９に表示する。その結果、ルート２００は、撮像画像２２１の移動に追従して移動することになる。
このように、移動可能領域２１０内では、ルート２００が撮像画像２２１に追従して移動するため、ルート２００及び撮像画像２２１の中心軸は、中心軸Ｃ２で一致することになる。なお、移動可能領域２１０は、移動することがないため、中心軸は、中心軸Ｃ１のままである。
また、表示制御部１１３は、簡易合成部１７２が簡易合成した簡易合成画像Ｇを撮像画像２２１と併せて表示する。なお、時刻ｔ２は、２枚目の撮像画像２２１が撮像されたタイミングであるため、簡易合成画像Ｇは、１枚目の撮像画像２２０である。このとき、表示制御部１１３は、現在撮像中の撮像画像と、既に撮像済みの簡易合成画像Ｇとを区別可能に表示することが好ましく、本実施形態では、現在撮像中の撮像画像と簡易合成画像Ｇとの明暗を異ならせることとしている。
【００４８】
図５（Ｃ）を参照して、時刻ｔ２から所定時間経過した時刻ｔ３では、デジタルカメラ１が撮像方向に所定量移動するとともに、撮像方向と直交する方向（図中上方向）に所定量移動している。ここで、図５（Ｃ）では、撮像方向と直交する方向の移動量が移動可能領域２１０を超える量であるとする。
このとき、画像取得部１７１が３枚目の撮像画像２２２の画像データを出力すると、表示制御部１１３は、ルート２００及び撮像画像２２２を表示部１９に表示する制御を行う。具体的には、表示制御部１１３（撮像画像制御部１１３Ａ）は、撮像画像２２２をデジタルカメラ１の移動量に応じて位置合わせした上で、表示部１９に表示する。また、表示制御部１１３（ルート制御部１１３Ｂ）は、ルート２００をデジタルカメラ１の撮像方向に直交する方向の移動量に応じて位置合わせした上で、表示部１９に表示する。ここで、本実施形態では、表示制御部１１３（ルート制御部１１３Ｂ）は、ルート２００を移動可能領域２１０を限度に移動表示することとしている。図５（Ｃ）では、撮像方向と直交する方向の移動量が移動可能領域２１０を超える量であるため、表示制御部１１３（ルート制御部１１３Ｂ）は、ルート２００の端部（図中上端）が移動可能領域２１０の端部（図中上端）と一致する位置まで移動した状態で、ルート２００を表示する。その結果、ルート２００は、撮像画像２２２の移動に追従することができなくなる。
このように、移動可能領域２１０外では、ルート２００は、撮像画像２２２に追従することができないため、ルート２００の中心軸Ｃ３は、撮像画像２２２の中心軸Ｃ４と異なることになる。
また、表示制御部１１３は、簡易合成部１７２が簡易合成した簡易合成画像Ｇを撮像画像２２１と併せて表示する。なお、時刻ｔ３では、１枚目の撮像画像２２０と２枚目の撮像画像２２１とが合成された簡易合成画像Ｇが表示されることになる。
ここで、図５（Ｃ）では、撮像方向と直交する方向の移動量が移動可能領域２１０を超える量であるため、報知部１１５は、例えば、報知画像２６０を表示部１９に表示することで、デジタルカメラ１の移動が不適切であることを報知している。
【００４９】
以上、本実施形態のデジタルカメラ１の機能的構成について説明した。続いて、図７及び図８を参照して、このような機能的構成を有するデジタルカメラ１が実行する広角撮像処理について説明する。
【００５０】
図７は、広角撮像処理の流れの一例を示すフローチャートである。広角撮像処理は、操作部２０を介して広角撮像モードが選択された状態になると開始する。
【００５１】
ステップＳ１において、ＣＰＵ１１（ルート生成部１１１）は、連続撮像のための撮像方向を指示するルートを生成する。また、ＣＰＵ１１（移動領域設定部１１２）は、ルートの外側の撮像方向と直交する方向の所定の領域を、ルートの移動可能領域として設定する。
【００５２】
続いて、ステップＳ２において、ＣＰＵ１１は、シャッタスイッチ４１の状態を監視し、シャッタスイッチ４１が半押しされたか否かを判定し、半押しされるまで待機する。ここで、半押しとは、シャッタスイッチ４１の途中（下限に至らない所定の位置）まで押下する操作をいう。
【００５３】
ステップＳ３において、シャッタスイッチ４１が半押しされると、ＣＰＵ１１は、撮像部１６を制御して、いわゆるＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）処理を実行する。続いて、ステップＳ４において、ＣＰＵ１１は、シャッタスイッチ４１が全押しされたか否かを判定する。
このとき、ＣＰＵ１１は、シャッタスイッチ４１が全押しされないとステップＳ４においてＮＯであると判定するので、シャッタスイッチ４１が全押しされるまでの間、ステップＳ３及びステップＳ４のループ処理を繰り返し実行する。
【００５４】
他方、シャッタスイッチ４１が全押しされると、ＣＰＵ１１は、ステップＳ４においてＹＥＳであると判定して、ステップＳ５において、画像処理部１７と協働して連続撮像処理を実行する。なお、連続撮像処理の詳細については、図８を参照して後述するが、連続撮像処理では、ＣＰＵ１１は、連続的な撮像により得られた撮像画像と併せて撮像方向を報知するルートを表示部１９に表示する制御を行う。
【００５５】
続いて、ステップＳ６において、ＣＰＵ１１は、処理の終了指示があるか否かを判定する。このとき、処理の終了指示がない場合には、ＣＰＵ１１は、ステップＳ６においてＮＯであると判定するので、ステップＳ５及びステップＳ６の処理を繰り返し実行する。即ち、処理の終了指示があるまで、ＣＰＵ１１は、連続撮像処理を繰り返す。ここで、処理の終了指示については、任意のものを用いることができ、例えば、シャッタスイッチ４１の全押しが解除されたこと（リリース操作がなされたこと）や、デジタルカメラ１が所定量移動したことに加え、エラー制御部１１４による広角撮像モードの強制的な終了を用いることができる。
【００５６】
他方、処理の終了の指示があると、ＣＰＵ１１は、ステップＳ６においてＹＥＳであると判定して、処理をステップＳ７に進める。ステップＳ７において、画像処理部１７（合成部１７３）は、連続撮像処理により得られた画像データのうちの隣接する画像データ同士を合成し、合成画像の画像データを生成し、リムーバブルメディア３１に記憶し、広角撮像処理を終了する。
【００５７】
次に、図８を参照して、図７の広角撮像処理のうち、ステップＳ５の連続撮像処理の詳細な流れについて説明する。
【００５８】
ステップＳ５１において、画像処理部１７（画像取得部１７１）は、撮像部１６から画像データを取得し、ＣＰＵ１１（表示制御部１１３）に出力する。このとき、画像処理部１７は、取得した画像データを適宜縮小した上でＣＰＵ１１（表示制御部１１３）に出力することとしてもよい。
【００５９】
続いて、ステップＳ５２において、ＣＰＵ１１（表示制御部１１３）は、画像処理部（画像取得部１７１）から画像データとして出力された撮像画像の簡易位置合わせ処理を行う。この処理では、例えば、１枚目の撮像画像の撮像時には、ＣＰＵ１１（撮像画像制御部１１３Ａ）は、１枚目の撮像画像の撮像方向の中心軸が図７のステップＳ１の処理で生成したルートの撮像方向の中心軸と一致するように、当該撮像画像を配置する。また、２枚目以降の撮像画像の撮像時には、ＣＰＵ１１（撮像画像制御部１１３Ａ）は、センサ部２２から取得したデジタルカメラ１の移動量に応じて移動させた位置に、当該撮像画像を配置する。
【００６０】
続いて、ステップＳ５３において、ＣＰＵ１１は、センサ部２２から取得したデジタルカメラ１の移動量がルートの移動可能領域内の移動量であるか否かを判定する。この判定は、任意の方法で行うことができ、例えば、デジタルカメラ１の撮像方向と直交する方向の移動量の総和が所定の閾値を超える場合に、デジタルカメラ１の移動量がルートの移動可能領域内の移動量であると判定することができる。また、ステップＳ５２の処理で位置合わせを行った撮像画像の位置に応じて、当該判定を行うこととしてもよい。即ち、例えば、撮像画像の撮像方向と直交する方向の端部（上端）が移動可能領域内である場合に、デジタルカメラ１の移動量がルートの移動可能領域内の移動量であると判定することができる。
【００６１】
ステップＳ５３においてＹＥＳと判定されると、ステップＳ５４において、ＣＰＵ１１（ルート制御部１１３Ｂ）は、ステップＳ５２の簡易位置合わせ結果に合わせてルートを移動表示する。即ち、ＣＰＵ１１（ルート制御部１１３Ｂ）は、デジタルカメラ１の撮像方向と直交する方向の移動に追従してルートを移動する。
【００６２】
続いて、ステップＳ５５において、画像処理部１７（画像取得部１７１）は、画像データを保存するか否かを判定する。この判定では、画像処理部１７（画像取得部１７１）は、デジタルカメラ１が所定以上移動したタイミングで撮像された画像データについては、保存すると判定し、デジタルカメラ１が所定以上移動していないタイミングで撮像された画像データについては保存しないと判定する。
【００６３】
保存すると判定されると、即ちステップＳ５５においてＹＥＳであると判定されると、処理はステップＳ５６に進む。ステップＳ５６において、画像処理部１７（画像取得部１７１）は、当該画像データを記憶部１８に一時的に記憶する。また、画像処理部１７（簡易合成部１７２）は、記憶部１８に記憶された画像データを読み出し、適宜縮小した上で簡易合成し、ＣＰＵ１１に出力する。このとき、ＣＰＵ１１（表示制御部１１３）は、出力された簡易合成画像を表示部１９に適宜表示する。
他方、記憶しないと判定した場合には、ステップＳ５５においてＮＯであると判定されるので、ステップＳ５６の処理が実行されることなく、ステップＳ５９の処理に移る。
このように、デジタルカメラ１が所定以上移動したタイミングで撮像された画像データのみを記憶部１８に記憶するため、合成のために不要な画像データを記憶することなく、記憶部１８のメモリ容量を有効に利用することができる。
【００６４】
他方、ステップＳ５３においてＮＯと判定されると、処理はステップＳ５７に進む。ステップＳ５７において、ＣＰＵ１１（ルート制御部１１３Ｂ）は、移動可能領域内を限度にルートを移動し、表示部１９に表示する。即ち、この場合には、ＣＰＵ１１（ルート制御部１１３Ｂ）は、デジタルカメラ１の撮像方向と直交する方向の移動に追従させることなくルートを移動する。続いて、ＣＰＵ１１（報知部１１５）は、報知処理を行う（ステップＳ５８）。即ち、ＣＰＵ１１（報知部１１５）は、任意の方法によりデジタルカメラ１の移動が不適切であることを報知する。
【００６５】
ここで、図８に示すように、ステップＳ５３においてＮＯであると判定されると、ＹＥＳであると判定された場合とは異なり、画像データを記憶部１８に記憶することがない（ステップＳ５６参照）。即ち、画像処理部１７（画像取得部１７１）は、デジタルカメラ１の移動量がルートの移動可能領域を超えたタイミングで撮像された撮像画像の画像データを記憶部１８に記憶しない。これにより、画像データの合成に影響を与えるほど移動したタイミングで撮像された撮像画像の画像データを記憶部１８に記憶することがなく、記憶部１８のメモリ容量を有効に利用することができる。
【００６６】
ステップＳ５６又はステップＳ５８の後、ステップＳ５９において、ＣＰＵ１１（撮像画像制御部１１３Ａ）は、ステップＳ５２の簡易位置合わせ結果に合わせて撮像画像を表示し、連続撮像処理を終了する。
【００６７】
以上のような本実施形態のデジタルカメラ１によれば、広角撮像モード中にユーザがデジタルカメラ１を移動させると、ＣＰＵ１１（撮像画像制御部１１３Ａ）は、当該移動に併せて現在撮像中の撮像画像を移動表示する。このとき、撮像画像が撮像方向と直交する方向に移動した場合、即ち、デジタルカメラ１が撮像方向と直交する方向に移動した場合、ＣＰＵ１１（ルート制御部１１３Ｂ）は、この撮像画像（デジタルカメラ１）の移動に追従させてルートを撮像方向と直交する方向に移動表示する。
これにより、広角撮像モード中にユーザがデジタルカメラ１を撮像方向と直交する方向に移動させてしまった場合であっても、撮像画像とルートとが追従して移動するため、撮像画像がルートから外れてしまうことがない。そのため、ユーザは、撮像方向と直交する方向への調整を試みる必要がなく、ユーザに対してストレスを感じさせることがない。
【００６８】
このとき、ルートは、ＣＰＵ１１（移動領域設定部１１２）が設定した移動可能領域を限度に撮像画像やデジタルカメラ１に追従して移動する。これにより、撮像方向と直交する方向への移動を移動可能領域内に留めることができる。ここで、デジタルカメラ１では、移動可能領域を画像データの合成に影響を与えない範囲に設定しているため、ユーザに対して、撮像方向と直交する方向への移動が合成画像を得るために許容されるものであるか否かを知らせることができる。即ち、ユーザは、ルートが撮像画像に追従している限りは、合成画像を適切に得ることができることを把握し、ルートが撮像画像に追従しなくなった場合には、撮像方向と直交する方向への調整を行う必要があることを把握することができる。
【００６９】
また、画像処理部１７（画像取得部１７１）は、デジタルカメラ１の移動量がルートの移動可能領域を超えないタイミングで撮像された撮像画像の画像データについては記憶部１８に記憶するが、デジタルカメラ１の移動量がルートの移動可能領域を超えるタイミングで撮像された撮像画像の画像データについては記憶部１８に記憶しない。そして、画像処理部１７（簡易合成部１７２）は、記憶部１８に記憶された画像データを用いて簡易合成画像の画像データを生成する。これにより、移動可能領域を超えるほど撮像方向と直交する方向に移動した画像データを用いて簡易合成画像を生成することがなく、簡易合成画像の構図を違和感のないものとすることができる。また、不要な画像データを記憶部１８に記憶することがなく、記憶部１８のメモリ容量を有効に利用することができる。
【００７０】
また、ＣＰＵ１１（エラー制御部１１４）は、ルートの移動可能領域を超えることとなる移動量をセンサ部２２が所定時間継続して取得することを条件に、広角撮像モードを強制的に終了する。これにより、画像データの合成に影響を与える状態が継続した場合に、広角撮像モードを強制的に終了することができ、ユーザに対して不要な操作を要求することがない。
【００７１】
また、ＣＰＵ１１（報知部１１５）は、デジタルカメラ１の移動量がルートの移動可能領域を超えることとなる移動量である場合には、デジタルカメラ１の移動が不適切であることを報知する。これにより、ユーザに対して、デジタルカメラ１の移動が本来移動させるべき方向から外れたことやデジタルカメラ１が移動可能領域を超えた状態の撮像画像が生成すべき広角画像の要素として不適切となったことを報知することができる。
【００７２】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００７３】
図９を参照して、上述の実施形態では、広角撮像モード中の撮像方向を、図９（１）に示すように撮像方向を左から右とすることとしていたが、広角撮像モード中の撮像方向は、これに限られるものではない。例えば、右から左、上から下、下から上等を撮像方向として広角撮像を得ることとしてもよい。また、図９（２）に示すようにコの字状の撮像方向を用いることとしてもよい。この場合においても、ルートは、撮像方向と直交する方向に移動可能に制御される。
【００７４】
また、上述の実施形態では、本発明が適用される画像処理装置は、デジタルカメラ１を例として説明したが、特にこれに限定されない。本発明は、広角画像の生成が可能になる機能を有する電子機器一般に適用することができ、例えば、携帯型パーソナルコンピュータ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。
【００７５】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【００７６】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、画像処理装置又は当該画像処理装置を制御するコンピュータ等にネットワークや記録媒体からインストールされる。ここで、コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。或いはまた、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００７７】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、光磁気ディスク等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているＲＯＭ１２や記憶部１８に含まれるハードディスク等で構成される。
【００７８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【００７９】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
表示手段と、
撮像手段と、
本撮像装置の所定の移動方向に沿って、前記撮像手段により連続的に撮像された複数の画像から合成画像を生成する合成手段と、
本撮像装置の移動方向又は移動量を取得する取得手段と、
前記取得手段により取得された移動方向又は移動量に基づいて、本撮像装置の移動方向が所定の移動方向から外れたことを報知する報知手段と、
を備えることを特徴とする撮像装置。
［付記２］
撮像方向を指示するルートを生成するルート生成手段と、
前記撮像手段により撮像される画像と前記ルート生成手段により生成されるルートとを、前記撮像方向の軸を基準として、前記表示手段に表示させるよう制御する第１の表示制御手段と、
前記第１の表示制御手段の制御により表示される画像を前記取得手段により取得された前記移動方向又は前記移動量に応じた位置で表示させるよう制御する第２の表示制御手段と、
前記報知手段は、前記第１の表示制御手段の制御により表示されるルートを前記取得手段により取得された前記撮像方向と直交する方向の移動量に応じた位置で表示させるよう制御することで、本撮像装置の移動方向が所定の移動方向から外れたことを報知する、
ことを特徴とする付記１に記載の撮像装置。
［付記３］
前記報知手段は、前記表示手段による表示又は音声出力手段による音声出力により、撮像装置の移動方向を変更するよう報知することを特徴とする付記１に記載の撮像装置。
［付記４］
前記ルートの外側の前記撮像方向と直交する方向の所定の領域を、前記ルートの移動可能領域として設定する移動領域設定手段とを更に備え、
前記報知手段は、前記移動可能領域を限度に、前記ルートを前記表示手段に表示させることで、本撮像装置の移動方向が所定の移動方向から外れたことを報知する、
ことを特徴とする付記２に記載の撮像装置。
［付記５］
前記撮像手段により撮像される画像のうち、前記取得手段により取得された前記撮像方向と直交する方向の移動量が前記移動可能領域を超える撮像時に撮像された画像を合成することなく、前記取得手段により取得した前記撮像方向と直交する方向の移動量が前記移動可能領域を超えない画像を順次合成することで簡易合成画像を生成する簡易合成手段、
を備えることを特徴とする付記４に記載の撮像装置。
［付記６］
前記取得手段が前記移動可能領域を超える前記移動量を所定時間継続して取得することを条件に、前記連続的な撮像を終了するエラー制御手段、
を備えることを特徴とする付記４又は５に記載の撮像装置。
［付記７］
表示手段と、撮像手段とを備える撮像装置が実行する画像処理方法であって、
本撮像装置の所定の移動方向に沿って、前記撮像手段により連続的に撮像された複数の画像から合成画像を生成する生成ステップと、
本撮像装置の移動方向又は移動量を取得する取得ステップと、
前記取得ステップで取得された移動方向又は移動量に基づいて、本撮像装置の移動方向が所定の移動方向から外れたことを報知する報知ステップと
を含むことを特徴とする画像処理方法。
［付記８］
表示手段と、撮像手段とを備える撮像装置のコンピュータを、
本撮像装置の所定の移動方向に沿って、前記撮像手段により連続的に撮像された複数の画像から合成画像を生成する合成手段、
本撮像装置の移動方向又は移動量を取得する取得手段、
前記取得手段により取得された移動方向又は移動量に基づいて、本撮像装置の移動方向が所定の移動方向から外れたことを報知する報知手段
として機能させることを特徴とするプログラム。
【符号の説明】
【００８０】
１・・・デジタルカメラ（撮像装置）、１１・・・ＣＰＵ（報知手段、ルート生成手段、第１の表示制御手段、第２の表示制御手段、移動領域設定手段、エラー制御手段）、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１５・・・光学系、１６・・・撮像部（撮像手段）、１７・・・画像処理部（合成手段、簡易合成手段）、１８・・・記憶部、１９・・・表示部（表示手段）、２０・・・操作部、２１・・通信部、２２・・・センサ部（取得手段）、２３・・・ドライブ、３１・・・リムーバブルメディア、４１・・・シャッタスイッチ、１１１・・・ルート生成部、１１２・・・移動領域設定部、１１３・・・表示制御部、１１３Ａ・・・撮像画像制御部、１１３Ｂ・・・ルート制御部、１１４・・・エラー制御部、１１５・・・報知部、１７１・・・画像取得部、１７２・・・簡易合成部、１７３・・・合成部
【特許請求の範囲】
【請求項１】
表示手段と、
撮像手段と、
本撮像装置の所定の移動方向に沿って、前記撮像手段により連続的に撮像された複数の画像から合成画像を生成する合成手段と、
本撮像装置の移動方向又は移動量を取得する取得手段と、
前記取得手段により取得された移動方向又は移動量に基づいて、本撮像装置の移動方向が所定の移動方向から外れたことを報知する報知手段と、
を備えることを特徴とする撮像装置。
【請求項２】
撮像方向を指示するルートを生成するルート生成手段と、
前記撮像手段により撮像される画像と前記ルート生成手段により生成されるルートとを、前記撮像方向の軸を基準として、前記表示手段に表示させるよう制御する第１の表示制御手段と、
前記第１の表示制御手段の制御により表示される画像を前記取得手段により取得された前記移動方向又は前記移動量に応じた位置で表示させるよう制御する第２の表示制御手段と、
前記報知手段は、前記第１の表示制御手段の制御により表示されるルートを前記取得手段により取得された前記撮像方向と直交する方向の移動量に応じた位置で表示させるよう制御することで、本撮像装置の移動方向が所定の移動方向から外れたことを報知する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記報知手段は、前記表示手段による表示又は音声出力手段による音声出力により、撮像装置の移動方向を変更するよう報知することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記ルートの外側の前記撮像方向と直交する方向の所定の領域を、前記ルートの移動可能領域として設定する移動領域設定手段とを更に備え、
前記報知手段は、前記移動可能領域を限度に、前記ルートを前記表示手段に表示させることで、本撮像装置の移動方向が所定の移動方向から外れたことを報知する、
ことを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記撮像手段により撮像される画像のうち、前記取得手段により取得された前記撮像方向と直交する方向の移動量が前記移動可能領域を超える撮像時に撮像された画像を合成することなく、前記取得手段により取得した前記撮像方向と直交する方向の移動量が前記移動可能領域を超えない画像を順次合成することで簡易合成画像を生成する簡易合成手段、
を備えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記取得手段が前記移動可能領域を超える前記移動量を所定時間継続して取得することを条件に、前記連続的な撮像を終了するエラー制御手段、
を備えることを特徴とする請求項４又は５に記載の撮像装置。
【請求項７】
表示手段と、撮像手段とを備える撮像装置が実行する画像処理方法であって、
本撮像装置の所定の移動方向に沿って、前記撮像手段により連続的に撮像された複数の画像から合成画像を生成する生成ステップと、
本撮像装置の移動方向又は移動量を取得する取得ステップと、
前記取得ステップで取得された移動方向又は移動量に基づいて、本撮像装置の移動方向が所定の移動方向から外れたことを報知する報知ステップと
を含むことを特徴とする画像処理方法。
【請求項８】
表示手段と、撮像手段とを備える撮像装置のコンピュータを、
本撮像装置の所定の移動方向に沿って、前記撮像手段により連続的に撮像された複数の画像から合成画像を生成する合成手段、
本撮像装置の移動方向又は移動量を取得する取得手段、
前記取得手段により取得された移動方向又は移動量に基づいて、本撮像装置の移動方向が所定の移動方向から外れたことを報知する報知手段
として機能させることを特徴とするプログラム。
【請求項１】
表示手段と、
撮像手段と、
本撮像装置の所定の移動方向に沿って、前記撮像手段により連続的に撮像された複数の画像から合成画像を生成する合成手段と、
本撮像装置の移動方向又は移動量を取得する取得手段と、
前記取得手段により取得された移動方向又は移動量に基づいて、本撮像装置の移動方向が所定の移動方向から外れたことを報知する報知手段と、
を備えることを特徴とする撮像装置。
【請求項２】
撮像方向を指示するルートを生成するルート生成手段と、
前記撮像手段により撮像される画像と前記ルート生成手段により生成されるルートとを、前記撮像方向の軸を基準として、前記表示手段に表示させるよう制御する第１の表示制御手段と、
前記第１の表示制御手段の制御により表示される画像を前記取得手段により取得された前記移動方向又は前記移動量に応じた位置で表示させるよう制御する第２の表示制御手段と、
前記報知手段は、前記第１の表示制御手段の制御により表示されるルートを前記取得手段により取得された前記撮像方向と直交する方向の移動量に応じた位置で表示させるよう制御することで、本撮像装置の移動方向が所定の移動方向から外れたことを報知する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記報知手段は、前記表示手段による表示又は音声出力手段による音声出力により、撮像装置の移動方向を変更するよう報知することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記ルートの外側の前記撮像方向と直交する方向の所定の領域を、前記ルートの移動可能領域として設定する移動領域設定手段とを更に備え、
前記報知手段は、前記移動可能領域を限度に、前記ルートを前記表示手段に表示させることで、本撮像装置の移動方向が所定の移動方向から外れたことを報知する、
ことを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記撮像手段により撮像される画像のうち、前記取得手段により取得された前記撮像方向と直交する方向の移動量が前記移動可能領域を超える撮像時に撮像された画像を合成することなく、前記取得手段により取得した前記撮像方向と直交する方向の移動量が前記移動可能領域を超えない画像を順次合成することで簡易合成画像を生成する簡易合成手段、
を備えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記取得手段が前記移動可能領域を超える前記移動量を所定時間継続して取得することを条件に、前記連続的な撮像を終了するエラー制御手段、
を備えることを特徴とする請求項４又は５に記載の撮像装置。
【請求項７】
表示手段と、撮像手段とを備える撮像装置が実行する画像処理方法であって、
本撮像装置の所定の移動方向に沿って、前記撮像手段により連続的に撮像された複数の画像から合成画像を生成する生成ステップと、
本撮像装置の移動方向又は移動量を取得する取得ステップと、
前記取得ステップで取得された移動方向又は移動量に基づいて、本撮像装置の移動方向が所定の移動方向から外れたことを報知する報知ステップと
を含むことを特徴とする画像処理方法。
【請求項８】
表示手段と、撮像手段とを備える撮像装置のコンピュータを、
本撮像装置の所定の移動方向に沿って、前記撮像手段により連続的に撮像された複数の画像から合成画像を生成する合成手段、
本撮像装置の移動方向又は移動量を取得する取得手段、
前記取得手段により取得された移動方向又は移動量に基づいて、本撮像装置の移動方向が所定の移動方向から外れたことを報知する報知手段
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−７０１１８（Ｐ２０１３−７０１１８Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０５０７５（Ｐ２０１１−２０５０７５）
【出願日】平成２３年９月２０日（２０１１．９．２０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２０日（２０１１．９．２０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]