説明

カメラ付き情報端末装置

【課題】情報端末処理を妨げずに動画に近い画像情報を表示できるようにする。
【解決手段】情報端末処理系10Aの制御を司る第1の制御部30と、撮像カメラ処理系10Bの制御を司る第2の制御部50と、これら制御部との間でのデータ授受を行う第1のインタフェース部90と、撮像信号を表示部32に表示するための第2のインタフェース部80とを有する。情報端末処理系からの指示に基づいて第1のインタフェース部を介して撮像カメラ処理系が制御される。被写体撮像時には、第2のインタフェース部を介して撮像信号(画像データ)が電子ビューファインダとして使用される表示部に供給されて被写体像が表示される。制御部を分けることで処理負担が軽減されるので、被写体撮像時にはある程度の画質を保ちながら、毎秒10フレーム程度の動画に近い画像を表示させることができる。

【発明の詳細な説明】
【0001】
【発明の属する技術分野】
この発明は、カメラ付き情報端末装置に関する。詳しくは、パソコンなどの外部周辺機器からの情報などをダウンロードして表示部に表示したりする情報端末処理系の他に、内蔵された撮像系で撮像した被写体像を同じ表示部に間欠表示するための撮像カメラ処理系を設け、さらに情報端末処理系と撮像カメラ処理系のそれぞれを制御する制御部を設けると共に、情報端末処理系から撮像カメラ処理系を制御するためのインタフェース部と、撮像カメラ処理系で得た画像情報を表示部に表示するためのインタフェース部を設けることで、それぞれの制御部での負荷を軽減しながら被写体像の間欠表示を可能にしたものである。
【0002】
【従来の技術】
携帯型の端末装置に別の携帯型の端末装置を連結したり、内部に搭載したりすることで、それぞれの端末装置で保有する機能を共有してそれぞれの情報の授受を行うことのできる端末装置が知られている。例えば、携帯電話にデジタルカメラを搭載したり(例えば、特許文献1)、携帯形の情報端末装置(PDA(Personal Digital Assistants)にデジタルカメラを連結して、情報端末装置にカメラで撮った画像を表示させるようにしたものが知られている(例えば、特許文献2)。
【0003】
【特許文献1】
特開2002−176572号公報
【特許文献2】
特開2002−141977号公報
【0004】
特許文献2は、外部のデジタルカメラを情報端末装置に連結する例であるが、これを内蔵させるようにするには、図2に示すような構成が考えられる。
図2において、このカメラ内蔵型の情報端末装置(以下カメラ付き情報端末装置と言う)10は、装置全体の制御を司るCPU構成の制御部12を有する。この制御部12は情報端末としての処理、つまり電子メール処理、アドレス帳、スケジュール管理などの各種情報処理、音楽などのメディアを記録再生する音声処理などを行うと共に、デジタルカメラの処理も行う。デジタルカメラの処理とは撮像処理、撮像された撮像信号の圧縮処理、撮像信号の表示処理などである。
【0005】
そのため、この制御部12には、情報処理機能としてペン付きスタイラス(図示はしない)による入力選択が可能な表示部(例えば液晶表示部)14が接続されると共に、外部の周辺機器例えばパソコンとの間での通信を行って情報の授受を行う送受信処理部16が設けられている。さらに内部のメモリ手段(RAMなど)にストアされている各種の情報を処理して表示部14に表示するための情報処理部18などが設けられている。
【0006】
さらに被写体像20を撮像する撮像系22が設けられ、ここで得られた撮像信号は撮像信号処理系24で例えば圧縮処理され、圧縮処理された撮像信号はメモリ手段(RAMなど)26に蓄えられると共に、表示部14に表示される。
表示部14には撮像系22で撮像された撮像信号の一部が間欠的にスチル画像として表示される。
【0007】
【発明が解決しようとする課題】
ところで、図2のように構成する場合には、1つの制御部12で情報処理の他に、カメラ処理も行わなければならないので、どうしても処理速度が遅くなってしまう。特に、表示部14に表示される画像として間欠的ではあるが、ある程度の画質を保ちながら毎秒10フレーム程度の画像情報を表示部14に送り、あたかも連続した画像表示処理を、装置本来の処理である情報処理と並列して実行しようとすると、制御部12での負荷が大きくなってしまう。ある程度の画質とは、通常のデジタルカメラで要求される程度の画質であって、圧縮処理後の画素数として(320×240ピクセル)程度の解像度を持った画質を指す。
【0008】
このような画質を持つ撮像信号を表示部14に送ると共に、情報端末処理と、撮像カメラ処理とを非同期で処理することになると、制御部(中央演算処理装置CPU)12単体での負荷が大きくなるため、画像表示処理速度も遅くなってしまう。結果として毎秒数フレーム程度の送信処理および表示処理が限界となってしまう。これでは、表示部14に表示される画像の動きが不自然になってしまう。また、被写体像を撮像しているときには、表示部14は電子ビューファインダとして機能した方が好ましいので、連続的な画像表示ができないときには、電子ビューファインダとして十分機能しているとは言い難いからである。
【0009】
特許文献1の場合でも、表示部に表示される画像の画質は通常のデジタルカメラより劣り、しかも毎秒数フレーム程度のスチル画像のみの表示であるから、動画的表示とはほど遠く図2と同様な問題を惹起する。
【0010】
そこで、この発明はこのような従来の課題を解決したものであって、特に画質を落とすことなく、動画的な撮像情報を処理して表示できるようにしたカメラ付き情報端末装置を提案するものである。
【0011】
【課題を解決するための手段】
上述の課題を解決するため、請求項1に記載したこの発明に係るカメラ付き情報端末装置では、表示された内部の情報を選択すると共に、外部端末との間で行った外部の情報を表示部に表示できるようにした情報端末処理系と、被写体像を撮像して得た光学像を撮像信号に変換すると共に、上記表示部にこの被写体像を表示できる撮像カメラ処理系とを備えたカメラ付き情報端末装置であって、
上記情報端末処理系の制御を司る第1の制御部と、
上記撮像カメラ処理系の制御を司る第2の制御部と、
これら第1および第2の制御部との間でのデータ授受を行う第1のインタフェース部と、
上記撮像カメラ処理系で撮像して得た撮像信号を上記表示部に表示するための第2のインタフェース部とを有し、
上記情報端末処理系からの指示に基づいて上記第1のインタフェース部を介して上記撮像カメラ処理系が制御されると共に、
上記第2のインタフェース部を介して上記撮像信号が上記表示部に供給されて上記被写体像がこの表示部上に表示されるようになされたことを特徴とする。
【0012】
この発明では、装置全体の制御を司る制御部(中央演算処理装置)として、主として情報の端末処理を行う制御部(第1の制御部)と、主としてカメラ撮像処理を行う制御部(第2の制御部)とに分けることで非同期で発生する処理負荷の軽減を図る。
【0013】
第1の制御部では通常の情報端末処理を行うものであり、具体的には表示部による入力選択や画像の表示処理、外部機器からの情報取り込みおよび表示処理などの一般的な情報端末処理を行う。これに対して、カメラ制御特にズーム処理や絞り処理などの光学系の処理や撮像処理、さらにはデジタル・シグナル・プロセッサ(DSP)による圧縮処理などのカメラ制御処理は第2の制御部によって行われる。そして、光学系の処理などを含めたカメラ撮像処理が必要な場合には、第1の制御部と第2の制御部とをインタフェースで連結し、光学系に対するズーム処理や撮像処理、さらにはDSPによる圧縮処理などに対する第2の制御部に対する命令(コマンド)を、第1の制御部を介して行えるようにする。こうすることで情報端末処理とカメラ撮像処理を別個独立に、互いの処理速度などに影響を与えることなく処理できる。
【0014】
そしてこれらとは別に、撮像カメラ処理系で取得した撮像信号は第2のインタフェース部を介して表示部に供給される。第2のインタフェース部は表示部で画像を表示するために必要な信号フォーマットに変換するため、その前置処理としてのエンコード処理などを行うもので、この処理系および第1の制御部をそれぞれ介して表示部に供給される。第1の制御部では表示処理のみを実行すればよいので、処理負荷は余りかからない。
【0015】
このような表示処理系を新たに設けることで、動画に近い撮像信号を送ってこれを被写体像として表示させることができる。つまり、例えば(320×240ピクセル)程度の画質(圧縮画像の場合)を保ちながら、毎秒10フレーム程度の画像を表示させることができる。この画像表示処理は本来の情報端末処理やカメラ撮像処理を妨げるものではないので、間欠的ではあるが、動画的な被写体像を表示部に表示させることが可能になり、被写体撮像時には、表示部を電子ビューファインダとして十分機能させることができる。
【0016】
【発明の実施の形態】
続いて、この発明に係るカメラ付き情報端末装置の一実施形態を図面を参照して詳細に説明する。
図1はこの発明に係る携帯型のカメラ付き情報端末装置10の要部の系統図を示すものであり、このカメラ付き情報端末装置10は情報端末系10Aと撮像カメラ処理系10Bとからなる。
【0017】
情報端末系10Aは、いわゆる携帯端末装置(PDA)と同じような機能を持つもので、情報端末処理全体の制御を司るCPUからなる制御部(第1の制御部)30を有する。そして情報端末処理を行うためのオペレーティング・システム(OS)や、アプリケーション(ドライバアクセサリー)用のプログラムなどは何れもROM31にストアされている。
【0018】
この第1の制御部30に関連して液晶表示素子などを使用した表示部32が設けられる。表示部32は入力兼用の表示部として構成されたもので、表示部32上に表示されたメニュー画面から特定のメニューを選択したり、特定の文字、記号などを入力することができる。メニューの選択や文字入力などは何れもペン付きスタイラス34が使用される。
【0019】
装置本体に設けられたUSB構成のインタフェースコネクタ36にはデータの送受信を行う送受信部38が接続され、パソコンなどの外部機器から送受信部38を介してダウンロードしたデータや、記録手段44から読み取ったデータなどは、第1の制御部30の制御の下で、内部に設けられたメモリ手段としてのRAM39に格納されたり、表示部32上に画像表示されたり、表示されながら加工処理(追加、削除などの修正処理)される。そのため、必要に応じて加工処理のためのデータ処理部40が第1の制御部30に関連して設けられる。加工処理されたデータはRAM39に格納されたり、記録手段44に記録される。記録手段44は装置本体に対して着脱自在に構成することができ、その場合には記録手段44としてはメモリカードなどを使用することができる。
【0020】
このように第1の制御部30には複数の機能を実現するため、上述したオペレーティング・システムの上で、表示部32上の制御処理、入力処理などが実行されることになる。
【0021】
撮像カメラ処理系10Bにも、CPUで構成された制御部(第2の制御部)50が設けられる。この第2の制御部50もメモリ手段であるROM52に格納されたオペレーティング・システムに基づいて画像取り込みを始めとして各種のカメラ制御処理がなされる。例えば被写体の撮像から圧縮などの信号処理、信号処理された画像情報をファイルとして保存したりする他に、デジタルカメラで行われている通常のメカ系の処理が行われる。
【0022】
まず、被写体像20は光学撮像系60に導かれる。光学撮像系60はいわゆる定焦点式のものではなく、可変焦点式に構成されており、そのための光学レンズ系62や、絞り装置64が設けられる。光学レンズ系62および絞り装置64などは何れも駆動手段66によって制御される。駆動手段66はモータとそのドライバで構成される。
【0023】
大きさや明るさが調整された被写体像20は撮像素子であるこの例ではCCD68に結像されて撮像信号(画像信号)に変換される。撮像信号を得るためCCD駆動用の信号発生器(シグナル・ジェネレータ)69が設けられており、この信号発生器69に対する制御および駆動手段66に対する制御は何れも第2の制御部50から出力されるコマンドによって行われる。
【0024】
撮像信号は信号処理回路70に供給される。信号処理回路70にはアナログ信号のプロセッサ72が設けられ、ここでノイズ処理を行うため相関二重サンプリング処理がなされたり、感度調整のためのプログラマブル・ゲイン・アンプによるゲイン調整処理、さらには輝度信号Yと色信号Cからなるアナログ撮像信号への変換処理などが行われる。ノイズ処理およびゲイン調整処理が行われたアナログ撮像信号は、A/D変換器74で所定ビット数のデジタル撮像信号に変換される。デジタル変換された撮像信号は後段のデジタル・シグナル・プロセッサ(DSP)76において圧縮処理などがワーキング用のRAM78を用いて行われる。高精細画像の圧縮例として、この例ではJPEG(Joint Photographic Experts Group)方式が採用され、このJPEG方式によって撮像信号が圧縮される。圧縮された撮像信号はファイル形式でメモリ手段としてのRAM54に保存される。撮像開始タイミングを始めとして、上述したような各種信号処理は何れも第2の制御部50からの指令に基づいて行われる。
【0025】
DSP76に供給された圧縮前のデジタル撮像信号若しくはこのDSP76で圧縮処理されたデジタル撮像信号は第2のインタフェース部80を介して情報端末系10A側に供給されてその表示部32に表示される。したがって撮像中は表示部32は電子ビューファインダ(EVF)として機能する。撮像中は表示部32を電子ビューファインダとして兼用できるため、専用のビューファインダを設ける必要はない。
【0026】
そのため、この第2のインタフェース部80はビデオエンコーダ82を有する。デジタル画像データはビデオエンコーダ82において、表示部32で表示できるような信号フォーマット(この例ではR、G、Bの原色信号)に変換(エンコード処理)される。その後、このデジタル画像データはバス変換器84に供給されるが、このバス変換器84は後段に設けられたバッファ手段この例ではFIFO(First In First Out)形式のバッファ手段86で、デジタル画像データをフレーム単位で受け取ることができるバス形式に変換するためのものである。バッファ手段86に一時的に蓄積されたデジタル画像データは第1の制御部30を介して表示部32にフレーム単位で供給される。ビデオエンコーダ82に供給される画像データはアナログデータであってもよい。
【0027】
ここで、第1の制御部30と第2の制御部50とは非同期で動作しているので、デジタル画像データを受け取るタイミングは第1の制御部30側の取り込みタイミングに依存する。上述したようにこの例では毎秒10フレーム程度の画像データの取り込みが行われるので、表示部32には毎秒10フレーム単位で被写体像が表示される。つまり、撮像時には表示部32は電子ビューファインダとして機能し、表示画像のうち適当なタイミング(シャッタを押したタイミングに相当する)のとき、特定の表示画像データがRAM54に取り込まれる。
【0028】
上述した第1の制御部30と第2の制御部50とは第1のインタフェース部90を介してコマンドなどの授受が行われる。そのため、第1のインタフェース部90は第1の制御部側インタフェース92と、第2の制御部側インタフェース94とで構成され、それぞれが内部接続される。この例ではUSB(Universal Serial Bus)によって連結され、このUSBを介してコマンドなどの送受信が行われる。そのため、実施の形態では第1の制御部側インタフェース92はUSBホストドライバとして機能し、第2の制御部側インタフェース94はUSBデバイスドライバとして機能する。そして、USBホストドライバ92は第1の制御部30によって制御され、USBデバイスドライバ94は第2の制御部50によって制御されることになる。
【0029】
この第1のインタフェース部90が設けられることによって、第1の制御部30は撮像カメラ処理系10Bのマスタとなり、撮像カメラ処理系10Bは非同期ではあるが、情報端末系10Aからの指令をUSBを介して受信することになる。したがって撮像カメラ処理系10Bに対するカメラ制御(ズームやワイド処理、被写体の取り込みタイミング(シャッター処理))はこの第1のインタフェース部90を介して第2の制御部50にその指令(命令)が与えられる。また、被写体に対する取り込みタイミングが指示されると、情報端末系10Aの処理とは全く無関係に第2の制御部50側では撮像信号に対する圧縮処理やファイル格納処理などが実行される。
ファイル格納処理が終了するとそのステータス情報が第1のインタフェース部90を経由して第1の制御部30側に伝送される。このステータス情報を確認した上で、第1の制御部30側からRAM54に格納された画像ファイルの読み出し指示が第1のインタフェース部90を介して行われる。指定された画像ファイルは第1のインタフェース部90を介して情報端末系10Aに取り込まれて、例えばRAM39や記録手段44などに格納されたり、表示部32に画像表示される。画像データは圧縮されているのでデータ転送速度は速い。格納された画像ファイルは送受信部38を介してパソコンなどの外部機器に転送することができる。あるいは、インタフェースコネクタ36に携帯電話やモデム(何れも図示しない)を接続することで、この画像ファイルをメールの添付情報として外部に送信できる。
【0030】
ここで、上述した光学撮像系60におけるズームやワイド処理、シャッター処理などは、表示部32に表示された操作キー群(ソフト表示キー)より該当するキーをペン付きスタイラス34で指示することで行われる。装置本体にこれら該当するキー入力部(図示はしない)を第1の制御部30に関連させて設け、このキー入力部を操作することで行ってもよい。
【0031】
また、上述したビデオエンコーダ82の出力を始めとしてUSBホストドライバ92およびUSBデバイスドライバ94の各出力は図1に示すように直接第1の制御部30を介して表示部32に表示することもできれば、第1の制御部30を介してRAM39や記録手段44に格納することもできる。
【0032】
以上の処理を整理すると以下のようになる。
まず、被写体の撮像時にはペン付きスタイラス34を使用して被写体撮像モードが選択される。撮像モードの指示が第1の制御部30側から第1のインタフェース部90を経由して第2の制御部50に送られる。この撮像指示やズーム、ワイドなどの撮像条件の指示が入ると、第2の制御部50では撮像処理のための全ての処理がこの第2の制御部50からの指示に基づいて行われる。被写体撮像の過程では、ドライバ66に対する制御、信号発生器69による撮像素子68の制御、アナログおよびデジタル処理などの制御が頻繁に発生する。頻繁に発生するこれらの制御は何れも第2の制御部50のみで行われ、情報端末処理系10Aとはその処理が分離されているから、第2の制御部50の処理負担が重くなるようなことはない。
【0033】
さらに、第2のインタフェース部80における処理も第2の制御部50からの指示で行われ、画像データはフレーム単位で第2の制御部50の処理タイミングに則って順次バッファ手段86に取り込まれる。そして、第1の制御部30側の処理タイミングに則って、今度はバッファ手段86の画像データをフレーム単位で読み出し、読み出した画像データが表示部32に供給されてこれが被写体像として順次表示される。毎秒10フレーム程度読み出され、そして表示される。
被写体像の表示期間つまり表示部32を電子ビューファインダとして使用する期間は、後述するように被写体像に対するキャプチャー指示(RAM54への取り込み指示)があるまで実行され、キャプチャーされた被写体像がスチル画像として所定時間連続して表示部32に表示される。
【0034】
被写体像をキャプチャー(取り込む)場合には、ユーザは第1の制御部30を介して第1のインタフェース部90を経由しながら第2の制御部50に取り込み指示を送る。取り込み指示があると第2の制御部50ではDSP76に対し画像圧縮処理を指示して画像データを生成する。生成された画像データはファイル化してRAM54に格納される。RAM54への格納が終了すると、終了ステータス情報が第1のインタフェース部90を経由して第1の制御部30側に転送される。
【0035】
RAM54に格納された画像ファイルは第1の制御部30側からの指示に基づいて転送処理が実行される。第1の制御部30側では上述した終了ステータス情報を確認した上でファイル転送指示が発行される。第1の制御部30側に転送された画像データに対する記録手段44などに対する記録処理や、外部への転送処理は表示部32に表示されたメニュー画面を利用して行われる。
【0036】
上述した実施の形態では、この発明を主として情報端末処理を行う装置に対してデジタルカメラを内蔵させた構成について説明したが、ズーム処理やワイド処理などを行うことができる通常のデジタルカメラに情報端末処理機能を搭載させた携帯情報端末装置にもこの発明を適用できる。この場合には第2の制御部を介して第1の制御部が制御される構成となる。
【0037】
【発明の効果】
以上説明したようにこの発明では、情報端末処理を行う第1の制御部と、内蔵撮像系を使用した撮像処理を行う第2の制御部を設け、これらを第1のインタフェース部で結び、第1の制御部を介して撮像処理に関する指示を第2の制御部に与えるようになすと共に、撮像された撮像信号を第2のインタフェース部を介して第1の制御部に関連して設けられた入力選択を兼用した表示部に供給するようにしたものである。
【0038】
これによれば、撮像処理に関する指示を第1の制御部を介して第2の制御部に与えるものの、第2の制御部では第1の制御部での情報端末処理内容に制限されることなく、撮像処理を実行できると共に、その撮像信号を表示部側に伝送できる。その結果、ズーム操作など、通常のハンデービデオカメラと同じような光学撮像処理をしながら被写体像を撮像でき、その撮像信号を間欠表示ではあるが、動画に近い毎秒フレーム数の画像信号を画質を低下させることなく表示部側に送ることができ、より自然な被写体像を表示部に再現できる特徴を有する。
【0039】
また、第1のインタフェース部を介して転送される画像データは圧縮された画像データであるためデータ転送時間を短縮できる実益を有する他、第2のインタフェース部を介して表示部に撮像時におけるビューファインダ情報を送ることができるため、特別なビューファインダを付設する必要がなくなるなどの効果が得られる。
【0040】
したがってこの発明はデジタルカメラを内蔵したPDAなどのカメラ付き情報端末装置などに適用して極めて好適である。
【図面の簡単な説明】
【図1】この発明に係るカメラ付き情報端末装置の実施の形態を示す要部の系統図である。
【図2】カメラ付き情報端末装置の従来例を示す系統図である。
【符号の説明】
10・・・情報端末装置、10A・・・情報端末処理系、10B・・・撮像カメラ処理系、30・・・第1の制御部、32・・・表示部、50・・・第2の制御部、60・・・光学系、68・・・撮像部(CCD)、76・・・DSP、80・・・第2のインタフェース部、82・・・エンコーダ、90・・・第1のインタフェース部、92・・・USBホストドライバ、94・・・USBデバイスドライバ

【特許請求の範囲】
【請求項1】
表示された内部の情報を選択すると共に、外部端末との間で行った外部の情報を表示部に表示できるようにした情報端末処理系と、被写体像を撮像して得た光学像を撮像信号に変換すると共に、上記表示部にこの被写体像を表示できる撮像カメラ処理系とを備えたカメラ付き情報端末装置であって、
上記情報端末処理系の制御を司る第1の制御部と、
上記撮像カメラ処理系の制御を司る第2の制御部と、
これら第1および第2の制御部との間でのデータ授受を行う第1のインタフェース部と、
上記撮像カメラ処理系で撮像して得た撮像信号を上記表示部に表示するための第2のインタフェース部とを有し、
上記情報端末処理系からの指示に基づいて上記第1のインタフェース部を介して上記撮像カメラ処理系が制御されると共に、
上記第2のインタフェース部を介して上記撮像信号が上記表示部に供給されて上記被写体像がこの表示部上に表示されるようになされたことを特徴とするカメラ付き情報端末装置。
【請求項2】
上記第1および第2の制御部は、CPUで構成されることを特徴とする請求項1記載のカメラ付き情報端末装置。
【請求項3】
上記第1のインタフェース部は、USBインタフェースで構成されることを特徴とする請求項1記載のカメラ付き情報端末装置。
【請求項4】
上記第1のインタフェース部は、上記第1の制御部に関連して設けられたUSBドライバと、上記第2の制御部に関連して設けられたUSBドライバとで構成されることを特徴とする請求項1記載のカメラ付き情報端末装置。
【請求項5】
上記第1の制御部に設けられたUSBドライバはホストドライバであり、
上記第2の制御部に設けられたUSBドライバはデバイスドライバであることを特徴とする請求項4記載のカメラ付き情報端末装置。
【請求項6】
上記第2のインタフェース部は、上記表示部を電子ビューファインダとして上記撮像信号に関する被写体像を表示するためのエンコーダを有することを特徴とする請求項1記載のカメラ付き情報端末装置。
【請求項7】
上記撮像カメラ処理系には、光学撮像系の他に、上記撮像信号を処理するデジタル・シグナル・プロセッサを具備することを特徴とする請求項1記載のカメラ付き情報端末装置。

【図1】
image rotate



【図2】
image rotate


【公開番号】特開2004−215174(P2004−215174A)
【公開日】平成16年7月29日(2004.7.29)
【国際特許分類】
【出願番号】特願2003−2377(P2003−2377)
【出願日】平成15年1月8日(2003.1.8)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】