内視鏡画像再生装置
【課題】動画中のある時点の画像が被検体のどの位置でどの方向から撮影したかを容易に把握できる内視鏡画像再生装置を提供することである。
【解決手段】内視鏡挿入部先端の光学系と撮像素子で被検体を撮像する撮像部６と、撮像された信号に基づき画像データを生成する画像生成手段８と、撮像部の３軸加速度を計測する加速度計測手段７と、生成された画像データと計測された加速度データを記憶媒体に記録し動画ファイルを生成する動画ファイル生成手段１２１と、記録された動画ファイルから画像データと加速度データを読み出す読み出し手段１２２と、動画のある時点の撮像部の位置と方向を加速度に基づき算出する算出手段１３１と、算出された動画のある時点の撮像部の位置と方向を該時点の画像データと関連付ける関連付け手段１３２と、撮像部の位置に基づき動画のある範囲で挿入経路を算出する挿入経路算出手段１３３とを有する。
【解決手段】内視鏡挿入部先端の光学系と撮像素子で被検体を撮像する撮像部６と、撮像された信号に基づき画像データを生成する画像生成手段８と、撮像部の３軸加速度を計測する加速度計測手段７と、生成された画像データと計測された加速度データを記憶媒体に記録し動画ファイルを生成する動画ファイル生成手段１２１と、記録された動画ファイルから画像データと加速度データを読み出す読み出し手段１２２と、動画のある時点の撮像部の位置と方向を加速度に基づき算出する算出手段１３１と、算出された動画のある時点の撮像部の位置と方向を該時点の画像データと関連付ける関連付け手段１３２と、撮像部の位置に基づき動画のある範囲で挿入経路を算出する挿入経路算出手段１３３とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡画像再生装置に係り、特に内視鏡画像が被検体のどの位置でどの方向から撮影されたかを特定できる内視鏡画像再生装置に関する。
【背景技術】
【０００２】
従来、内視鏡装置は、観察対象に挿入部を挿入して観察画像を得る内視鏡と、この観察画像を表示する表示手段を備えて構成したものが一般的に使用されている。観察対象としては、体腔内のほか、配管やエンジン等の構造物の内部がある。特に配管の内部を検査する際には、長尺な挿入部を有する内視鏡装置が使用される。そして、配管の形状が複雑で長い場合には、挿入するに従って挿入部先端の位置や方向が分かりにくい。
【０００３】
特許文献１には、挿入部先端に３軸加速度センサを搭載するとともに、挿入部先端の移動距離を計測する挿入距離検出部を設けることで、挿入部先端の位置や方向を把握できる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１３３６８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方で、配管などの被検体の実際の検査においては、検査者は時間的な制約から、検査現場では詳細な検査を行わず、動画記録機能などを利用することで被検体の一通りの画像を撮影して動画ファイルとして記録するにとどめておき、後に動画ファイルを再生して詳細な検査を行うことがある。
【０００６】
このような検査の場合、動画内の画像が被検体のどの位置でどの方向から撮影されたか分からなくなるという問題があった。
そこで、本発明は上記の問題に鑑み、動画中のある時点の画像が被検体のどの位置でどの方向から撮影したかを容易に把握できる内視鏡画像再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明による内視鏡画像再生装置は、内視鏡挿入部の先端に設けられた光学系と撮像素子により被検体を撮像する撮像部により撮像された撮像信号に基づいて画像データを生成する画像生成手段と、前記画像生成手段により生成された前記画像データと前記撮像部の３軸加速度を計測する加速度計測手段により計測された加速度データとをともに連続して記憶媒体に記録することによって動画ファイルを生成する動画ファイル生成手段と、前記記憶媒体に記録された前記動画ファイルから画像データと加速度データを読み出す読み出し手段と、動画のある時点における前記撮像部の位置と方向を加速度データに基づいて算出する算出手段と、算出された動画のある時点における前記撮像部の位置と方向を該時点の画像データと関連付ける関連付け手段と、前記算出手段が算出する前記撮像部の位置に基づいて動画のある範囲での挿入経路を算出する挿入経路算出手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、動画中のある時点の画像が被検体のどの位置でどの方向から撮影したかを容易に把握できる内視鏡画像再生装置を実現できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態の内視鏡装置の構成を示すブロック図。
【図２】ＡＶＩファイルの構造の例を説明する図。
【図３】図２のＡＶＩファイルにおける、動画ファイルに格納される加速度センサデータの詳細な構造を示す図。
【図４】設計図として用いるＣＡＤデータから得られるパイプの例を３次元的に示す図。
【図５】図４に示すパイプのＡ点からＢ点まで挿入した際に得られる加速度センサの３軸方向の値の例を示す図。
【図６】撮像部位置テーブルを示す図。
【図７】図６の撮像部位置テーブルを作成するフローチャート。
【図８】図６に示した撮像部位置テーブルの位置の値を３次元座標上にプロットし、かつ図４に示した設計図のパイプに重ねた状態を示す図。
【図９】管路内で撮像される内視鏡画像の動画フレーム、及び、その動画フレームを撮像する撮像部が挿入される管路内の挿入経路を示す挿入経路図を画面上に表示した状態を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について図面を参照して説明する。
［構成］
図１は本発明の一実施形態の内視鏡画像再生装置の構成を示すブロック図である。
図１において、内視鏡画像再生装置２０は、挿入部１と、本体部２と、表示装置３と、操作部４と、ＲＡＭ１４と、記録媒体１５と、パーソナルコンピュータ(以下、ＰＣ)１６とを備えている。操作部４は、位置指定手段としての機能も備えている。
【００１１】
挿入部１は、配管の管路内に挿入可能な長尺の筒状体で構成されており、内視鏡挿入部１の先端部分に先端部５を備えている。
【００１２】
先端部５は、内視鏡挿入部の先端に設けられた光学系６１とＣＣＤ等の撮像素子６２により被検体を撮像し、撮像面に入射された被写体像を光電変換し撮像信号を生成する撮像部６と、この撮像部の３軸加速度を計測する加速度計測手段としての加速度センサ７とを備える。
加速度センサ７による３軸加速度の計測は、撮像部６を管路内に挿入する過程で実施するほか、管路内から抜去する過程で実施することもできる。
【００１３】
本体部２は、画像生成手段としての画像処理部８と、加速度センサ処理部９と、グラフィック生成部１０と、画像合成部１１と、記録媒体読み書き部１２と、メイン制御部１３とを備えている。なお、グラフィック生成部１０は、挿入経路図生成手段としての機能も備えている。また、記録媒体１５には、予め配管の設計図又は敷設図となるＣＡＤデータを記録させておく。
【００１４】
上記画像処理部８は、撮像部６により撮像された撮像信号に基づいて動画の画像データを生成する。画像処理部８は、挿入部１の先端部５に内蔵されている撮像部６から出力された撮像信号が入力され、この撮像信号に対し、例えば、ガンマ補正処理、エッジ強調処理及びデジタルズーム処理等の画像処理を施し、動画の内視鏡画像データを生成する。画像処理部８は、この生成した内視鏡画像データを画像合成部１１に供給する。
【００１５】
また、挿入部１は、先端部５に、先端部５内の撮像部６の加速度に関する情報(以下、加速度データ)を検出する加速度センサ７を備える。
加速度センサ７は、例えば、３軸加速度センサであり、検出した撮像部６の加速度データに応じた信号、即ち、先端部５内の撮像部６の３軸方向の加速度値を本体部２の加速度センサ処理部９に出力する。なお、３軸加速度センサは、Ｘ軸、Ｙ軸、Ｚ軸の各検出軸を互いに直交させた形の３つのセンサを用いることによって、３次元空間内における３軸方向の加速度の大きさを得、それらをベクトル成分として合成して加速度がかかっている向きと大きさを検出できるものである。
【００１６】
加速度センサ処理部９には、加速度センサ７から出力された先端部５内の撮像部６の加速度データ信号が入力される。加速度センサ処理部９は、この加速度データ信号を入力し、重力(鉛直)方向に対する傾斜角度等を表す加速度情報に変換し、変換した加速度情報をメイン制御部１３に供給する。
【００１７】
メイン制御部１３においては、供給された加速度センサのデータに基づいて再生時に撮像部位置テーブル(図６参照)の値が算出され、撮像部位置テーブルのデータにより撮像部の位置を３次元空間座標にプロットして挿入経路ｆ(図８参照)が求められる。この挿入経路ｆのデータは、メイン制御部１３からグラフィック生成部１０に供給される。
グラフィック生成部１０は、挿入経路図生成手段１０１を備えている。グラフィック生成部１０は、先端部５内の撮像部６の管路内での位置に基づいて算出された挿入経路ｆと、該挿入経路ｆ上での撮像部の方向をインジケータｇを用いて表す挿入経路図７１とのデータを生成する。このグラフィック生成部１０からの挿入経路図７１のデータは、前記画像合成部１１に供給され、前記画像処理部８からの動画データと同一画面上に合成されて表示及び又は記録される。
なお、グラフィック生成部１０は、挿入経路ｆ上の撮像部の位置での方向を示すデータとして図９に示すようなインジケータｇを生成する。
【００１８】
上記画像合成部１１は、第１の表示制御手段１１１と、第２の表示制御手段１１２と、第３の表示制御手段１１３と、第４の表示制御手段１１４と、を備えている。
第１の表示制御手段１１１は、挿入経路図７１のみを表示する機能を備える。第２の表示制御手段１１２は、再生された画像データが撮影された時点での撮像部の位置と方向を関連付け手段１３２により取得して、画像データおよび挿入経路図データをともに表示する機能を備える。第３の表示制御手段１１３は、挿入経路上のある位置と関連付けられた画像データを表示する機能を備える。第４の表示制御手段１１４は、挿入経路図生成手段としてのグラフィック生成部１０により生成された挿入経路ｆ(図９参照)とＣＡＤデータから得られる被検体の形状を示す設計図データに基づくパイプ形状ｅとをともに表示する機能を備える。
【００１９】
画像合成部１１では、第４の表示制御手段１１４によって、設計図に相当するＣＡＤデータから作成した被検体のパイプ形状ｅ(図４参照)に挿入経路ｆを重ね合わせた挿入経路図７１(図９参照)を生成する。そして、第２の表示制御手段１１２によって、この挿入経路図７１と動画フレーム５１とを合成して図９に示すような画像表示領域９-1と挿入経路図表示領域９-2とを備えた合成画像を生成し、表示部３ａに表示する。
【００２０】
なお、この画像合成部１１は、メイン制御部１３による制御に応じて、内視鏡画像を表示装置３に単独で表示するための処理を行うことも可能である。
【００２１】
上記記録媒体読み書き部１２は、動画ファイル生成手段１２１と、読み出し手段１２２と、画像再生手段１２３と、を備えている。
動画ファイル生成手段１２１は、画像処理部８により生成された画像データと加速度センサ７により計測された加速度データとを共に連続して記憶媒体１５に記録することによって動画ファイルを生成する機能を備える。読み出し手段１２２は、記憶媒体１５に記録された動画ファイルから画像データと加速度データを読み出す機能を備える。画像再生手段１２３は、動画または動画中の画像を再生する機能を備える。
【００２２】
記録媒体読み書き部１２には、例えば、フラッシュメモリカード等の記録媒体１５が着脱自在に接続されるようになっている。記録媒体読み書き部１２に記録媒体１５が装着された状態では、記録媒体読み書き部１２は操作部４からの記録指示に基づき、メイン制御部１３からの制御に従って画像合成部１１に供給される内視鏡画像データ及び挿入経路図７１のデータを読み出し、１つの動画ファイルとして記録媒体１５に供給して記録する。動画ファイルとしては、例えば、Motion JPEG形式のＡＶＩファイルが用いられる。
【００２３】
操作部４には、先端部５の湾曲操作及び上述した記録媒体１５への記録操作等を行うための図示しない操作スイッチ等が設けられており、検査者は、操作部４の操作スイッチを操作し、湾曲操作及び記録操作等の所望の操作を行う。操作部４は、検査者の操作に応じた操作信号をメイン制御部１３に供給する。
【００２４】
上記メイン制御部１３は、操作部４からの操作信号に応じた処理を行うように各回路部等を制御し、内視鏡画像再生装置２０全体の動作制御を行う。
【００２５】
メイン制御部１３は、動画のある時点における撮像部６の位置と方向を加速度に基づいて算出する算出手段１３１と、算出された動画のある時点における撮像部６の位置と方向を該時点の画像と関連付ける関連付け手段１３２と、算出手段１３１が算出する撮像部６の位置に基づいて動画のある範囲での挿入経路を算出する挿入経路算出手段１３３と、を備えている。
【００２６】
なお、操作部４は、表示されている挿入経路ｆ上でカーソルとしての撮像部位置インジケータｇを移動させて、挿入経路図７１(図９参照)における撮像部位置を指定する位置指定手段としても用いられる。この場合、挿入経路ｆ上のインジケータｇの位置の変更に応じて表示画面上の動画フレーム５１も変化し、再生バー５３上のスライダ５２の位置も変化することになる。インジケータｇは、所定長の長さでかつ撮像部のある位置での撮影方向を示す機能も備えている。
【００２７】
次に、図１の内視鏡画像再生装置の動作を説明する。図２以降のいずれかの図も参照しながら説明する。
［撮影及び記録動作］
内視鏡挿入部１の先端部分(撮像部６を含む)を被検体である配管の管路内に挿入していくことによって、撮像部６が管路内部をほぼ一定速度で移動して撮影する。このとき、管路の挿入端から管路のある範囲に亘って撮像部６を移動しながら動画撮影する。撮像した撮像信号は画像処理部８で画像処理され、内視鏡画像データとして記録媒体１５に記録される。この記録動作では、メイン制御部１３における関連付け手段１３２によって、内視鏡画像データの動画フレームと、加速度センサ７からの加速度データとが関連付けられた後、記録媒体読み書き部１２によりこれらの関連付けされた動画フレーム及び加速度データが動画ファイルとして記録媒体１５に記録される。
【００２８】
［再生動作］
上記の記録動作の後に、検査者が操作部４の操作により、記録媒体１５の動画ファイルを開く操作などにより動画ファイルを開くと、メイン制御１３は、図７のフローチャートの処理により、読み出し手段１２２を制御して、前記記録媒体１５に記録された前記動画ファイルから画像データと加速度データを読み出す。図７については後述する。その後に、メイン制御部１３は、算出手段１３１を制御してその加速度データの加速度値を積分することによって、図６に示すような管路内での撮像部６の撮影位置と撮影方向を算出して撮像部位置テーブルを作成する。撮像部位置テーブルは、作成後に記録媒体１５に保存しておく。そして、この作成した撮像部位置テーブルの位置データを用いてその位置での撮像部６の撮影方向も算出する。さらに、メイン制御部１３は、挿入経路算出手段１３３を制御して、算出されている撮像部５の位置に基づいて動画のある範囲での挿入経路ｆを算出し、その挿入経路ｆを動画フレーム５１とともに表示部３ａに表示する。挿入経路ｆは、算出後に記録媒体読み書き部１２を用いて記録媒体１５に保存しておく。
なお、記録媒体１５には予め配管の設計図となるＣＡＤデータが記録してあり、管路内における撮像部６の挿入経路ｆが設計図のパイプ形状ｅに重ね合わされて、表示部３ａの画面に表示される。
【００２９】
動画フレーム５１の再生と同時に、挿入経路ｆ上にはカーソルとしての撮像部位置インジケータｇが表示される。インジケータｇは、点(・)は撮像部の位置を示し、所定長の矢印(↑)は撮像部の撮影する方向を示している。そして、動画フレーム５１の再生と連動して、該インジケータｇは撮像部６の挿入経路ｆ上を時間経過とともに移動する。つまり、このインジケータ位置の移動に対応して、管路内を撮影した動画フレーム５１も順次に表示されると同時に、図９に示す再生バー５３上の時間的な再生位置を示すスライダ５２も再生バー上を移動する。
【００３０】
なお、再生動作時に行っている撮像部位置テーブルの算出を、撮影及び記録動作時に行ってもよい。つまり、撮影及び記録動作時に、動画データと加速度データを動画ファイルとして記録媒体１５に記録した後に、撮像部位置テーブルの速度と位置データを算出して記録媒体１５に保存しておくようにしてよい。
【００３１】
なお、表示部３ａには、画像合成部１１を構成する第１乃至第４の表示制御手段１１１〜１１４によって、図９に示した表示状態以外の表示も可能である。メイン制御部１３は、第１の表示制御手段１１１を制御することによって、挿入経路図７１のみを画面上に表示することが可能である。また、メイン制御部１３は、第２の表示制御手段１１２を制御することによって、動画フレーム５１と挿入経路図７１をともに同一画面上に表示することが可能である。さらに、メイン制御部１３は、第３の表示制御手段１１３を制御することによって、挿入経路ｆ上のある撮像部位置に対応した動画フレーム５１を画面上に表示させることが可能である。さらに、メイン制御部１３は、第４の表示制御手段１１４を制御することによって、挿入経路ｆと設計図データに基づくパイプ形状ｅをともに重ねて画面上に表示することが可能である。
【００３２】
このように、本実施形態によれば、動画中のある時点の画像データが被検体のどの部分をどの方向から撮影したかを容易に把握でき、操作性、視認性及び利便性に優れた管路内点検を実施することが可能となる。
【００３３】
次に、図２を参照して記録媒体１５に記録されるＡＶＩファイルの構造について説明する。
図２は、ＡＶＩファイルの構造の例を説明するための図である。
図２に示すように、ＡＶＩファイル３０は、ＲＩＦＦ（Resource Interchange File Format）というフォーマットであり、ファイルの先頭から順に、ＬＩＳＴ“ｈｄｒｌ”で示すヘッダ部３１と、ＪＵＮＫで示すダミーチャンク３２と、ＬＩＳＴ“ｍｏｖｉ”で示すストリームデータ部３３と、ｉｄｘ１で示すインデックス３４とを有した構造となっている。
【００３４】
このヘッダ部３１は、Ａｖｉｈで示すＡＶＩメインヘッダ３５と、ＬＩＳＴ“ｓｔｒｌ”で示すビデオデータ用のストリームリスト３６と、ＬＩＳＴ“ｓｔｒｌ”で示すオーディオデータ用のストリームリスト３７とを有した構造となっている。
【００３５】
このオーディオデータ用のストリームリスト３７は、ｓｔｒｈで示すＡＶＩストリームヘッダ３８と、ｓｔｒｆで示すストリームフォーマット３９、ｓｔｒｎで示すオプションデータ４０とを有した構造となっている。
【００３６】
本実施の形態では、ヘッダ部３１のオプションデータ４０のオプションデータ内容に付加情報フラグが追加されている。この付加情報フラグは、ＡＶＩファイル３０に加速度情報が格納されているか否かを示すフラグである。ＡＶＩファイル３０に加速度センサのデータが格納されていない場合、付加情報フラグのフラグ情報は０に設定され、ＡＶＩファイル３０に加速度情報が格納されている場合、付加情報フラグのフラグ情報は１に設定される。この付加情報フラグのフラグ情報の設定は、メイン制御部１３の制御に応じて、記録媒体読み書き部１２が設定する。
【００３７】
また、ストリームデータ部３３は、単位時間毎に区切られた複数、ここでは２つのストリームデータ３３ａ及び３３ｂを有した構造となっている。なお、図２では、２つのストリームデータ３３ａ及び３３ｂのみを記載しているが、動画像の撮影時間に応じたストリームデータがストリームデータ部３３に格納される。即ち、ＡＶＩファイル３０に６０秒の動画像を記録する場合、ストリームデータ部３３は、６０個のストリームデータを有することになる。なお、各ストリームデータの構成は同一のため、以下では、ストリームデータ３３ａの構成を例に説明する。なお、ストリームデータ部３３の右側に付した符号Ａの範囲にはフレーム毎のJPEGデータを1秒分格納しており、符号Ｂの範囲には１秒分の加速度センサ値を格納している。
【００３８】
ストリームデータ領域としてのストリームデータ３３ａは、画像格納領域である３０個の画像ストリーム４１ａにより構成され、さらに、加速度情報を付加する場合、情報格納領域である情報ストリーム４２ａの領域が確保される。そして、加速度情報を付加する場合、この情報ストリーム４２ａの領域に加速度情報が格納される。この画像ストリーム４１ａには、内視鏡画像のデータが格納され、情報ストリーム４２ａには、その内視鏡画像のデータに対応付けられた加速度情報が格納される。
【００３９】
なお、単位時間あたりのストリームデータ３３ａには、３０個の画像ストリーム４１ａが格納されている、即ち、フレームレートが３０となっているが、フレームレートは３０に限定されることなく、例えば、２４であってもよい。
【００４０】
また、ストリームデータ３３ａに１つの情報ストリーム４２ａを設けているが、２つ以上の情報ストリームを設けてもよい。例えば、単位時間あたりのストリームデータ３３ａに３０個の画像ストリーム４１ａのそれぞれに対応する３０個の情報ストリームを設ける。そして、３０個の情報ストリームの領域のそれぞれに、３０個の画像ストリーム４１ａに対応する加速度情報を格納する。これにより、３０個のフレームデータに対応した３０個の加速度情報が表示されるため、正確な加速度情報を表示することができる。
【００４１】
さらに、本実施の形態では、１つのＡＶＩファイル３０に内視鏡画像及び加速度情報を格納して保存している。例えば、動画ファイルが大量にある場合、内視鏡画像のデータと、加速度情報とを別のファイルに保存していると、ファイルのコピー及び移動等が煩わしい。また、動画ファイルが大量にある場合、内視鏡画像のデータと、加速度情報とを別のファイルに保存していると、ファイルのコピー及び移動等の漏れが発生することがある。即ち、内視鏡画像のデータのファイルと、加速度情報のファイルとのいずれか一方にコピー漏れ等があると、詳細な検査ができなくなる。これに対し、本実施の形態では、１つのＡＶＩファイル３０に内視鏡画像及び加速度情報を記録するので、ファイルのコピー漏れ等の発生を防ぐことができ、ファイルの管理が容易になる。
【００４２】
なお、動画ファイルの形式は、ＡＶＩファイル３０に限定されることなく、ＭＯＶファイル等であってもよい。ＭＯＶファイルは、トラック単位で構成されており、動画に加え、テキストトラック、チャプタトラック等を含むことできる。例えば、このテキストトラックまたはチャプタトラックに加速度情報を記録することができる。
【００４３】
このような記録媒体１５に記録されたＡＶＩファイル３０は、上述したように、内視鏡画像再生装置２０で再生することも可能であるが、検査者が記録媒体１５を事務所等に持ち帰り、詳細な検査を行う場合、重量のある内視鏡画像再生装置２０も持ち運ぶことは面倒である。そこで、検査者は、記録媒体１５のみを事務所等に持ち帰り、記録媒体１５に記録されたＡＶＩファイル３０を図示しないＰＣで構成される再生装置で再生し、詳細な検査を行うとともに、詳細な検査結果に応じた検査レポートを作成することも可能である。
【００４４】
図３は図２のＡＶＩファイルにおける、動画ファイルに格納される加速度センサデータの詳細な構造を示している。例えば図２の加速度センサデータ４２ａの構成例を示している。
【００４５】
加速度センサデータとしては、サイズ、サンプリング回数、サンプリング時刻、Ｘ軸加速度センサ値、Ｙ軸加速度センサ値、Ｚ軸加速度センサ値を備えている。加速度センサの単位時間当たりのサンプリング回数は、単位時間当たりの動画フレーム数と必ずしも同じでなくてもよい。例えば、画フレーム数が１sec当たり３０枚である場合、加速度センサの１sec当たりのサンプリング回数が２倍の６０回であってもよい。図６には、動画フレーム１枚につき、加速度センサのサンプリング回数が２回である場合を示してある。
【００４６】
図４は、設計図として用いるＣＡＤデータから得られるパイプ形状ｅの例を示している。Ｘ軸、Ｙ軸、Ｚ軸の３軸による３次元空間に立体的に表示した例を示している。
図５は図４に示すパイプのＡ点からＢ点まで挿入した際に得られる３軸加速度センサの値の例である。内視鏡挿入部１の先端部分がパイプのＡ点に挿入されたとき、撮像部６のＺ軸加速度値がＺ軸(＋)方向に短時間に急速に増加及び減少した後、加速度０即ち一定速度でＺ軸(＋)方向に移動する。その後、第１の屈曲箇所に至り、Ｚ軸(−)方向加速度が急速に増加及び減少しかつＸ軸(＋)方向加速度が急速に増加及び減少する。そして、再び加速度０即ち一定速度でＸ軸(＋)方向に移動して第２の屈曲箇所に至って、Ｘ軸(−)方向加速度が急速に増加及び減少しかつＹ軸(＋)方向加速度が急速に増加及び減少する。以降同様にして、図４のパイプ形状に対応する移動に伴って、特に屈曲箇所において該当する各軸の加速度が急速に変化し増減する。
３軸加速度センサのＸ，Ｙ，Ｚ軸方向の各加速度値は、時間経過に対応して撮像された画像データとともに記録媒体１５上の動画ファイルに記録される。
【００４７】
メイン制御部１３の制御に基づいて動作する記録媒体読み書き部１２(或いはＰＣ１６)が記録媒体１５上の動画ファイルを読み込むと、図７のフローチャートの処理により、動画ファイル内の加速度センサデータに基づいて図６に示すような撮像部位置テーブルを作成する。
【００４８】
図６は撮像部位置テーブルを示し、図７は図６の撮像部位置テーブルを作成するフローチャートを示している。
まず、動画ファイルの加速度センサデータから、時刻ごとの加速度センサ値を得る(ステップＳ1)。次に、加速度センサ値を積分して速度と位置を計算し(ステップＳ2)、計算して得られたデータを撮像部位置テーブルに登録する。さらに、時刻ごとの動画フレームの番号を計算する(ステップＳ3)。同じ番号は同じ動画フレームであることを表している。
【００４９】
図８は、図６に示した撮像部位置テーブルの位置の値を３次元座標上にプロットした状態を示している。プロットの結果、内視鏡撮像部の挿入経路ｆ(太線にて示す)が得られる。
図８では上記挿入経路ｆを、ＣＡＤデータに基づいて得られた図４の設計図のパイプ形状ｅに重ねて示している。
【００５０】
図９は配管等の管路内で撮像される内視鏡画像である動画フレーム５１及びその表示状態を変更する操作ボタンと、その動画フレームを撮像する撮像部が挿入される管路内の挿入経路を示す挿入経路図７１及び撮像部位置を示すインジケータｇの位置及び方向表示と、を内視鏡画像再生装置２０の表示装置３の表示部３ａに表示した状態を示している。
表示部３ａにおいて、符号９-1は内視鏡画像の画像表示領域、９-2は挿入経路図表示領域である。画像表示領域９-1において、符号５１は動画フレーム、５２は再生バー５３上を移動可能なスライダ、５３は再生バー、５４は再生ボタン、５５は停止ボタン、５６は巻き戻しボタン、５７は早送りボタンである。挿入経路図表示領域９-2において、符号ｅは設計図に基づく管路であるパイプ、ｆは加速度データに基づいて算出された撮像部位置をプロットして得られた撮像部の挿入経路、ｇは動画再生時に表示されている動画の撮影位置に対応した挿入経路ｆ上の位置を示す撮像部位置インジケータ、７２は撮像部位置インジケータｇの位置及び方向をＸ，Ｙ，Ｚの座標で表した位置及び方向表示、を示している。
【００５１】
メイン制御部１３の制御に基づいて動作する記録媒体読み書き部１２(或いはＰＣ１６)が記録媒体１５上の動画ファイルを開くと、図６の撮像部位置テーブルを作成して挿入経路ｆを計算し、該挿入経路ｆを動画フレーム５１とともに表示装置３の表示部３ａに表示する。
【００５２】
動画フレーム５１の再生と連動して、撮像部位置インジケータｇが挿入経路ｆに沿って動く。撮像部位置インジケータｇの位置は、表示している動画フレーム５１に応じて図６の撮像部位置テーブルから取得する。撮像部位置インジケータｇは操作部４のキー操作(或いはマウス操作)で挿入経路ｆ上で移動することができる。撮像部位置インジケータｇが移動されると、撮像部位置に対応する動画中の動画フレームの番号を撮像部位置テーブルから取得し、動画フレームの再生位置を移動させる。
【００５３】
以上の構成では、内視鏡先端に設けた３軸加速度センサの出力値は対応する動画ファイルに記録されている。図６に示したように３軸加速度センサの値が出力されたタイミングと動画のフレームはタイミングが関連付けられている。
【００５４】
動画ファイルに記録された３軸加速度センサの出力値を積分することで、動画のフレームごとに内視鏡先端の位置と方向を計算する。方向は、Ｘ軸，Ｙ軸，Ｚ軸による３軸空間座標上での位置座標の変化から求められる。複数の位置と方向を計算することで、図９の符号９-2に示すような挿入経路図７１を作成し表示する。そして、図９の符号９-2に示すように被検体の設計図に相当するパイプ形状ｅを挿入経路図７１の挿入経路ｆに重ねて表示する。
【００５５】
動画を再生すると、表示画像を撮影した位置に対応する挿入経路図７１の挿入経路ｆ上の位置に撮像部位置インジケータｇを表示する。このインジケータｇの位置によって、表示している画像が被検体であるパイプのどの位置でどの方向から撮影したものか簡単に把握できる利点がある。
【００５６】
一方、画像表示領域９-1における再生時間軸を示す再生バー５３上に置かれている移動可能なスライダ５２にキー操作(或いはマウスカーソル)を用いて左右に移動し再生バー５３上のある位置にスライダ５２を置くことにより、そのスライダの位置に対応した時間経過点の動画フレーム５１が表示されると同時に、挿入経路図表示領域９-2における挿入経路ｆ上の撮像部位置インジケータｇも表示されている動画フレーム５１に対応した挿入経路ｆ上の位置に移動して表示される。これにより、被検体(例えばパイプ)の所望の場所の画像を動画フレームとして画像表示すると同時に被検体の形状に沿ってプロットされた挿入経路ｆ上の撮像部位置インジケータｇも対応した位置に同時に移動して表示でき、操作性、視認性及び利便性に優れた管路内点検を実施することが可能となる。
【００５７】
なお、ＰＣ１６に、画像合成部１１と、グラフィック生成部１０と、メイン制御部１３と、動画ファイル生成手段を除く記録媒体読み書き部１２と、の各部の機能を持たせた構成としてもよい。
【００５８】
本実施形態によれば、動画中のある時点の画像が被検体のどの部分をどの方向から撮影したかを容易に把握できる内視鏡画像再生装置を実現することが可能となる。
【００５９】
本発明の一実施形態を説明したが、本発明の実施形態は、例として示したものであり、発明の範囲を限定するものではなく、発明の要旨を逸脱しない範囲で、種々の置き換え、変更、変形、省略を行うことが可能である。
【符号の説明】
【００６０】
１…挿入部、２…本体部、３…表示装置、４…操作部(位置指定手段)、５…先端部、６…撮像部、７…加速度センサ(加速度計測手段)、８…画像処理部(画像生成手段)、９…加速度センサ処理部、１０…グラフィック部(挿入経路図生成手段)、１１…画像合成部、１２…記録媒体読み書き部、１３…メイン制御部、１４…ＲＡＭ、１５…記録媒体、１６…ＰＣ、６１…光学系、６２…撮像素子、７１…挿入経路図、７２…位置及び方向表示、１１１…第１の表示制御手段、１１２…第２の表示制御手段、１１３…第３の表示制御手段、１１４…第４の表示制御手段、１２１…動画ファイル生成手段、１２２…読み出し手段、１２３…画像再生手段、１３１…算出手段、１３２…関連付け手段、１３３…挿入経路算出手段。
【技術分野】
【０００１】
本発明は、内視鏡画像再生装置に係り、特に内視鏡画像が被検体のどの位置でどの方向から撮影されたかを特定できる内視鏡画像再生装置に関する。
【背景技術】
【０００２】
従来、内視鏡装置は、観察対象に挿入部を挿入して観察画像を得る内視鏡と、この観察画像を表示する表示手段を備えて構成したものが一般的に使用されている。観察対象としては、体腔内のほか、配管やエンジン等の構造物の内部がある。特に配管の内部を検査する際には、長尺な挿入部を有する内視鏡装置が使用される。そして、配管の形状が複雑で長い場合には、挿入するに従って挿入部先端の位置や方向が分かりにくい。
【０００３】
特許文献１には、挿入部先端に３軸加速度センサを搭載するとともに、挿入部先端の移動距離を計測する挿入距離検出部を設けることで、挿入部先端の位置や方向を把握できる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１３３６８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方で、配管などの被検体の実際の検査においては、検査者は時間的な制約から、検査現場では詳細な検査を行わず、動画記録機能などを利用することで被検体の一通りの画像を撮影して動画ファイルとして記録するにとどめておき、後に動画ファイルを再生して詳細な検査を行うことがある。
【０００６】
このような検査の場合、動画内の画像が被検体のどの位置でどの方向から撮影されたか分からなくなるという問題があった。
そこで、本発明は上記の問題に鑑み、動画中のある時点の画像が被検体のどの位置でどの方向から撮影したかを容易に把握できる内視鏡画像再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明による内視鏡画像再生装置は、内視鏡挿入部の先端に設けられた光学系と撮像素子により被検体を撮像する撮像部により撮像された撮像信号に基づいて画像データを生成する画像生成手段と、前記画像生成手段により生成された前記画像データと前記撮像部の３軸加速度を計測する加速度計測手段により計測された加速度データとをともに連続して記憶媒体に記録することによって動画ファイルを生成する動画ファイル生成手段と、前記記憶媒体に記録された前記動画ファイルから画像データと加速度データを読み出す読み出し手段と、動画のある時点における前記撮像部の位置と方向を加速度データに基づいて算出する算出手段と、算出された動画のある時点における前記撮像部の位置と方向を該時点の画像データと関連付ける関連付け手段と、前記算出手段が算出する前記撮像部の位置に基づいて動画のある範囲での挿入経路を算出する挿入経路算出手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、動画中のある時点の画像が被検体のどの位置でどの方向から撮影したかを容易に把握できる内視鏡画像再生装置を実現できる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態の内視鏡装置の構成を示すブロック図。
【図２】ＡＶＩファイルの構造の例を説明する図。
【図３】図２のＡＶＩファイルにおける、動画ファイルに格納される加速度センサデータの詳細な構造を示す図。
【図４】設計図として用いるＣＡＤデータから得られるパイプの例を３次元的に示す図。
【図５】図４に示すパイプのＡ点からＢ点まで挿入した際に得られる加速度センサの３軸方向の値の例を示す図。
【図６】撮像部位置テーブルを示す図。
【図７】図６の撮像部位置テーブルを作成するフローチャート。
【図８】図６に示した撮像部位置テーブルの位置の値を３次元座標上にプロットし、かつ図４に示した設計図のパイプに重ねた状態を示す図。
【図９】管路内で撮像される内視鏡画像の動画フレーム、及び、その動画フレームを撮像する撮像部が挿入される管路内の挿入経路を示す挿入経路図を画面上に表示した状態を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について図面を参照して説明する。
［構成］
図１は本発明の一実施形態の内視鏡画像再生装置の構成を示すブロック図である。
図１において、内視鏡画像再生装置２０は、挿入部１と、本体部２と、表示装置３と、操作部４と、ＲＡＭ１４と、記録媒体１５と、パーソナルコンピュータ(以下、ＰＣ)１６とを備えている。操作部４は、位置指定手段としての機能も備えている。
【００１１】
挿入部１は、配管の管路内に挿入可能な長尺の筒状体で構成されており、内視鏡挿入部１の先端部分に先端部５を備えている。
【００１２】
先端部５は、内視鏡挿入部の先端に設けられた光学系６１とＣＣＤ等の撮像素子６２により被検体を撮像し、撮像面に入射された被写体像を光電変換し撮像信号を生成する撮像部６と、この撮像部の３軸加速度を計測する加速度計測手段としての加速度センサ７とを備える。
加速度センサ７による３軸加速度の計測は、撮像部６を管路内に挿入する過程で実施するほか、管路内から抜去する過程で実施することもできる。
【００１３】
本体部２は、画像生成手段としての画像処理部８と、加速度センサ処理部９と、グラフィック生成部１０と、画像合成部１１と、記録媒体読み書き部１２と、メイン制御部１３とを備えている。なお、グラフィック生成部１０は、挿入経路図生成手段としての機能も備えている。また、記録媒体１５には、予め配管の設計図又は敷設図となるＣＡＤデータを記録させておく。
【００１４】
上記画像処理部８は、撮像部６により撮像された撮像信号に基づいて動画の画像データを生成する。画像処理部８は、挿入部１の先端部５に内蔵されている撮像部６から出力された撮像信号が入力され、この撮像信号に対し、例えば、ガンマ補正処理、エッジ強調処理及びデジタルズーム処理等の画像処理を施し、動画の内視鏡画像データを生成する。画像処理部８は、この生成した内視鏡画像データを画像合成部１１に供給する。
【００１５】
また、挿入部１は、先端部５に、先端部５内の撮像部６の加速度に関する情報(以下、加速度データ)を検出する加速度センサ７を備える。
加速度センサ７は、例えば、３軸加速度センサであり、検出した撮像部６の加速度データに応じた信号、即ち、先端部５内の撮像部６の３軸方向の加速度値を本体部２の加速度センサ処理部９に出力する。なお、３軸加速度センサは、Ｘ軸、Ｙ軸、Ｚ軸の各検出軸を互いに直交させた形の３つのセンサを用いることによって、３次元空間内における３軸方向の加速度の大きさを得、それらをベクトル成分として合成して加速度がかかっている向きと大きさを検出できるものである。
【００１６】
加速度センサ処理部９には、加速度センサ７から出力された先端部５内の撮像部６の加速度データ信号が入力される。加速度センサ処理部９は、この加速度データ信号を入力し、重力(鉛直)方向に対する傾斜角度等を表す加速度情報に変換し、変換した加速度情報をメイン制御部１３に供給する。
【００１７】
メイン制御部１３においては、供給された加速度センサのデータに基づいて再生時に撮像部位置テーブル(図６参照)の値が算出され、撮像部位置テーブルのデータにより撮像部の位置を３次元空間座標にプロットして挿入経路ｆ(図８参照)が求められる。この挿入経路ｆのデータは、メイン制御部１３からグラフィック生成部１０に供給される。
グラフィック生成部１０は、挿入経路図生成手段１０１を備えている。グラフィック生成部１０は、先端部５内の撮像部６の管路内での位置に基づいて算出された挿入経路ｆと、該挿入経路ｆ上での撮像部の方向をインジケータｇを用いて表す挿入経路図７１とのデータを生成する。このグラフィック生成部１０からの挿入経路図７１のデータは、前記画像合成部１１に供給され、前記画像処理部８からの動画データと同一画面上に合成されて表示及び又は記録される。
なお、グラフィック生成部１０は、挿入経路ｆ上の撮像部の位置での方向を示すデータとして図９に示すようなインジケータｇを生成する。
【００１８】
上記画像合成部１１は、第１の表示制御手段１１１と、第２の表示制御手段１１２と、第３の表示制御手段１１３と、第４の表示制御手段１１４と、を備えている。
第１の表示制御手段１１１は、挿入経路図７１のみを表示する機能を備える。第２の表示制御手段１１２は、再生された画像データが撮影された時点での撮像部の位置と方向を関連付け手段１３２により取得して、画像データおよび挿入経路図データをともに表示する機能を備える。第３の表示制御手段１１３は、挿入経路上のある位置と関連付けられた画像データを表示する機能を備える。第４の表示制御手段１１４は、挿入経路図生成手段としてのグラフィック生成部１０により生成された挿入経路ｆ(図９参照)とＣＡＤデータから得られる被検体の形状を示す設計図データに基づくパイプ形状ｅとをともに表示する機能を備える。
【００１９】
画像合成部１１では、第４の表示制御手段１１４によって、設計図に相当するＣＡＤデータから作成した被検体のパイプ形状ｅ(図４参照)に挿入経路ｆを重ね合わせた挿入経路図７１(図９参照)を生成する。そして、第２の表示制御手段１１２によって、この挿入経路図７１と動画フレーム５１とを合成して図９に示すような画像表示領域９-1と挿入経路図表示領域９-2とを備えた合成画像を生成し、表示部３ａに表示する。
【００２０】
なお、この画像合成部１１は、メイン制御部１３による制御に応じて、内視鏡画像を表示装置３に単独で表示するための処理を行うことも可能である。
【００２１】
上記記録媒体読み書き部１２は、動画ファイル生成手段１２１と、読み出し手段１２２と、画像再生手段１２３と、を備えている。
動画ファイル生成手段１２１は、画像処理部８により生成された画像データと加速度センサ７により計測された加速度データとを共に連続して記憶媒体１５に記録することによって動画ファイルを生成する機能を備える。読み出し手段１２２は、記憶媒体１５に記録された動画ファイルから画像データと加速度データを読み出す機能を備える。画像再生手段１２３は、動画または動画中の画像を再生する機能を備える。
【００２２】
記録媒体読み書き部１２には、例えば、フラッシュメモリカード等の記録媒体１５が着脱自在に接続されるようになっている。記録媒体読み書き部１２に記録媒体１５が装着された状態では、記録媒体読み書き部１２は操作部４からの記録指示に基づき、メイン制御部１３からの制御に従って画像合成部１１に供給される内視鏡画像データ及び挿入経路図７１のデータを読み出し、１つの動画ファイルとして記録媒体１５に供給して記録する。動画ファイルとしては、例えば、Motion JPEG形式のＡＶＩファイルが用いられる。
【００２３】
操作部４には、先端部５の湾曲操作及び上述した記録媒体１５への記録操作等を行うための図示しない操作スイッチ等が設けられており、検査者は、操作部４の操作スイッチを操作し、湾曲操作及び記録操作等の所望の操作を行う。操作部４は、検査者の操作に応じた操作信号をメイン制御部１３に供給する。
【００２４】
上記メイン制御部１３は、操作部４からの操作信号に応じた処理を行うように各回路部等を制御し、内視鏡画像再生装置２０全体の動作制御を行う。
【００２５】
メイン制御部１３は、動画のある時点における撮像部６の位置と方向を加速度に基づいて算出する算出手段１３１と、算出された動画のある時点における撮像部６の位置と方向を該時点の画像と関連付ける関連付け手段１３２と、算出手段１３１が算出する撮像部６の位置に基づいて動画のある範囲での挿入経路を算出する挿入経路算出手段１３３と、を備えている。
【００２６】
なお、操作部４は、表示されている挿入経路ｆ上でカーソルとしての撮像部位置インジケータｇを移動させて、挿入経路図７１(図９参照)における撮像部位置を指定する位置指定手段としても用いられる。この場合、挿入経路ｆ上のインジケータｇの位置の変更に応じて表示画面上の動画フレーム５１も変化し、再生バー５３上のスライダ５２の位置も変化することになる。インジケータｇは、所定長の長さでかつ撮像部のある位置での撮影方向を示す機能も備えている。
【００２７】
次に、図１の内視鏡画像再生装置の動作を説明する。図２以降のいずれかの図も参照しながら説明する。
［撮影及び記録動作］
内視鏡挿入部１の先端部分(撮像部６を含む)を被検体である配管の管路内に挿入していくことによって、撮像部６が管路内部をほぼ一定速度で移動して撮影する。このとき、管路の挿入端から管路のある範囲に亘って撮像部６を移動しながら動画撮影する。撮像した撮像信号は画像処理部８で画像処理され、内視鏡画像データとして記録媒体１５に記録される。この記録動作では、メイン制御部１３における関連付け手段１３２によって、内視鏡画像データの動画フレームと、加速度センサ７からの加速度データとが関連付けられた後、記録媒体読み書き部１２によりこれらの関連付けされた動画フレーム及び加速度データが動画ファイルとして記録媒体１５に記録される。
【００２８】
［再生動作］
上記の記録動作の後に、検査者が操作部４の操作により、記録媒体１５の動画ファイルを開く操作などにより動画ファイルを開くと、メイン制御１３は、図７のフローチャートの処理により、読み出し手段１２２を制御して、前記記録媒体１５に記録された前記動画ファイルから画像データと加速度データを読み出す。図７については後述する。その後に、メイン制御部１３は、算出手段１３１を制御してその加速度データの加速度値を積分することによって、図６に示すような管路内での撮像部６の撮影位置と撮影方向を算出して撮像部位置テーブルを作成する。撮像部位置テーブルは、作成後に記録媒体１５に保存しておく。そして、この作成した撮像部位置テーブルの位置データを用いてその位置での撮像部６の撮影方向も算出する。さらに、メイン制御部１３は、挿入経路算出手段１３３を制御して、算出されている撮像部５の位置に基づいて動画のある範囲での挿入経路ｆを算出し、その挿入経路ｆを動画フレーム５１とともに表示部３ａに表示する。挿入経路ｆは、算出後に記録媒体読み書き部１２を用いて記録媒体１５に保存しておく。
なお、記録媒体１５には予め配管の設計図となるＣＡＤデータが記録してあり、管路内における撮像部６の挿入経路ｆが設計図のパイプ形状ｅに重ね合わされて、表示部３ａの画面に表示される。
【００２９】
動画フレーム５１の再生と同時に、挿入経路ｆ上にはカーソルとしての撮像部位置インジケータｇが表示される。インジケータｇは、点(・)は撮像部の位置を示し、所定長の矢印(↑)は撮像部の撮影する方向を示している。そして、動画フレーム５１の再生と連動して、該インジケータｇは撮像部６の挿入経路ｆ上を時間経過とともに移動する。つまり、このインジケータ位置の移動に対応して、管路内を撮影した動画フレーム５１も順次に表示されると同時に、図９に示す再生バー５３上の時間的な再生位置を示すスライダ５２も再生バー上を移動する。
【００３０】
なお、再生動作時に行っている撮像部位置テーブルの算出を、撮影及び記録動作時に行ってもよい。つまり、撮影及び記録動作時に、動画データと加速度データを動画ファイルとして記録媒体１５に記録した後に、撮像部位置テーブルの速度と位置データを算出して記録媒体１５に保存しておくようにしてよい。
【００３１】
なお、表示部３ａには、画像合成部１１を構成する第１乃至第４の表示制御手段１１１〜１１４によって、図９に示した表示状態以外の表示も可能である。メイン制御部１３は、第１の表示制御手段１１１を制御することによって、挿入経路図７１のみを画面上に表示することが可能である。また、メイン制御部１３は、第２の表示制御手段１１２を制御することによって、動画フレーム５１と挿入経路図７１をともに同一画面上に表示することが可能である。さらに、メイン制御部１３は、第３の表示制御手段１１３を制御することによって、挿入経路ｆ上のある撮像部位置に対応した動画フレーム５１を画面上に表示させることが可能である。さらに、メイン制御部１３は、第４の表示制御手段１１４を制御することによって、挿入経路ｆと設計図データに基づくパイプ形状ｅをともに重ねて画面上に表示することが可能である。
【００３２】
このように、本実施形態によれば、動画中のある時点の画像データが被検体のどの部分をどの方向から撮影したかを容易に把握でき、操作性、視認性及び利便性に優れた管路内点検を実施することが可能となる。
【００３３】
次に、図２を参照して記録媒体１５に記録されるＡＶＩファイルの構造について説明する。
図２は、ＡＶＩファイルの構造の例を説明するための図である。
図２に示すように、ＡＶＩファイル３０は、ＲＩＦＦ（Resource Interchange File Format）というフォーマットであり、ファイルの先頭から順に、ＬＩＳＴ“ｈｄｒｌ”で示すヘッダ部３１と、ＪＵＮＫで示すダミーチャンク３２と、ＬＩＳＴ“ｍｏｖｉ”で示すストリームデータ部３３と、ｉｄｘ１で示すインデックス３４とを有した構造となっている。
【００３４】
このヘッダ部３１は、Ａｖｉｈで示すＡＶＩメインヘッダ３５と、ＬＩＳＴ“ｓｔｒｌ”で示すビデオデータ用のストリームリスト３６と、ＬＩＳＴ“ｓｔｒｌ”で示すオーディオデータ用のストリームリスト３７とを有した構造となっている。
【００３５】
このオーディオデータ用のストリームリスト３７は、ｓｔｒｈで示すＡＶＩストリームヘッダ３８と、ｓｔｒｆで示すストリームフォーマット３９、ｓｔｒｎで示すオプションデータ４０とを有した構造となっている。
【００３６】
本実施の形態では、ヘッダ部３１のオプションデータ４０のオプションデータ内容に付加情報フラグが追加されている。この付加情報フラグは、ＡＶＩファイル３０に加速度情報が格納されているか否かを示すフラグである。ＡＶＩファイル３０に加速度センサのデータが格納されていない場合、付加情報フラグのフラグ情報は０に設定され、ＡＶＩファイル３０に加速度情報が格納されている場合、付加情報フラグのフラグ情報は１に設定される。この付加情報フラグのフラグ情報の設定は、メイン制御部１３の制御に応じて、記録媒体読み書き部１２が設定する。
【００３７】
また、ストリームデータ部３３は、単位時間毎に区切られた複数、ここでは２つのストリームデータ３３ａ及び３３ｂを有した構造となっている。なお、図２では、２つのストリームデータ３３ａ及び３３ｂのみを記載しているが、動画像の撮影時間に応じたストリームデータがストリームデータ部３３に格納される。即ち、ＡＶＩファイル３０に６０秒の動画像を記録する場合、ストリームデータ部３３は、６０個のストリームデータを有することになる。なお、各ストリームデータの構成は同一のため、以下では、ストリームデータ３３ａの構成を例に説明する。なお、ストリームデータ部３３の右側に付した符号Ａの範囲にはフレーム毎のJPEGデータを1秒分格納しており、符号Ｂの範囲には１秒分の加速度センサ値を格納している。
【００３８】
ストリームデータ領域としてのストリームデータ３３ａは、画像格納領域である３０個の画像ストリーム４１ａにより構成され、さらに、加速度情報を付加する場合、情報格納領域である情報ストリーム４２ａの領域が確保される。そして、加速度情報を付加する場合、この情報ストリーム４２ａの領域に加速度情報が格納される。この画像ストリーム４１ａには、内視鏡画像のデータが格納され、情報ストリーム４２ａには、その内視鏡画像のデータに対応付けられた加速度情報が格納される。
【００３９】
なお、単位時間あたりのストリームデータ３３ａには、３０個の画像ストリーム４１ａが格納されている、即ち、フレームレートが３０となっているが、フレームレートは３０に限定されることなく、例えば、２４であってもよい。
【００４０】
また、ストリームデータ３３ａに１つの情報ストリーム４２ａを設けているが、２つ以上の情報ストリームを設けてもよい。例えば、単位時間あたりのストリームデータ３３ａに３０個の画像ストリーム４１ａのそれぞれに対応する３０個の情報ストリームを設ける。そして、３０個の情報ストリームの領域のそれぞれに、３０個の画像ストリーム４１ａに対応する加速度情報を格納する。これにより、３０個のフレームデータに対応した３０個の加速度情報が表示されるため、正確な加速度情報を表示することができる。
【００４１】
さらに、本実施の形態では、１つのＡＶＩファイル３０に内視鏡画像及び加速度情報を格納して保存している。例えば、動画ファイルが大量にある場合、内視鏡画像のデータと、加速度情報とを別のファイルに保存していると、ファイルのコピー及び移動等が煩わしい。また、動画ファイルが大量にある場合、内視鏡画像のデータと、加速度情報とを別のファイルに保存していると、ファイルのコピー及び移動等の漏れが発生することがある。即ち、内視鏡画像のデータのファイルと、加速度情報のファイルとのいずれか一方にコピー漏れ等があると、詳細な検査ができなくなる。これに対し、本実施の形態では、１つのＡＶＩファイル３０に内視鏡画像及び加速度情報を記録するので、ファイルのコピー漏れ等の発生を防ぐことができ、ファイルの管理が容易になる。
【００４２】
なお、動画ファイルの形式は、ＡＶＩファイル３０に限定されることなく、ＭＯＶファイル等であってもよい。ＭＯＶファイルは、トラック単位で構成されており、動画に加え、テキストトラック、チャプタトラック等を含むことできる。例えば、このテキストトラックまたはチャプタトラックに加速度情報を記録することができる。
【００４３】
このような記録媒体１５に記録されたＡＶＩファイル３０は、上述したように、内視鏡画像再生装置２０で再生することも可能であるが、検査者が記録媒体１５を事務所等に持ち帰り、詳細な検査を行う場合、重量のある内視鏡画像再生装置２０も持ち運ぶことは面倒である。そこで、検査者は、記録媒体１５のみを事務所等に持ち帰り、記録媒体１５に記録されたＡＶＩファイル３０を図示しないＰＣで構成される再生装置で再生し、詳細な検査を行うとともに、詳細な検査結果に応じた検査レポートを作成することも可能である。
【００４４】
図３は図２のＡＶＩファイルにおける、動画ファイルに格納される加速度センサデータの詳細な構造を示している。例えば図２の加速度センサデータ４２ａの構成例を示している。
【００４５】
加速度センサデータとしては、サイズ、サンプリング回数、サンプリング時刻、Ｘ軸加速度センサ値、Ｙ軸加速度センサ値、Ｚ軸加速度センサ値を備えている。加速度センサの単位時間当たりのサンプリング回数は、単位時間当たりの動画フレーム数と必ずしも同じでなくてもよい。例えば、画フレーム数が１sec当たり３０枚である場合、加速度センサの１sec当たりのサンプリング回数が２倍の６０回であってもよい。図６には、動画フレーム１枚につき、加速度センサのサンプリング回数が２回である場合を示してある。
【００４６】
図４は、設計図として用いるＣＡＤデータから得られるパイプ形状ｅの例を示している。Ｘ軸、Ｙ軸、Ｚ軸の３軸による３次元空間に立体的に表示した例を示している。
図５は図４に示すパイプのＡ点からＢ点まで挿入した際に得られる３軸加速度センサの値の例である。内視鏡挿入部１の先端部分がパイプのＡ点に挿入されたとき、撮像部６のＺ軸加速度値がＺ軸(＋)方向に短時間に急速に増加及び減少した後、加速度０即ち一定速度でＺ軸(＋)方向に移動する。その後、第１の屈曲箇所に至り、Ｚ軸(−)方向加速度が急速に増加及び減少しかつＸ軸(＋)方向加速度が急速に増加及び減少する。そして、再び加速度０即ち一定速度でＸ軸(＋)方向に移動して第２の屈曲箇所に至って、Ｘ軸(−)方向加速度が急速に増加及び減少しかつＹ軸(＋)方向加速度が急速に増加及び減少する。以降同様にして、図４のパイプ形状に対応する移動に伴って、特に屈曲箇所において該当する各軸の加速度が急速に変化し増減する。
３軸加速度センサのＸ，Ｙ，Ｚ軸方向の各加速度値は、時間経過に対応して撮像された画像データとともに記録媒体１５上の動画ファイルに記録される。
【００４７】
メイン制御部１３の制御に基づいて動作する記録媒体読み書き部１２(或いはＰＣ１６)が記録媒体１５上の動画ファイルを読み込むと、図７のフローチャートの処理により、動画ファイル内の加速度センサデータに基づいて図６に示すような撮像部位置テーブルを作成する。
【００４８】
図６は撮像部位置テーブルを示し、図７は図６の撮像部位置テーブルを作成するフローチャートを示している。
まず、動画ファイルの加速度センサデータから、時刻ごとの加速度センサ値を得る(ステップＳ1)。次に、加速度センサ値を積分して速度と位置を計算し(ステップＳ2)、計算して得られたデータを撮像部位置テーブルに登録する。さらに、時刻ごとの動画フレームの番号を計算する(ステップＳ3)。同じ番号は同じ動画フレームであることを表している。
【００４９】
図８は、図６に示した撮像部位置テーブルの位置の値を３次元座標上にプロットした状態を示している。プロットの結果、内視鏡撮像部の挿入経路ｆ(太線にて示す)が得られる。
図８では上記挿入経路ｆを、ＣＡＤデータに基づいて得られた図４の設計図のパイプ形状ｅに重ねて示している。
【００５０】
図９は配管等の管路内で撮像される内視鏡画像である動画フレーム５１及びその表示状態を変更する操作ボタンと、その動画フレームを撮像する撮像部が挿入される管路内の挿入経路を示す挿入経路図７１及び撮像部位置を示すインジケータｇの位置及び方向表示と、を内視鏡画像再生装置２０の表示装置３の表示部３ａに表示した状態を示している。
表示部３ａにおいて、符号９-1は内視鏡画像の画像表示領域、９-2は挿入経路図表示領域である。画像表示領域９-1において、符号５１は動画フレーム、５２は再生バー５３上を移動可能なスライダ、５３は再生バー、５４は再生ボタン、５５は停止ボタン、５６は巻き戻しボタン、５７は早送りボタンである。挿入経路図表示領域９-2において、符号ｅは設計図に基づく管路であるパイプ、ｆは加速度データに基づいて算出された撮像部位置をプロットして得られた撮像部の挿入経路、ｇは動画再生時に表示されている動画の撮影位置に対応した挿入経路ｆ上の位置を示す撮像部位置インジケータ、７２は撮像部位置インジケータｇの位置及び方向をＸ，Ｙ，Ｚの座標で表した位置及び方向表示、を示している。
【００５１】
メイン制御部１３の制御に基づいて動作する記録媒体読み書き部１２(或いはＰＣ１６)が記録媒体１５上の動画ファイルを開くと、図６の撮像部位置テーブルを作成して挿入経路ｆを計算し、該挿入経路ｆを動画フレーム５１とともに表示装置３の表示部３ａに表示する。
【００５２】
動画フレーム５１の再生と連動して、撮像部位置インジケータｇが挿入経路ｆに沿って動く。撮像部位置インジケータｇの位置は、表示している動画フレーム５１に応じて図６の撮像部位置テーブルから取得する。撮像部位置インジケータｇは操作部４のキー操作(或いはマウス操作)で挿入経路ｆ上で移動することができる。撮像部位置インジケータｇが移動されると、撮像部位置に対応する動画中の動画フレームの番号を撮像部位置テーブルから取得し、動画フレームの再生位置を移動させる。
【００５３】
以上の構成では、内視鏡先端に設けた３軸加速度センサの出力値は対応する動画ファイルに記録されている。図６に示したように３軸加速度センサの値が出力されたタイミングと動画のフレームはタイミングが関連付けられている。
【００５４】
動画ファイルに記録された３軸加速度センサの出力値を積分することで、動画のフレームごとに内視鏡先端の位置と方向を計算する。方向は、Ｘ軸，Ｙ軸，Ｚ軸による３軸空間座標上での位置座標の変化から求められる。複数の位置と方向を計算することで、図９の符号９-2に示すような挿入経路図７１を作成し表示する。そして、図９の符号９-2に示すように被検体の設計図に相当するパイプ形状ｅを挿入経路図７１の挿入経路ｆに重ねて表示する。
【００５５】
動画を再生すると、表示画像を撮影した位置に対応する挿入経路図７１の挿入経路ｆ上の位置に撮像部位置インジケータｇを表示する。このインジケータｇの位置によって、表示している画像が被検体であるパイプのどの位置でどの方向から撮影したものか簡単に把握できる利点がある。
【００５６】
一方、画像表示領域９-1における再生時間軸を示す再生バー５３上に置かれている移動可能なスライダ５２にキー操作(或いはマウスカーソル)を用いて左右に移動し再生バー５３上のある位置にスライダ５２を置くことにより、そのスライダの位置に対応した時間経過点の動画フレーム５１が表示されると同時に、挿入経路図表示領域９-2における挿入経路ｆ上の撮像部位置インジケータｇも表示されている動画フレーム５１に対応した挿入経路ｆ上の位置に移動して表示される。これにより、被検体(例えばパイプ)の所望の場所の画像を動画フレームとして画像表示すると同時に被検体の形状に沿ってプロットされた挿入経路ｆ上の撮像部位置インジケータｇも対応した位置に同時に移動して表示でき、操作性、視認性及び利便性に優れた管路内点検を実施することが可能となる。
【００５７】
なお、ＰＣ１６に、画像合成部１１と、グラフィック生成部１０と、メイン制御部１３と、動画ファイル生成手段を除く記録媒体読み書き部１２と、の各部の機能を持たせた構成としてもよい。
【００５８】
本実施形態によれば、動画中のある時点の画像が被検体のどの部分をどの方向から撮影したかを容易に把握できる内視鏡画像再生装置を実現することが可能となる。
【００５９】
本発明の一実施形態を説明したが、本発明の実施形態は、例として示したものであり、発明の範囲を限定するものではなく、発明の要旨を逸脱しない範囲で、種々の置き換え、変更、変形、省略を行うことが可能である。
【符号の説明】
【００６０】
１…挿入部、２…本体部、３…表示装置、４…操作部(位置指定手段)、５…先端部、６…撮像部、７…加速度センサ(加速度計測手段)、８…画像処理部(画像生成手段)、９…加速度センサ処理部、１０…グラフィック部(挿入経路図生成手段)、１１…画像合成部、１２…記録媒体読み書き部、１３…メイン制御部、１４…ＲＡＭ、１５…記録媒体、１６…ＰＣ、６１…光学系、６２…撮像素子、７１…挿入経路図、７２…位置及び方向表示、１１１…第１の表示制御手段、１１２…第２の表示制御手段、１１３…第３の表示制御手段、１１４…第４の表示制御手段、１２１…動画ファイル生成手段、１２２…読み出し手段、１２３…画像再生手段、１３１…算出手段、１３２…関連付け手段、１３３…挿入経路算出手段。
【特許請求の範囲】
【請求項１】
内視鏡挿入部の先端に設けられた光学系と撮像素子により被検体を撮像する撮像部により撮像された撮像信号に基づいて画像データを生成する画像生成手段と、
前記画像生成手段により生成された前記画像データと前記撮像部の３軸加速度を計測する加速度計測手段により計測された加速度データとをともに連続して記憶媒体に記録することによって動画ファイルを生成する動画ファイル生成手段と、
前記記憶媒体に記録された前記動画ファイルから画像データと加速度データを読み出す読み出し手段と、
動画のある時点における前記撮像部の位置と方向を加速度データに基づいて算出する算出手段と、
算出された動画のある時点における前記撮像部の位置と方向を該時点の画像データと関連付ける関連付け手段と、
前記算出手段が算出する前記撮像部の位置に基づいて動画のある範囲での挿入経路を算出する挿入経路算出手段と、
を有することを特徴とする内視鏡画像再生装置。
【請求項２】
前記挿入経路と該挿入経路上での前記撮像部の方向とを表す挿入経路図を生成する挿入経路図生成手段と、
前記挿入経路図を表示する第１の表示制御手段と、
を有することを特徴とする請求項１に記載の内視鏡画像再生装置。
【請求項３】
動画または動画中の画像データを再生する画像再生手段と、
画像再生時に再生された画像データに対応して、該画像データが撮影された時点での前記撮像部の位置と方向を前記関連付け手段により取得して、画像データおよび挿入経路図をともに表示する第２の表示制御手段と、
を有することを特徴とする請求項２に記載の内視鏡画像再生装置。
【請求項４】
前記挿入経路上のある位置を指定する位置指定手段と、
該位置と関連付けられた画像データを表示する第３の表示制御手段と、
を有することを特徴とする請求項２に記載の内視鏡画像再生装置。
【請求項５】
前記挿入経路図生成手段により生成された挿入経路と被検体の形状を示す設計図をともに表示する第４の表示制御手段、
を有することを特徴とする請求項２に記載の内視鏡画像再生装置。
【請求項１】
内視鏡挿入部の先端に設けられた光学系と撮像素子により被検体を撮像する撮像部により撮像された撮像信号に基づいて画像データを生成する画像生成手段と、
前記画像生成手段により生成された前記画像データと前記撮像部の３軸加速度を計測する加速度計測手段により計測された加速度データとをともに連続して記憶媒体に記録することによって動画ファイルを生成する動画ファイル生成手段と、
前記記憶媒体に記録された前記動画ファイルから画像データと加速度データを読み出す読み出し手段と、
動画のある時点における前記撮像部の位置と方向を加速度データに基づいて算出する算出手段と、
算出された動画のある時点における前記撮像部の位置と方向を該時点の画像データと関連付ける関連付け手段と、
前記算出手段が算出する前記撮像部の位置に基づいて動画のある範囲での挿入経路を算出する挿入経路算出手段と、
を有することを特徴とする内視鏡画像再生装置。
【請求項２】
前記挿入経路と該挿入経路上での前記撮像部の方向とを表す挿入経路図を生成する挿入経路図生成手段と、
前記挿入経路図を表示する第１の表示制御手段と、
を有することを特徴とする請求項１に記載の内視鏡画像再生装置。
【請求項３】
動画または動画中の画像データを再生する画像再生手段と、
画像再生時に再生された画像データに対応して、該画像データが撮影された時点での前記撮像部の位置と方向を前記関連付け手段により取得して、画像データおよび挿入経路図をともに表示する第２の表示制御手段と、
を有することを特徴とする請求項２に記載の内視鏡画像再生装置。
【請求項４】
前記挿入経路上のある位置を指定する位置指定手段と、
該位置と関連付けられた画像データを表示する第３の表示制御手段と、
を有することを特徴とする請求項２に記載の内視鏡画像再生装置。
【請求項５】
前記挿入経路図生成手段により生成された挿入経路と被検体の形状を示す設計図をともに表示する第４の表示制御手段、
を有することを特徴とする請求項２に記載の内視鏡画像再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１３９４５６（Ｐ２０１２−１３９４５６Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１１−７９６（Ｐ２０１１−７９６）
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２３年１月５日（２０１１．１．５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]