摂食運動測定システムおよび測定方法
【課題】被験者に負担を与えることなく、自然な摂食運動を正確に測定し得る摂食運動測定システムおよび測定方法を提供する。
【解決手段】頭頸部表面に対して相互に波長の異なる光を照射するLED16,18,20を設けて、3CCDカメラ22により頭頸部表面で反射した光を分光して各波長毎の分光画像データを時系列的に取得する。また、面法線ベクトル算出手段40は、3CCDカメラ22で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出する。テンプレートマッチング手段46は、テンプレートと面法線ベクトルデータとをテンプレートマッチングして、各面法線ベクトルデータにおける追跡形状の位置を特定する。
【解決手段】頭頸部表面に対して相互に波長の異なる光を照射するLED16,18,20を設けて、3CCDカメラ22により頭頸部表面で反射した光を分光して各波長毎の分光画像データを時系列的に取得する。また、面法線ベクトル算出手段40は、3CCDカメラ22で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出する。テンプレートマッチング手段46は、テンプレートと面法線ベクトルデータとをテンプレートマッチングして、各面法線ベクトルデータにおける追跡形状の位置を特定する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、人が飲食品や医薬品等を飲み込む際の摂食運動を測定する摂食運動測定システムおよび測定方法に関するものである。
【背景技術】
【0002】
飲食品が喉を通るときの感覚である「のどごし感」は、飲食品の「おいしさ」を表す指標として重要な因子である。そこで、飲食品の開発過程では、「飲み込み易さ」、「飲みごたえ感」等の感覚(のどごし感)を評価するため、被験者にアンケート等を行って評価を得る官能検査が広く実施されている。しかしながら、この官能検査では、被験者の感覚や好みといった主観的な感性が大きく影響するため、人が「物を飲み込む感覚」を客観的に評価することは難しい。また、経口摂取される医薬品の開発段階においても、錠剤等の「飲み込み易さ」を評価して、負担の少ない形状や大きさを決定する際の参考とされる。しかしながら、前述したように、アンケート等による官能検査では、被験者の主観が大きく影響するため客観的な評価を得られない。そこで、飲食品や経口摂取される医薬品の「飲み込み易さ」等、物を飲み込む感覚を客観的に評価するため、飲食時に表出される嚥下運動を測定する方法が各種提案されている。従来、嚥下運動は、嚥下造影検査(videofluoroscopic examination of swallowing:VF)と呼ばれる特殊なレントゲン撮影により測定されていた。しかしながら、この検査方法では、試験回数に比例して被験者の被曝量が多くなるため、被験者の身体的負担が増大する危険がある。また、試験対象品に造影剤を混入させる必要があり、試験対象品の味や性状に影響を与えてしまうため、正確な評価は困難であった。
【0003】
そこで、非侵襲な嚥下運動の計測方法として、例えば、特許文献1には、複数の圧力センサーを被験者の前頸部に貼り付け、該圧力センサーが測定した前頸部の圧力変化に基づいて嚥下運動を測定する方法が開示されている。また、特許文献2には、被験者の喉表面に電極を貼り付けて喉の筋肉の表面筋電位の波形データを取得し、該波形データを周波数解析することで嚥下運動を測定する方法が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−160459号公報
【特許文献2】特開2009−39516号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、嚥下運動の測定時に、センサーや電極等の測定具を被験者に装着すると、被験者への負担が大きくなる難点がある。また、被験者は、測定具を喉周りに装着した極めて不自然な状態で飲食品や医薬品を飲み込むため、「物を飲み込む感覚」を適正に評価することができない。更に、測定された値が嚥下運動に基づくものであるのか、被験者の呼吸等の他の運動に起因するものであるのかを区別し、判断することが困難となる欠点を有している。
【0006】
また、飲食品の「おいしさ」を表す指標として、このような物を飲み込む感覚の他にも、物を噛む感覚も重要な因子の1つである。このため、飲食品の開発過程では、「噛み切り易さ」、「噛み応え感」等の咀嚼から得られる感覚についても、被験者を対象としたアンケート等の官能検査が実施されている。しかしながら、アンケート等による官能検査では、客観的な評価を得ることが困難であることから、前述した嚥下運動と同様に、圧力センサーや電極を利用して、飲食時に表出される咀嚼運動を測定する方法が提案されているものの、これらの測定具を用いることで前述したと同様の問題を内在していた。
【0007】
すなわち、本発明は、従来技術に内在する前記問題に鑑み、これらを解決するべく提案されたものであって、被験者に負担を強いることなく、摂食時における咀嚼運動や嚥下運動を自然な状態で測定し得る摂食運動測定システムおよび測定方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
前記課題を解決し、所期の目的を達成するため、本発明の請求項1に係る摂食運動測定システムは、
頭頸部表面に対して相互に波長の異なる光を照射する3つ以上の発光手段と、
前記頭頸部表面で反射した光を分光して、分光画像データを時系列的に取得する撮像手段と、
前記撮像手段で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出する面法線ベクトル算出手段と、
頭頸部表面における凹凸形状が含まれる追跡形状の面法線ベクトルデータからなるテンプレートと、前記各面法線ベクトルデータとを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状の位置を求めるテンプレートマッチング手段とを備え、
前記テンプレートマッチング手段により前記追跡形状の位置を時系列的に求めることで、咀嚼運動または嚥下運動を測定するよう構成したことを要旨とする。
請求項1の発明によれば、照度差ステレオ法により被験者の頭頸部表面の面法線ベクトルデータを算出し、当該面法線ベクトルデータからテンプレートマッチングにより咀嚼運動または嚥下運動に伴う頭頸部表面の追跡形状をテンプレートとして追跡するようにしたから、咀嚼運動または嚥下運動を正確に測定することができる。このとき、咀嚼運動または嚥下運動の測定時に、センサーや電極等を被験者に装着する必要がないから、自然な咀嚼運動や嚥下運動を測定することが可能となる。また、頭頸部表面の凹凸形状を含む追跡形状を追跡する構成としたから、被験者の頭頸部表面の皮膚性状の影響を受け難くなり、頭頸部表面に多少の弛みやしわ等が生じていても、咀嚼運動または嚥下運動を正確に測定し得る。しかも、3つ以上の発光手段から波長の異なる光を照射し、撮像手段で分光画像を取得して、面法線ベクトルデータを算出する構成とした。すなわち、同一波長の光を用いた場合に算出し得ない時間変化する頭頸部表面の面法線ベクトルデータを、3つ以上の異なる波長の光を同時に照射することで求めることが可能となる。しかも、3つ以上の異なる波長の光を分光することで、瞬時に分光画像を取得して面法線ベクトルデータを算出し得るから、同一波長の光を用いた場合のように、発光手段を1つずつ発光させながら分光画像を取得する必要がなく、測定を効率的に行い得る。また、測定時に圧力センサーや電極等を被験者に装着する必要がないから、咀嚼運動または嚥下運動の測定を簡単かつ低コストで行い得る。
【0009】
請求項2に係る摂食運動測定システムでは、前記発光手段は、前記撮像手段の分光感度特性において相互に干渉しない波長の光を照射するよう構成されることを要旨とする。
請求項2の発明によれば、撮像手段の分光感度特性において相互に干渉しない波長の光を照射する構成としたので、頭頸部表面で反射した光を分光して正確な分光画像を得ることができる。従って、精度の高い分光画像に基づいて、正確な面法線ベクトルデータを算出し得るから、咀嚼運動または嚥下運動を高精度で測定することが可能となる。
【0010】
請求項3に係る摂食運動測定システムは、前記面法線ベクトルデータの各面法線ベクトルの方向に応じた色分けをして色分画像データを作成する色分画像作成手段を備えていることを要旨とする。
請求項3の発明によれば、色分画像作成手段が面法線ベクトルデータを色分けし、色分画像データを作成するので、頭頸部表面の変化を視覚的に捉えることができ、咀嚼運動または嚥下運動を詳細に観察および分析することができる。
【0011】
請求項4に係る摂食運動測定システムは、
前記テンプレートマッチング手段は、
基準となる面法線ベクトルデータから前記テンプレートを設定するテンプレート設定部と、
前記テンプレート設定部で設定されたテンプレートを記憶する記憶部と、
前記各面法線ベクトルデータに対しテンプレートマッチングを行う探索領域を設定する探索領域設定部と、
前記記憶部に記憶されたテンプレートと各面法線ベクトルデータとを前記探索領域設定部で設定された探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定する位置特定部とを備えることを要旨とする。
請求項4の発明によれば、テンプレートと面法線ベクトルデータとを探索領域内でテンプレートマッチングするから、マッチングする範囲が限定されて、位置特定部での計算量を抑制することができる。
【0012】
請求項5に係る摂食運動測定システムは、追跡形状は、頭頸部表面における甲状軟骨または輪状軟骨に起因する凹凸形状を含むと共に、
前記テンプレートの範囲は、面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に嚥下運動時の甲状軟骨または輪状軟骨の移動方向に延在する線状の領域に設定され、
前記探索領域は、面法線ベクトルデータにおいて前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域に設定されることを要旨とする。
請求項5の発明によれば、テンプレートの範囲を嚥下運動時の甲状軟骨または輪状軟骨の移動方向に延在する線状の領域に設定すると共に、探索領域としてテンプレートの範囲を包含する線状の領域を設定したので、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチングする際の計算量を抑えることができる。すなわち、甲状軟骨または輪状軟骨が直線移動する特性を利用して、テンプレートの範囲および探索領域を線状の領域に設定したので、テンプレートマッチング時の不必要な計算を少なくし得る。
【0013】
請求項6に係る摂食運動測定システムは、前記追跡形状は、頭部表面における下顎骨に起因する凹凸形状を含むと共に、
前記テンプレートの範囲は、面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に咀嚼運動時の下顎骨の動作方向に延在する線状の領域に設定され、
前記探索領域は、面法線ベクトルデータにおいて前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域に設定されることを要旨とする。
請求項6の発明によれば、テンプレートの範囲を咀嚼運動時の下顎骨の移動方向に延在する線状の領域に設定すると共に、探索領域としてテンプレートの範囲を包含する線状の領域を設定したので、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチングする際の計算量を抑えることができる。すなわち、咀嚼運動時に下顎骨が直線移動する特性を利用して、テンプレートの範囲および探索領域を線状の領域に設定したので、テンプレートマッチング時の不必要な計算を少なくし得る。
【0014】
前記課題を解決し、所期の目的を達成するため、本発明の請求項7に係る摂食運動測定方法は、
頭頸部表面に対して相互に波長の異なる光を3つ以上の発光手段から照射し、該頭頸部表面で反射した光を分光して分光画像データを撮像手段が時系列的に取得し、
前記撮像手段で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出し、
頭頸部表面における凹凸形状が含まれる追跡形状の面法線ベクトルデータからなるテンプレートと、前記各面法線ベクトルデータとを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状の位置を求め、
前記追跡形状の位置を時系列的に求めることで、咀嚼運動または嚥下運動を測定することを要旨とする。
請求項7の発明によれば、照度差ステレオ法により被験者の頭頸部表面の面法線ベクトルデータを算出し、当該面法線ベクトルデータからテンプレートマッチングにより咀嚼運動または嚥下運動に伴う頭頸部表面の追跡形状をテンプレートとして追跡するようにしたから、咀嚼運動または嚥下運動を正確に測定することができる。このとき、咀嚼運動または嚥下運動の測定時に、センサーや電極等を被験者に装着する必要がないから、自然な咀嚼運動や嚥下運動を測定することが可能となる。また、頭頸部表面の凹凸形状を含む追跡形状を追跡する方法としたから、被験者の頭頸部表面の皮膚性状の影響を受け難くなり、頭頸部表面に多少の弛みやしわ等が生じていても、咀嚼運動や嚥下運動を正確に測定し得る。しかも、3つ以上の発光手段から波長の異なる光を照射し、撮像手段で分光画像を取得して、面法線ベクトルデータを算出する方法とした。すなわち、同一波長の光を用いた場合に算出し得ない時間変化する頭頸部表面の面法線ベクトルデータを、3つ以上の異なる波長の光を同時に照射することで求めることが可能となる。しかも、3つ以上の異なる波長の光を分光することで、瞬時に分光画像を取得して面法線ベクトルデータを算出し得るから、同一波長の光を用いた場合のように、発光手段を1つずつ発光させながら分光画像を取得する必要がなく、測定を効率的に行い得る。また、測定時に圧力センサーや電極等を被験者に装着する必要がないから、咀嚼運動または嚥下運動の測定を簡単かつ低コストで行い得る。
【0015】
請求項8に係る摂食運動測定方法は、発光手段は、前記撮像手段の分光感度特性において相互に干渉しない波長の光を照射することを要旨とする。
請求項8の発明によれば、撮像手段の分光感度特性において相互に干渉しない波長の光を照射する方法としたので、頭頸部表面で反射した光を分光して正確な分光画像を得ることができる。従って、精度の高い分光画像に基づいて、正確な面法線ベクトルデータを算出し得るから、咀嚼運動または嚥下運動を高精度で測定することが可能となる。
【0016】
請求項9に係る摂食運動測定方法は、前記面法線ベクトルデータの各面法線ベクトルの方向に応じた色分けをして色分画像データを作成することを要旨とする。
請求項9の発明によれば、面法線ベクトルデータを色分けし色分画像データを作成するので、頭頸部表面の変化を視覚的に捉えることができ、咀嚼運動または嚥下運動を詳細に観察および分析することができる。
【0017】
請求項10に係る摂食運動測定方法は、
前記追跡形状は、前記頭頸部表面における甲状軟骨または輪状軟骨に起因する凹凸形状を含み、
前記テンプレートの範囲は、前記面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に嚥下運動時の甲状軟骨または輪状軟骨の移動方向に延在する線状の領域に設定され、
前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域をテンプレートマッチングを行う探索領域として前記各面法線ベクトルデータに設定し、
前記テンプレートと各面法線ベクトルデータとを前記探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定することを要旨とする。
請求項10の発明によれば、テンプレートの範囲を嚥下運動時の甲状軟骨または輪状軟骨の移動方向に延在する線状の領域に設定すると共に、探索領域としてテンプレートの範囲を包含する線状の領域を設定したので、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチングする際の計算量を抑えることができる。すなわち、嚥下時に甲状軟骨または輪状軟骨が直線移動する特性を利用して、テンプレートの範囲および探索領域を線状の領域に設定したので、テンプレートマッチング時の不必要な計算を少なくし得る。
【0018】
請求項11に係る摂食運動測定方法は、
前記追跡形状は、頭部表面における下顎骨に起因する凹凸形状を含み、
前記テンプレートの範囲は、前記面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に咀嚼運動時の下顎骨の動作方向に延在する線状の領域に設定され、
前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域をテンプレートマッチングを行う探索領域として前記各面法線ベクトルデータに設定し、
前記テンプレートと各面法線ベクトルデータとを前記探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定することを要旨とする。
請求項11の発明によれば、テンプレートの範囲を咀嚼運動時の下顎骨の移動方向に延在する線状の領域に設定すると共に、探索領域としてテンプレートの範囲を包含する線状の領域を設定したので、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチングする際の計算量を抑えることができる。すなわち、咀嚼時に下顎骨が直線移動する特性を利用して、テンプレートの範囲および探索領域を線状の領域に設定したので、テンプレートマッチング時の不必要な計算を少なくし得る。
【発明の効果】
【0019】
本発明に係る摂食運動測定システムおよび測定方法は、非接触かつ非侵襲な方法であるため、被験者に負担をかけることなく、自然な咀嚼運動や嚥下運動を正確に測定することができる。
【図面の簡単な説明】
【0020】
【図1】実施例1に係る摂食運動測定システムの全体構成を示すブロック図である。
【図2】(a)は3CCDカメラ、LEDおよび被験者の位置関係を示す斜視図、(b)は3CCDカメラおよびLEDを被験者側から見た正面図である。
【図3】実施例で採用した各LEDの仕様を示す説明図である。
【図4】LEDの光が3CCDカメラ内で分光される様子を示す説明図である。
【図5】実施例で採用した3CCDカメラのレンズ部の仕様を示す説明図である。
【図6】実施例で採用した3CCDカメラの分光感度特性と各LEDの光の波長との関係を示すグラフ図である。
【図7】(a)は光源と観察面の明るさの関係を示す説明図、(b)は照度差ステレオ法の説明図である。
【図8】出力手段に表示された設定画面を示す図である。
【図9】NCC、SADおよびSSDの関係を表す説明図である。
【図10】(a)は色分画像作成手段が色分けする面法線ベクトルの方向と色の対応関係を示す説明図、(b)は出力手段に表示された喉表面の色分画像、(c)は色分画像のベースとなる喉表面の実際の画像を示す。
【図11】実施例に係る摂食運動測定方法の全体的なフローを示すフローチャート図である。
【図12】面法線ベクトルデータ算出処理を示すフローチャート図である。
【図13】設定処理を示すフローチャート図である。
【図14】テンプレートマッチング処理を示すフローチャート図である。
【図15】甲状軟骨の頂部の位置の時間変化を示すグラフ図である。
【図16】喉表面の色分画像を表示するフローを示すフローチャート図である。
【図17】実験例1の測定結果を示すグラフ図である。
【図18】実験例2の測定結果を示すグラフ図である。
【図19】実験例3の測定結果を示すグラフ図である。
【図20】人間の頭頸部を側頭部から示す概念図である。
【図21】実施例2に係る摂食運動測定システムの全体構成を示すブロック図である。
【図22】実施例2に係るバンドパスフィルタの分光特性を示すグラフ図である。
【図23】出力手段に表示された実施例2の設定画面を示す図である。
【図24】(a)は出力手段に表示された頭頸部表面の色分画像、(b)は色分画像作成手段が色分けする面法線ベクトルの方向と色を示す説明図、(c)は出力手段に表示された頭頸部表面の色分画像を、図10(a)に示す模様で表示した説明図である。
【図25】実施例4における被験者1の測定結果を示すグラフ図であって、(a)はスルメイカを摂取した場合を示し、(b)は豆腐を摂取した場合を示し、(c)はわらび餅を摂取した場合を示す。
【図26】実施例4における被験者2の測定結果を示すグラフ図であって、(a)はスルメイカを摂取した場合を示し、(b)は豆腐を摂取した場合を示し、(c)はわらび餅を摂取した場合を示す。
【図27】実施例4における被験者3の測定結果を示すグラフ図であって、(a)はスルメイカを摂取した場合を示し、(b)は豆腐を摂取した場合を示し、(c)はわらび餅を摂取した場合を示す。
【図28】実施例4における被験者4の測定結果を示すグラフ図であって、(a)はスルメイカを摂取した場合を示し、(b)は豆腐を摂取した場合を示し、(c)はわらび餅を摂取した場合を示す。
【発明を実施するための形態】
【0021】
次に、本発明に係る摂食運動測定システムおよび測定方法につき、好適な実施例を挙げて、添付図面を参照しながら以下詳細に説明する。本発明でいう「摂食運動」とは、飲食物を口腔に取り込んでから胃へ送り込む一連の動作において行われる咀嚼運動や嚥下運動を含んだものである。ここで、「咀嚼運動」とは、口腔内に摂取した飲食物を下顎と歯、舌等を用いて噛み砕くと共に唾液と混ぜ合わせて嚥下し易い大きさの食塊を形成する運動である。また、「嚥下運動」とは、口腔で形成される飲料や咀嚼した食品等の食塊を、口の中の食塊を飲み下す(飲み込む)ときの運動をいう。本発明の摂食運動測定システムおよび測定方法によると、「飲み込み易さ」、「食べ易さ」、「咽喉への引っ掛かり感」、「飲みごたえ感」等、飲食物や経口摂取される医薬品等を嚥下する際に感じる各種の感覚を、嚥下運動に伴って動作する頭頸部表面の追跡対象の位置を測定することにより、簡便、迅速かつ正確で感度もよく、しかも客観的に評価することが可能となる。また、同様に、本発明の摂食運動測定システムおよび測定方法によると、「噛み易さ」、「噛みごたえ感」等、飲食物等を口腔内で咀嚼する際に感じる各種の感覚を、咀嚼運動に伴って動作する頭頸部表面の追跡対象の位置を測定することにより、簡便、迅速かつ正確で感度もよく、しかも客観的に評価することが可能となる。
【実施例1】
【0022】
実施例1の摂食運動測定システムおよび測定方法では、図20に示すように、摂食に伴う嚥下運動時に上下移動する甲状軟骨12の頂部(のど仏)に起因する喉表面(頭頸部表面)の凹凸形状を含む形状を追跡形状(テンプレート)に設定し、嚥下運動時に喉表面に表れる当該追跡形状(具体的には基準点P)の位置を時系列的に特定することで、被験者の嚥下運動を測定するよう構成されている。また、基準点Pとは、追跡形状内で任意に設定される追跡点であって、実施例1では、喉表面に凹凸形状が顕著に表出し、嚥下運動に追従して上下移動する甲状軟骨12の頂部に対応する箇所を基準点Pに指定している。但し、本発明において摂食に伴う嚥下運動を追跡する追跡形状としては、凹凸形状を含む部分であれば、被験者の喉表面(頭頸部表面)の何れの部位を追跡形状に設定してもよい。例えば、追跡形状として、甲状軟骨12の下方にあって嚥下運動時に甲状軟骨12と共に上下移動する輪状軟骨14に起因する喉表面の凹凸形状を含む形状を設定してもよい。また、基準点Pとしても、甲状軟骨12の頂部に対応する箇所に限定されず、追跡形状内の何れの箇所に基準点Pを設定してもよい。なお、甲状軟骨12に起因した凹凸形状を基準点として指定することで、嚥下運動に伴う上下移動が顕著に表出し、嚥下運動を正確に追跡することが可能となる。
【0023】
図1は、実施例1に係る摂食運動測定システム10の全体構成を示すブロック図である。実施例1の摂食運動測定システム10は、被験者の甲状軟骨12を含む喉表面に向けて異なる波長の光を照射する3つのLED(発光手段)16,18,20と、喉表面を撮影して分光画像データを取得する3CCDカメラ(撮像手段)22と、該3CCDカメラ22で取得した分光画像データから追跡形状(基準点P)の位置を時系列的に特定する制御装置24とを備えている。また、摂食運動測定システム10は、前記制御装置24に対し前記基準点Pの位置等を入力する入力手段25と、該制御装置24における算出結果を出力する出力手段26とから基本的に構成される。
【0024】
〔LEDおよび3CCDカメラについて〕
図2(a)に示すように、前記3つのLED16,18,20および3CCDカメラ22は、該3CCDカメラ22のレンズ部28(後述)を原点としたX−Y−Z直交座標系における3次元空間内に設けられている。図2(a)に示す如く、X−Y−Z直交座標系は、X軸およびZ軸が水平方向に延在し、Y軸が鉛直方向に延在するよう設定した。測定時には、レンズ部28にZ軸方向に離間して喉表面が対向するよう被験者を3CCDカメラ22の正面に座らせ、3CCDカメラ22で撮影をする。なお、嚥下運動時の甲状軟骨12は、Y軸方向(鉛直方向)に移動するものとする。また、前記レンズ部28は、被験者の喉表面から所定距離(例えば、約30cm)だけ離間している。
【0025】
図2(b)に示す如く、前記3つのLED16,18,20は、X−Y平面上において、前記3CCDカメラ22を中心とする同心円状に配設されている。また、各LED16,18,20は、互いに一定間隔離間しており、3つのLED16,18,20は、逆正三角形状に配置されている。LED16,18,20間の離間距離は、成人の喉表面の幅寸法(図8の寸法l参照)における平均的な値(11.6cm)を考慮して、約12cmに設定されている。各LED16,18,20は、被験者の喉表面を指向するよう設置され、各LED16,18,20から喉表面に向けて互いに異なる照射方向で光が照射されるよう構成される。また、各LED16,18,20は、相互に波長の異なる光を照射するよう構成される。実施例1では、LED16,18,20として、赤色光を照射する赤色LED16と、青色光を照射する青色LED18と、緑色光を照射する緑色LED20とが採用されている。3つのLED16,18,20は、喉表面に対して一斉に光を照射するようになっており、喉表面の凹凸形状に応じて赤、青、緑の3つの光が合成した光で喉表面を照らすよう構成される。赤色LED16,青色LED18および緑色LED20は、3CCDカメラ22の分光感度特性(後述)を考慮して、夫々、465nm、520nmおよび625nmの波長の光を照射するようになっている。実施例1で採用した各LED16,18,20の仕様を図3に示す。
【0026】
前記3CCDカメラ22は、喉表面で反射した光を赤、青、緑の色毎に分光して各色の分光画像データ(輝度データ)を時系列的に取得するものである。3CCDカメラ22は、図4に示すように、カメラ本体30の内部に、レンズ部28と分光部32と3つのCCD(電荷結合素子)34,36,38とが収容されて構成されている。実施例1で採用したレンズ部28の仕様を図5に示す。前記分光部32は、3色が合成した光を、赤、青、緑色の波長毎の光に分光するものであって、実施例1では、分光部32として、ダイクロイックプリズムが採用されている。図4に示すように、ダイクロイックプリズムは、青色光および赤色光を内部で互いに異なる方向へ反射させると共に、緑色光を透過させることで光を分光する。
【0027】
前記3つのCCDは、赤色光に対応した赤色用CCD34と、青色光に対応した青色用CCD36と、緑色光に対応した緑色用CCD38とから構成される。そして、各CCD34,36,38には、前記分光部32で分光された対応する色の光が入力されるようになっている。ここで、図6の曲線グラフは、実施例1で採用した赤色用CCD34、青色用CCD36および緑色用CCD38の分光感度特性を示している。また、図6の棒グラフは、前記赤色LED16、青色LED18、および緑色LED20が照射する光の波長を示している。このように、各LED16,18,20から照射される光の波長は、CCD34,36,38の分光感度が相互に干渉せず、しかも分光感度の値がなるべく高くなる値に設定されている。そして、赤色用CCD34は、入力した赤色光から輝度データ(以下、赤色分光画像データという)を取得する。また、青色用CCD36は、入力した青色光から輝度データ(以下、青色分光画像データという)を取得する。更に、緑色用CCD38は、入力した緑色光から輝度データ(以下、緑色分光画像データという)を取得するようになっている。各CCD34,36,38で得られた分光画像データは、夫々、前記制御装置24の面法線ベクトル算出手段40(後述)に出力される。なお、実施例1の3CCDカメラ22の単位時間あたりのフレーム数は、30fpsである。但し、3CCDカメラ22のフレーム数は、30fpsに限定されるものではない。フレーム数を大きくすると、追跡形状の詳細な追跡が可能となる一方、処理速度は低下するため、求められる測定精度に応じて3CCDカメラ22のフレーム数は適宜選択される。
【0028】
〔制御装置について〕
図1に示すように、前記制御装置24は、3CCDカメラ22で取得した各色の分光画像データから面法線ベクトルデータを算出する面法線ベクトル算出手段40と、追跡形状の面法線ベクトルデータからなるテンプレートおよび各面法線ベクトルデータを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状(基準点P)の位置を求めるテンプレートマッチング手段46とを備える。また、制御装置24は、面法線ベクトル算出手段40で算出された面法線ベクトルデータを一時的に記憶するデータ記憶手段42と、該面法線ベクトルデータから色分画像データを作成する色分画像作成手段44とを有している。
【0029】
〔面法線ベクトル算出手段について〕
前記面法線ベクトル算出手段40は、前記CCD34,36,38から入力された各分光画像データに基づいて、照度差ステレオ法により面法線ベクトルデータを算出するよう構成されている。ここで、照度差ステレオ法とは、観察面に照射した光の反射光の輝度(明るさ)に基づいて、該観察面の面法線ベクトルを算出する画像処理方法である。この照度差ステレオ法の原理について、以下、簡単に説明する。なお、照度差ステレオ法は、観察面が完全拡散反射面であることを前提としており、どの方向から観察面を見ても明るさが同じに見えるランバート反射の原理を応用している。実施例1における被験者の喉表面についても、各LED16,18,20から照射された光がランバート反射する完全拡散反射面であると仮定する。
【0030】
図7(a)に示すように、観察面の面法線方向を基準としたθ方向から1つの光源によって面を照らした場合に、光源の強さをL,面の反射率をρとすると、カメラで撮影された面の輝度xは、下記数1の式で表される。また、法線方向ベクトルn’を反射率倍したものを面法線ベクトルn、光源方向ベクトルs’を光源の強さ倍したものを光源ベクトルsとすると、数2の式で表すことができる。なお、各式では、記号の上側に付した矢印記号によりベクトルを表している。
【0031】
【数1】
【0032】
【数2】
【0033】
次に、図7(b)に示すように、3つの異なる光源(光源方向ベクトルs1,s2,s3)から順に観察面を照らす。この方向を表すベクトルをベクトルS=[s1 s2 s3]とする。このとき観察される輝度を夫々x1,x2,x3とすると、これを要素とするベクトルX=[x1 x2 x3]
Tは、数3の式で表され、方向の異なる3つの光源下で別々に観察された三枚の画像データの各画素の輝度値から観察面の面法線ベクトルnを求めることができる。
【0034】
【数3】
【0035】
ここで、前述した照度差ステレオ法は、光源を1つずつ順に発光させて観察面を別々に撮影した画像を用いるため、嚥下運動のような動作を伴う喉表面に対しては、この照度差ステレオ法をそのまま適用することは困難である。そこで、実施例1では、前述したように、3つのLED16,18,20から3色の光を喉表面に同時に照射し、その反射光を分光して色毎の輝度データである分光画像データをリアルタイムで取得することで、嚥下運動に伴って面形状が連続的に変化する喉表面の面法線ベクトルnを算出し得るようになっている(3色光照度差ステレオ法)。すなわち、面法線ベクトル算出手段40は、赤色用CCD34で得られた赤色分光画像データ、青色用CCD36で得られた青色分光画像データおよび緑色用CCD38で得られた緑色分光画像データを用いることで、前記数3の式から喉表面の面法線ベクトルnを算出する。
【0036】
〔データ記憶手段について〕
前記データ記憶手段42は、前記面法線ベクトル算出手段40で算出された面法線ベクトルnのデータ(面法線ベクトルデータ)を時系列的に記憶するRAM等の一時記憶装置である。データ記憶手段42に記憶された面法線ベクトルデータは、テンプレートマッチング手段46においてテンプレートマッチングする際や、前記色分画像作成手段44で色分画像データを作成する際に読み出される。
【0037】
〔テンプレートマッチング手段について〕
図1に示すように、前記テンプレートマッチング手段46は、基準となる面法線ベクトルデータからテンプレートを設定するテンプレート設定部48と、該テンプレート設定部48で設定したテンプレートを記憶するテンプレート記憶部(記憶部)56と、面法線ベクトルデータに対しテンプレートマッチングを行う探索領域を設定する探索領域設定部50と、テンプレートと各面法線ベクトルデータとをテンプレートマッチングすることで、追跡形状(基準点P)の位置を特定する位置特定部52とから基本的に構成される。
【0038】
前記テンプレート設定部48は、前記データ記憶手段42に記憶された面法線ベクトルデータのうち基準となる面法線ベクトルデータからテンプレートを設定するものである。テンプレートとしては、前述のように、甲状軟骨12の頂部に起因する凹凸形状が含まれる追跡形状に対応する面法線ベクトルデータで構成される。具体的には、図8に示すように、後述する出力手段26に表示させた設定画面に入力手段25を介して基準点Pの位置およびテンプレートとする範囲を測定者が入力し、当該入力値に基づいて面法線ベクトルデータからテンプレート設定部48がテンプレートとして設定する。なお、実施例1では、テンプレートが作成される基準となる面法線ベクトルデータは、被験者が嚥下運動を開始する前の喉表面における面法線ベクトルデータに設定されている。設定画面には、基準となる面法線ベクトルデータに対応する画像データ(以下、基準画像データという)が表示され、前記基準点Pは、基準画像データにおいて、甲状軟骨12の頂部に対応する位置を入力手段25で指定することで設定される。また、テンプレートの範囲は、設定画面に設けた範囲設定バー54において、入力手段25を介してカーソル54aを左右にスライド移動させ、テンプレートとする範囲のピクセル数(画素数)を決定することで行われる。ピクセル数が入力されると、テンプレート設定部48は、基準点Pを通ると共に嚥下運動時の甲状軟骨12の運動方向(Y軸方向)に入力されたピクセル数の長さで延在する線状の領域をテンプレートの範囲として設定する。すなわち、テンプレート設定部48は、前記基準点Pを中心とした上下方向に延在する線分をテンプレートとして設定する。なお、実施例1では、幅方向(X軸方向)のテンプレートの範囲は、1ピクセルである。
【0039】
前記テンプレート記憶部56は、前記テンプレート設定部48で設定されたテンプレートを一時的に記憶するRAM等の一時記憶装置である。テンプレート記憶部56に記憶されたテンプレートは、前記位置特定部52がテンプレートマッチングを行う際に読み出される。前記探索領域設定部50は、面法線ベクトルデータに対しテンプレートマッチングを行う範囲である探索領域を設定する。実施例1では、探索領域設定部50は、探索領域として、前記基準点Pを通ると共に前記テンプレートの範囲を包含する線状の領域が設定される。具体的には、図8に示す設定画面に設けた探索領域設定バー58において、測定者が入力手段25を介してカーソル58aを左右にスライド移動させ、面法線ベクトルデータにおいて探索する範囲をピクセル数(画素数)で入力する。入力されたピクセル数に基づいて、探索領域設定部50は、図8に示すように、前記基準点Pを中心とし、前記テンプレートより長尺なY軸方向に延在する線状の領域を探索領域として設定する。なお、探索領域として入力されるY軸方向のピクセル数は、テンプレートの範囲のピクセル数より大きな値に設定される。また、探索領域の幅方向(X軸方向)の寸法は、テンプレート同じく1ピクセルである。
【0040】
前記位置特定部52は、前記データ記憶手段42に記憶された各面法線ベクトルデータと前記テンプレート記憶部56に記憶されたテンプレートとを読み出し、前記探索領域内においてテンプレートマッチングを行うよう構成される。ここで、テンプレートマッチングの原理について、以下簡単に説明する。テンプレートマッチングとは、テンプレートと特定の画像とを重ね合わせて類似度を計算し、類似度が最大となったときのテンプレートの位置を特定する手法である。実施例1では、類似度の計算にNCC(Normalized Cross-Correlation(正規化相互相関))を用いた。
【0041】
このNCCは、数4の式で表される。但し、テンプレートの大きさ(画素値の要素数)をM×N、テンプレートの位置(i,j)における画素値をT(i,j)、テンプレートと重ね合わせた画像の画素値をI(i,j)とする。
【0042】
【数4】
【0043】
図9に示すように、テンプレートT(i,j)と対象画像I(i,j)のM×N要素のベクトルTとベクトルIを考えると、NCCはベクトルのなす余弦となっている。従って、NCCを用いた場合で、1に近いほど類似性が高くなる。
【0044】
なお、類似度の計算としては、NCC以外にも公知の類似度計算法を採用することができる。例えば、図9に示すように、類似度計算に、輝度の絶対差の2乗和であるSSD(Sum of Squared Difference)や輝度の絶対差の和であるSAD(Sum
of Absolute Difference)を利用することも可能である。SSDおよびSADの式を数5,数6に示す。SSDおよびSADを用いた場合、0に近いほど類似性が高くなる。
【0045】
【数5】
【0046】
【数6】
【0047】
前記位置特定部52は、前記データ記憶手段42から読み出した各面法線ベクトルデータにおいて、テンプレートとの類似度を探索領域内で算出する。そして、探索領域内で類似度の値が最大となったテンプレートの位置から当該面法線ベクトルデータにおける基準点Pの位置を特定する。すなわち、位置特定部52は、時系列的に取得される各面法線ベクトルデータにおける基準点Pを特定することで、嚥下運動での追跡形状を追跡するようになっている。
【0048】
〔色分画像作成手段について〕
前記色分画像作成手段44は、前記データ記憶手段42に記憶された面法線ベクトルデータに基づいて、色分画像データを作成するよう構成される。この色分画像データは、面法線ベクトルデータの各面法線ベクトルを方向に応じて色分けして、出力手段26で喉表面の凹凸形状に応じて色分した画像(以下、色分画像という)を表示させるためのデータである。実施例1では、色分画像作成手段44は、図10(a)に示すように、面法線ベクトルをX−Y平面上の8方向に分類し、各方向に対応した8種類の色で色分けを行うようになっている。例えば、喉表面の所定位置における面法線ベクトルがX−Y平面で右向きである場合、前記色分画像作成手段44は、喉表面における当該位置の色を黄色で表示する画像データを作成する(図10(b)参照)。同様に、喉表面の所定位置における面法線ベクトルがX−Y平面で上向きである場合、前記色分画像作成手段44は、喉表面における当該位置の色を青色で表示する画像データを作成する(図10(b)参照)。なお、図10(a),図10(b)では、色の代わりに模様を付して表示した。また、図10(c)は、図10(b)の色分画像のベースとなる喉表面の実際の画像である。喉表面における甲状軟骨12の頂部に対応する部位は、色分画像において色が放射状に変わる部分として表れる。
【0049】
前記入力手段25は、測定者によって操作されるマウスやキーボード等の入力装置であって、前述のように、テンプレートの設定時に、前記テンプレート設定部48に対し基準点Pの位置およびテンプレートの範囲を入力するようになっている。また、探索領域の設定時に、探索領域設定部50に対して探索領域の範囲を入力するよう構成される。前記出力手段26は、液晶表示装置等のディスプレイ装置であって、前記制御装置24の算出結果を出力するよう構成される。すなわち、出力手段26は、前記位置特定部52で特定された基準点Pの位置の時間変化を表示するようになっている(図15参照)。ここで、実施例1では、出力手段26は、前述した基準画像データで指定した基準点Pの位置を基準位置とし、基準位置からY軸方向に基準点Pが移動したピクセル量(以下、移動ピクセル量という)の時間変化を表示するようになっている。更に、出力手段26は、図10(b)に示すように、前記色分画像作成手段44で作成された画像データに基づいて、喉表面の色分画像を表示するようになっている。なお、前述したように、出力手段26は、テンプレート設定部48に対しテンプレートを設定する際や、探索領域設定部50に対し探索領域を設定する際に用いられる設定画面を表示するよう構成される。
【0050】
〔実施例1の作用〕
次に、前述した摂食運動測定システム10による摂食運動の測定方法について、以下説明する。図11に示すように、摂食運動の測定方法は、被験者の喉表面(頭頸部表面)に向けて光を照射するステップS1と、分光画像データを取得するステップS2と、面法線ベクトルデータを算出するステップS3と、テンプレートおよび探索領域の設定を行うステップS4と、テンプレートマッチングを行うステップS5と、特定された甲状軟骨12の頂部Pの位置を出力するステップS6とを備えている。
【0051】
前記赤色LED16、青色LED18および緑色LED20から照射された赤色光、青色光および緑色光は、夫々、異なる照射角度で喉表面に到達して該喉表面を照らす。喉表面で反射した光は、図4に示すように、3CCDカメラ22のレンズ部28を透過してカメラ本体30内に入り、前記分光部32に到達する。分光部32では、光が通過する間に赤色、青色および緑色の光に分光される。分光部32で分光された赤色光、青色光および緑色光は、赤色用CCD34、青色用CCD36および緑色用CCD38に夫々入力され、各CCD34,36,38において分光画像データ(赤色分光画像データ、青色分光画像データ、緑色分光画像データ)が3CCDカメラ22の撮影コマ(フレーム)毎に時系列的に取得される(ステップS2)。このとき、赤色、青色および緑色の光の波長は、図6に示すように、各CCD34,36,38の分光感度特性が互いに干渉せず、かつ分光感度が高くなる値に設定してあるから、各CCD34,36,38において色毎の正確な分光画像データが取得される。各CCD34,36,38で取得された分光画像データは、面法線ベクトル算出手段40に出力される。
【0052】
面法線ベクトル算出手段40に各色の分光画像データが入力されると、図12に示す如く、面法線ベクトル算出手段40が照度差ステレオ法により面法線ベクトルデータを算出する(ステップS7)。すなわち、面法線ベクトル算出手段40は、赤色分光画像データ、青色分光画像データおよび緑色分光画像データに基づき前記数3の式に基づき面法線ベクトルデータを時系列的に算出する。このように、面法線ベクトル算出手段40は、同時に取得された3種の分光画像データに基づいて面法線ベクトルデータを算出する3色光照度差ステレオ法を用いたから、単色の照度差ステレオ法のように、LEDを1つずつ発光させながら画像データを取得する必要がない。従って、嚥下運動に伴って形状が連続的に変化する喉表面であっても、面法線ベクトルデータを間断なくリアルタイムで算出することが可能となる。しかも、面法線ベクトルデータの算出にあたって、各CCD34,36,38で得られた正確な分光画像データを用いたから、実際の喉表面の凹凸形状に即した精度の高い面法線ベクトルデータを得ることができる。面法線ベクトル算出手段40で算出された面法線ベクトルデータは、データ記憶手段42に時系列的に記憶される(ステップS8)。
【0053】
設定処理においては、図13に示すように、算出された面法線ベクトルデータのうちから、テンプレートマッチングの基準となるテンプレートがテンプレート設定部48により設定される(ステップS9)。すなわち、図8に示すように、出力手段26の設定画面に表示された基準画像において、入力手段25を介して甲状軟骨12の頂部に対応する位置を基準点Pとして指定する。また、設定画面における範囲設定バー54において、カーソル54aを左右にスライド移動させ、テンプレートの範囲(ピクセル数)を決定する。これらの入力に基づき、基準点Pを中心として、入力されたピクセル数の長さを有しY軸方向に延在する線状の範囲に含まれた面法線ベクトルデータがテンプレートとしてテンプレート設定部48により設定される。テンプレート設定部48で設定されたテンプレートは、テンプレート記憶部56に記憶される(ステップS10)。
【0054】
また、探索領域設定部50が、面法線ベクトルデータに対しテンプレートマッチングを行う探索領域を設定する(ステップS11)。すなわち、図8に示すように、出力手段26の設定画面における探索領域設定バー58において、入力手段25を介してカーソル58aを左右にスライド移動させて、探索領域の範囲(ピクセル数)を決定する。このとき、探索領域のピクセル数は、テンプレートの範囲より大きな値に設定される。探索領域のピクセル数が入力されると、基準点Pを中心としてテンプレートの範囲を包含する線状の領域が探索領域として探索領域設定部50により設定される。すなわち、探索領域は、テンプレートと同様に、上下方向(Y軸方向)に延在する範囲として設定される。探索領域設定部50で探索領域が設定されることで、設定処理が終了する。
【0055】
次に、テンプレートマッチング手段46によるテンプレートマッチング処理について説明する(ステップS5)。図14に示すように、テンプレートマッチング処理では、先ず始めに、位置特定部52がデータ記憶手段42に記憶された面法線ベクトルデータと、テンプレート記憶部56に記憶されたテンプレートとを読み出す(ステップS12)。そして、位置特定部52は、読み出した面法線ベクトルデータとテンプレートとに基づいて探索領域設定部50で設定された探索領域内でテンプレートマッチングを行う(ステップS13)。具体的には、位置特定部52は、探索領域内における面法線ベクトルデータとテンプレートとの類似度を、数5の式を用いて計算する。そして、探索領域内において最も類似度が大きくなる(NCCが1に近くなる)テンプレートの位置から、当該面法線ベクトルデータにおける基準点Pの位置(甲状軟骨12の頂部に対応する位置)を特定する(ステップS14)。すなわち、時系列的に取得される各面法線ベクトルデータにおける基準点Pが特定されることで、嚥下運動を測定するようになっている。また、実施例1では、類似度を計算するに際し、ベクトルの余弦として規定されるNCCを用いたので(図9参照)、喉表面の明るさの変化に影響を受けることはなく、甲状軟骨12の移動に伴い面形状が変化する喉表面の類似度を正確に計算することができる。但し、類似度の計算としては、前述したSSD(数5)やSAD(数6)等、類似性を算出し得る公知の方法を適宜採用し得る。
【0056】
ここで、前述のように、テンプレートの範囲および探索領域は、前記テンプレート設定部48および探索領域設定部50において線状の領域に設定されている。従って、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチング時の計算量を少なくし得るから、テンプレートマッチングを効率的に行うことができ、基準点Pの位置を迅速に特定することができる。全ての面法線ベクトルデータに対するテンプレートマッチングが終了すると(ステップS15のYes)、テンプレートマッチング処理が終了する。
【0057】
テンプレートマッチング処理により位置特定部52で特定された基準点Pの位置は、出力手段26に入力される。出力手段26では、図15に示すように、入力された基準点Pの位置から移動ピクセル量を算出し、該移動ピクセル量の時間変化をグラフで表示する(ステップS6)。図15は、横軸が時間、縦軸が移動ピクセル量を示している。このように、基準点Pの移動ピクセル量の時間変化を出力手段26がグラフ化して表示することで、嚥下運動時での追跡形状(すなわち、甲状軟骨12)の動きを詳細に観察することができ、嚥下運動を解析することが可能となる。しかも、測定時に被験者にセンサー等を装着したり、被験者の首を固定したりする必要がないから、自然な嚥下運動を正確に測定することができる。従って、測定された嚥下運動を解析することで、飲食品の「食感」、医薬品の「飲み込み易さ」等を客観的に評価することができる。しかも、センサーや電極等の測定器具を被験者に装着する必要がないから、嚥下運動の測定を簡単かつ低コストで実施することができる。
【0058】
次に、喉表面の色分画像を出力する場合について説明する。なお、喉表面の色分画像を表示する際には、前述した面法線ベクトルデータ算出処理で算出された面法線ベクトルデータが用いられる。図16に示すように、色分画像作成手段44は、データ記憶手段42に記憶した面法線ベクトルデータを読み出す(ステップS16)。次に、色分画像作成手段44は、読み出した面法線ベクトルデータから色分画像データを作成する(ステップS17)。このとき、色分画像作成手段44は、図10(a)に示すように、面法線ベクトルを8方向に分類し、各方向に対応する色分けをした色分画像データを作成する。次に、色分画像作成手段44は、作成した色分画像データを出力手段26に出力する(ステップS18)。そして、出力手段26は、図10(b)に示すように、入力された色分画像データに基づいて、喉表面を色分けした画像を表示する。このように、実施例1に係る摂食運動測定システム10および測定方法によれば、喉表面の傾き(面法線ベクトルの方向)に応じて色分けした画像を表示することができるので、嚥下運動時における喉表面の変化を視覚的に把握することができる。従って、色分画像に基づいて、嚥下運動を詳細に観察および分析することが可能となり、飲食品等の「飲み込み易さ」等を評価することができる。
【0059】
〔実験例1〕
次に、本発明に係る摂食運動測定システム10および測定方法を用いた測定実験を行った。被験者としての20代前半の男性に、コップに入れた水(200ml)を数回に分けて飲み込んでもらい、そのときの嚥下運動を測定した。図17に測定結果を示す。なお、図17における理想値は、出力手段26に表示した喉表面の画像から甲状軟骨12の頂部に対応する位置を目視により特定した場合における基準位置からの移動ピクセル量である。また、実験例1では、数4の式を用いて類似度を計算した。実験例1の結果から分かるように、本発明に係る摂食運動測定システム10で測定された実測値は、理想値にほぼ一致している。すなわち、本発明に係る測定システムおよび測定方法によれば、基準点Pの位置(甲状軟骨12の頂部に対応する位置)を正確に追跡することができ、嚥下運動を正確に測定し得ることが分かる。
【0060】
〔実験例2〕
次に、実験例2として、飲料の違いによる嚥下運動の違いを本発明の嚥下運動測定システム10を用いて測定した。被験者には、水および食塩水を同量(200ml)ずつ飲んでもらい、水を飲んだ場合の測定結果と食塩水を飲んだ場合の測定結果とを比較した。食塩水は、人が飲み込むのに抵抗を感じる3重量%の濃度とした。実験例2の結果を図18に示す。なお、実験例2では、数4の式を用いて類似度を計算した。
【0061】
図18のグラフから分かるように、水を飲んだ場合と食塩水を飲んだ場合とでは、飲み終えるまでの時間が異なっている(食塩水の方が時間が長くなっている)。これは、被験者が食塩水を飲み辛いと感じて、食塩水を全て飲み干すまでに時間を要したものと判断される。また、食塩水のグラフは、グラフの立ち上がりや立ち下がりの傾きが、水に較べて緩やかとなっている。これは、食塩水が辛いため、被験者が飲み込むのを躊躇したものと判断される。このように、本発明の測定システムおよび測定方法を用いることで、異なる種類の飲食品や医薬品を飲んだ場合の嚥下運動を比較することで、「飲み込み易さ」等を評価することができる。
【0062】
〔実験例3〕
次に、類似度の計算方法を変えた場合に測定結果に生ずる差を比較する実験を行った。実験例は、前述した実施例1のように、類似度の計算にNCC(数4参照)を用いた。比較例は、類似度の計算に前記数6で表されるSADを用いた。被験者に水を200ml飲んでもらい測定結果を比較した。その測定結果を図19に示す。なお、理想値は、実験例1で説明したように、甲状軟骨12の頂部の位置を目視により特定したものである。
【0063】
図19の結果から、SAD(一点鎖線)を用いた比較例よりも、NCC(実線)を用いた実験例の方が理想値によく一致していることが分かる。これは、図9に示すように、SADがベクトルの差であり、甲状軟骨12が上下することで変化する喉表面の輝度値(ベクトルの長さ)に大きく影響を受けるため、SADを用いた類似度計算では、基準点Pの位置を特定する際に誤差が生じたものと思われる。一方、NCCは、ベクトルの傾き(余弦)に依存し、喉表面の明るさの変化に影響を受けないため、基準点Pを正確に特定できたと判断される。すなわち、本発明における類似度の計算には、NCCを用いることで、より正確に嚥下運動を測定することができることが分かる。
【実施例2】
【0064】
実施例2の摂食運動測定システムおよび測定方法では、頭頸部表面(具体的には下顎表面)の凹凸形状を含む形状であって咀嚼運動時に表面形状を概ね維持したまま移動する形状を追跡形状に設定し、摂食に伴って咀嚼した際に当該追跡形状の位置を時系列的に特定することで、被験者の咀嚼運動を測定するよう構成されている。実施例2では、下顎表面に凹凸形状が顕著に表出すると共に咀嚼運動に追従して上下移動する下顎骨のオトガイ隆起62aに対応する箇所を基準点P1として、当該基準点P1を含んだ形状が追跡形状(第1のテンプレート)として設定されている。また、実施例2に係る摂食運動測定システムおよび測定方法では、実施例1と同様に頭頸部表面(具体的には喉表面)の凹凸形状を含む形状であって嚥下動作時に表面形状を概ね維持したまま移動する形状を追跡形状に設定し、摂食に伴って嚥下した際に当該追跡形状の位置を時系列的に特定することで、被験者の嚥下運動を測定するよう構成されている。実施例2では、喉表面に凹凸形状が顕著に表出すると共に嚥下運動に追従して上下移動する甲状軟骨12の頂部に対応する箇所を基準点P2として、当該基準点P2を含んだ形状が追跡形状(第2のテンプレート)として設定されている。なお、本発明において摂食に伴う咀嚼運動を追跡する追跡形状としては、凹凸形状を含む部分であれば、下顎表面の何れの部位を追跡形状に設定してもよい。例えば、追跡形状として、咀嚼運動時に上下移動する下顎骨62の下顎底64や下顎角66(図20参照)に起因する下顎表面の凹凸形状を含む形状を追跡形状として設定してもよい。なお、下顎骨62のオトガイ隆起62aに起因した凹凸形状を基準点P1として指定することで、咀嚼運動に伴う上下移動が顕著に表出し、咀嚼運動を正確に追跡することが可能となる。
【0065】
実施例2に係る摂食運動測定システムは、実施例1で示した摂食運動測定システム10と基本的構成が同じであることから、同一の機能を備える構成については同一の符号を付して詳細な説明を省略し、異なる構成について以下説明する。図21は、実施例2に係る摂食運動測定システム10の全体構成を示すブロック図である。実施例2に係る摂食運動測定システム10では、異なる波長の光を照射する発光手段として、不可視領域である赤外線領域の光を照射する複数(実施例では3つ)の赤外線LED72,74,76が用いられており、被験者の甲状軟骨12および下顎骨62を含む頭頸部表面(喉表面および下顎表面)に向けて赤外線を照射するよう構成されている。そして、実施例2に係る摂食運動測定システム10では、下顎表面および喉表面を撮影して分光画像データを取得する撮像手段として、赤外線を撮影可能な3CCDカメラ78が用いられている。なお、実施例2に係る摂食運動測定システム10においても、赤外線LED72,74,76および3CCDカメラ78は実施例1と同様の位置関係で配置されており、被験者の喉表面および下顎表面に照射した赤外線の光により3CCDカメラ78で撮影し得るようになっている。また、実施例2に係る3つの赤外線LED72,74,76は、不可視である近赤外線領域で、かつ通常の3CCDカメラ78が十分な感度を有する約700nm〜900nmの互いに干渉しない波長の光を照射するよう構成されている。
【0066】
前記各赤外線LED72,74,76および3CCDカメラ78には、透過波長の異なるバンドパスフィルタが夫々設置されており、波長の異なる赤外線を頭頸部表面(下顎表面および喉表面)に照射した際に3つの分光画像データを3CCDカメラ78が取得し得るようになっている。そして、3CCDカメラ78が取得した各波長の分光画像データが前記制御装置24の面法線ベクトル算出手段40に出力されるよう構成されている。ここで、図22は、実施例2で用いたバンドパスフィルタの分光特性を示す。すなわち、実施例2では、780±5[nm]、850±5[nm]、880±5[nm]の近赤外線ににより分光画像データを取得するよう構成されている。なお、実施例2の3CCDカメラ78の単位時間あたりのフレーム数は、実施例1と同様に30fpsのものを用いているが、これに限定されないことは同様である。
【0067】
そして、実施例2に係る制御装置24の面法線ベクトル算出手段40は、3CCDカメラ78で取得した各波長の分光画像データに基づいて前述した3色光照度差ステレオ法により面法線ベクトルデータを算出するよう構成されている。すなわち、3つの赤外線LED72,74,76から異なる3つの波長の赤外線を頭頸部表面(下顎表面および喉表面)に同時に照射し、その反射光を分離して波長毎の輝度データである分光画像データをリアルタイムで取得することで、咀嚼運動に伴って面形状が連続的に変化する下顎表面の面法線ベクトルnおよび嚥下運動に伴って面形状が連続的に変化する喉表面の面法線ベクトルnを夫々算出し得るようになっている。そして、面法線ベクトル算出手段40で算出された面法線ベクトルデータは、データ記憶手段42に時系列的に記憶され、テンプレートマッチング手段46においてテンプレートマッチングする際や、前記色分画像作成手段44で色分画像データを作成する際に読み出されるよう構成される。
【0068】
また、実施例2に係る摂食運動測定システム10に設けられたテンプレートマッチング手段46のテンプレート設定部48は、前記データ記憶手段42に記憶された面法線ベクトルデータのうち基準となる面法線ベクトルデータから、2種類の第1のテンプレートおよび第2のテンプレートを夫々設定可能に構成される。ここで、テンプレート設定部48で設定される第1のテンプレートとしては、下顎骨62のオトガイ隆起62aに起因する凹凸形状が含まれる追跡形状に対応する面法線ベクトルデータで構成され、第2のテンプレートとしては、実施例1と同様に甲状軟骨12の頂部に起因する凹凸形状が含まれる追跡形状に対応する面法線ベクトルデータで構成される。具体的には、図23に示すように、出力手段26に表示させた設定画面に入力手段25を介して基準点P1の位置および第1のテンプレートとする範囲が入力され、当該入力値に基づいて面法線ベクトルデータからテンプレート設定部48が第1のテンプレートを設定する。なお、実施例2では、第1のテンプレートが作成される基準となる面法線ベクトルデータは、被験者が咀嚼運動を開始する前の下顎表面における面法線ベクトルデータに設定されている。設定画面には、基準となる面法線ベクトルデータに対応する画像データ(以下、基準画像データという)が表示され、前記基準点P1は、基準画像データにおいて、下顎骨62のオトガイ隆起62aに対応する位置を入力手段25で指定することで設定される。また、第1のテンプレートの範囲は、設定画面に設けた範囲設定バー54において、入力手段25を介してカーソル55aを左右にスライド移動させ、第1のテンプレートとする範囲のピクセル数(画素数)を決定することで行われる。ピクセル数が入力されると、テンプレート設定部48は、基準点P1を通ると共に咀嚼運動時における下顎骨62の運動方向(Y軸方向)に入力されたピクセル数の長さで延在する線状の領域を第1のテンプレートの範囲として設定する。すなわち、テンプレート設定部48は、前記基準点P1を中心とした上下方向に延在する線分を第1のテンプレートとして設定する。ここで、第1のテンプレートの幅方向(X軸方向)の範囲は、1ピクセルに設定してある。なお、甲状軟骨12の頂部に対応した第2のテンプレートの設定に関しては、前述した実施例1におけるテンプレートの設定と同じなので、詳細な説明は省略する。また、第1のテンプレートおよび第2のテンプレートは、前記テンプレート記憶部56に一時的に記憶されて、位置特定部52がテンプレートマッチングを行う際に読み出される。
【0069】
実施例2の探索領域設定部50は、咀嚼運動を測定する探索領域として、前記基準点P1を通ると共に前記第1のテンプレートの範囲を包含する線状の領域を設定すると共に、嚥下運動を測定する探索領域として、前記基準点P2を通ると共に前記第2のテンプレートの範囲を包含する線状の領域を設定するよう構成されている。具体的には、図23に示すように、咀嚼運動の探索領域を設定する探索領域設定バー59と、嚥下運動の探索領域を設定する探索領域設定バー58とが設定画面に表示されるようになっており、入力手段25を介して測定者が探索領域設定バー59のカーソル59aおよび探索領域設定バー58のカーソル58aを左右にスライド移動することで、面法線ベクトルデータにおいて咀嚼運動を探索する範囲および嚥下運動を探索する範囲がピクセル数(画素数)で個別に入力される。そして、入力されたピクセル数に基づいて、探索領域設定部50は、図23に示すように、前記基準点P1を中心とし、前記第1のテンプレートより長尺なY軸方向に延在する線状の領域を咀嚼運動の探索領域として設定し、基準点P2を中心とし、前記第2のテンプレートより長尺なY軸方向に延在する線状の領域を嚥下運動の探索領域として設定するよう構成されている。なお、各運動の探索領域として入力されるY軸方向のピクセル数は、各運動に対応したテンプレートの範囲のピクセル数より大きな値に設定される。
【0070】
前記位置特定部52は、前記データ記憶手段42に記憶された各面法線ベクトルデータを読み出すと共に、前記テンプレート記憶部56に記憶された第1のテンプレートおよび第2のテンプレートを読み出して、前記咀嚼運動の探索領域および嚥下運動の探索領域内においてテンプレートマッチングを夫々行うよう構成される。すなわち、前記位置特定部52は、前記データ記憶手段42から読み出した各面法線ベクトルデータにおいて、第1のテンプレートとの類似度を咀嚼運動の探索領域内で算出する。そして、咀嚼運動の探索領域内で類似度の値が最大となった第1のテンプレートの位置から当該面法線ベクトルデータにおける基準点P1の位置を特定する。すなわち、位置特定部52は、時系列的に取得される各面法線ベクトルデータにおける第1のテンプレート(基準点P1)の位置を特定することで、咀嚼運動を追跡するようになっている。同様に、前記位置特定部52は、前記データ記憶手段42から読み出した各面法線ベクトルデータにおいて、第2のテンプレートとの類似度を嚥下運動の探索領域内で算出する。そして、嚥下運動の探索領域内で類似度の値が最大となった第2のテンプレートの位置から当該面法線ベクトルデータにおける基準点P2の位置を特定する。すなわち、位置特定部52は、時系列的に取得される各面法線ベクトルデータにおける第2のテンプレート(基準点P2)の位置を特定することで、嚥下運動での追跡形状を追跡するようになっている。
【0071】
また、実施例2では、図24(a)に示すように、X−Y平面における面法線ベクトルの向きを当該平面上の全方向で色分けした色分画像データを色分画像作成手段44が作成して、この色分画像データに基づいて頭頸部表面の色分画像が前記出力手段26に表示されるようになっている。なお、図24(b)は、色分画像作成手段44により色分けされる面法線ベクトルの向きを、グラデーション表示した状態を示す。なお、図24(c)では、実施例1と同様に面法線ベクトルをX−Y平面上の8方向に分類した状態を、色彩に変えて模様を付して示すものである。すなわち、実施例2において、基準点P1や基準点P2のように突出した身体的特徴部位は、色分画像において色彩が放射状に変化する特徴的な表示態様となる。
【0072】
〔実施例2の作用〕
次に、前述した実施例2に係る摂食運動測定システム10による摂食運動の測定方法について、説明する。実施例2に係る摂食運動測定システム10による摂食運動の測定方法では、前述した実施例1に対して被験者に照射される光の波長が異なると共に、複数の基準点P1,P2を設定して、下顎表面および喉表面の動作を追跡する点で異なっている。すなわち、実施例2では、測定用の光源として赤外線を照射することで、測定時に被験者が眩しく感じることはなく、被験者に対する負担を軽減することができる。また、蛍光灯が有する波長領域外の近赤外線光を採用することで、蛍光灯下の室内環境での測定も可能となる。このように、測定用の光源として赤外線を利用することで、被験者が通常飲食する状態と近い環境で測定することができ、より自然な摂食運動(咀嚼運動や嚥下運動)を測定することができる。
【0073】
また、実施例2では、出力手段26の設定画面に表示された基準画像において、入力手段25を介して下顎骨62のオトガイ隆起62aに対応する位置を基準点P1として指定すると共に、甲状軟骨12の頂部に対応する位置を基準点P2として指定することで、各基準点P1,P2を中心として線状の範囲に含まれた面法線ベクトルデータが第1のテンプレートおよび第2のテンプレートとして設定される。そして、第1のテンプレートを包含する探索領域および第2のテンプレートを包含する探索領域を夫々個別に設定することで、データ記憶手段42に記憶された面法線ベクトルデータと、第1および第2のテンプレートとに基づいて各探索領域内でテンプレートマッチングが行われる。具体的には、各探索領域内における面法線ベクトルデータと対応する各テンプレートとの類似度が、数5の式を用いて位置特定部52により計算されて、各探索領域内において最も類似度が大きくなる(NCCが1に近くなる)テンプレートの位置に基づいて、当該面法線ベクトルデータにおける基準点P1の位置(下顎骨62のオトガイ隆起62aに対応する位置)および基準点P2の位置(甲状軟骨12の頂部に対応する位置)が特定される。すなわち、時系列的に取得される各面法線ベクトルデータにおける基準点P1,P2を特定することで、咀嚼運動と嚥下運動とが同時に連続して測定される。そして、基準点P1,P2の移動ピクセル量の時間変化を出力手段26がグラフ化して表示することで、摂食運動時での追跡形状(すなわち、下顎骨62や甲状軟骨12)の動きを同時に詳細に観察することができ、摂食運動を解析することが可能となる。このように、測定時に被験者にセンサー等を装着したり、被験者の首を固定したりする必要がないから、自然な状態で咀嚼運動や嚥下運動を同時に正確に測定することができる。従って、測定された摂食運動を解析することで、摂食した飲食品の噛み応えなどの「食感」や「飲み込み易さ」等を客観的に評価することができる。しかも、センサーや電極等の測定器具を被験者に装着する必要がないから、摂食運動の測定を簡単かつ低コストで実施することができる。
【0074】
〔実験例4〕
次に、実施例2に係る摂食運動測定システム10および測定方法を用いて行った測定実験について説明する。本実験例では、被験者として20代前半の4人の男性に、食感が異なる3種類の食物を摂食してもらい、そのときの咀嚼運動と嚥下運動の様子を前述した摂食運動測定システム10および測定方法により測定した。なお、本実験例では、イカの内臓を切り開いて乾燥させた固く噛み砕き難いスルメイカと、柔らかく崩れやすい豆腐と、固さはないものの弾力や粘りがあるわらび餅の3種類を採用し、経口摂取してから嚥下するまでの一連の運動を測定している。図25〜図28に各被験者の測定結果を示す。また、各被験者が咀嚼を始めてから最初に嚥下運動に入るまでに行った咀嚼回数を表1に示すと共に、当該最初の嚥下運動までのフレーム数(時間)を表2に示す。なお、本実験例で用いた3CCDカメラ78が単位時間あたりに撮像するフレーム数は、30fps(フレーム/秒)である。
【0075】
【表1】
【0076】
【表2】
【0077】
図25〜図28や表1,2から、固く噛み砕き難いスルメイカを摂取した場合には、相対的に柔らかいわらび餅や豆腐を摂取した場合と比べて、嚥下運動に入るまでの咀嚼回数が多くなり、また嚥下可能になるまで咀嚼するのに時間を要していることが分かる。これとは反対に、柔らかく脆い豆腐を摂取した場合には、固いスルメイカや弾力のあるわらび餅を摂取した場合と比べて、少ない咀嚼回数で嚥下運動に移行することが分かる。また、柔らかく噛み応えの少ない豆腐を摂取した場合には、相対的に噛み応えのあるスルメイカやわらび餅と比べて、被験者の咀嚼運動が小さくなっていることが分かる。すなわち、本発明に係る摂食運動測定システム10およびその測定方法によれば、異なる食物を摂取した場合に咀嚼から嚥下に移行するまでの咀嚼回数や咀嚼時間を把握することができ、咀嚼運動や嚥下運動に基づいて、「噛み切り易さ」、「噛み応え感」といった咀嚼から得られる感覚を、被験者に対して非接触かつ非侵襲な状態で評価することができる。また、嚥下運動を測定しているから、実施例1と同様に「飲み込み易さ」等を評価することも可能である。
【0078】
また、摂取した食物毎の咀嚼運動と嚥下運動との関係は、被験者によらず一定の傾向を示している。この実験例から、本発明に係る摂食運動測定システムおよびその測定方法を用いることで、被験者の個人の感覚に依存することなく、咀嚼運動と嚥下運動との関係を相対的に評価することができることが分かる。更に、摂取した食物毎に、嚥下運動までの咀嚼回数の分布や咀嚼運動の大きさを把握できることから、摂取した食物がどのような食感の食物であるかを推定することも可能となることが分かる。
【0079】
〔変更例〕
本発明に係る摂食運動測定システムおよび測定方法としては、各実施例に示したものに限定されるものでなく、例えば以下の如き変更が可能である。
(1) 実施例では、発光手段としてLEDを採用したが、必ずしも、LEDに限定されるものではない。発光手段としては、相互に異なる波長を照射し得るものであれば、ハロゲンランプ、色素レーザー、発光ダイオード(LD)、エレクトロルミネッセンス(EL)等、他の発光装置を採用することが可能である。但し、コストや発熱の観点からLEDが特に好ましく用いられる。
(2) 実施例では、3つの発光手段で光を照射したが、発光手段は4つ以上であってもよい。また、実施例では、撮像手段を中心として、3つの発光手段を正三角形状に配置したが、喉表面に対して異なる照射角度で光を照射し得るものであれば、発光手段は、異なる位置関係で配置してもよい
(3) 実施例では、撮像手段として、3CCDカメラを採用したが、各色の分光画像データを取得し得るものであれば、他のカメラを採用することができる。
(4) 実施例では、テンプレートの範囲および探索領域を線状の領域としたが、両者を面状の領域としてもよい。但し、探索領域は、テンプレートを包含した領域に設定する必要がある。また、テンプレートのみを線状の範囲とし、探索領域を、テンプレートを包含した面状の領域としてもよい。更に、必ずしも探索領域を設定する必要はなく、面法線ベクトルデータの全範囲に対し、テンプレートマッチングを行ってもよい。
(5) 実施例では、入力手段を介して基準点やテンプレートの範囲を入力することで、テンプレート設定部がテンプレートを設定するようにしたが、テンプレート設定部が予め設定された基準点およびテンプレートの範囲を自動的に設定するようにしてもよい。また、必ずしも、入力手段を介して入力した探索領域の範囲に基づいて、探索領域設定部が探索領域を設定する必要はなく、予め設定された探索領域を探索領域設定部が自動的に設定するようにしもよい。
(6) 実施例では、出力手段に表示された設定画面に入力手段を介して基準点等を入力するようにしたが、例えば、測定者が基準点の位置を出力手段に直接触れることで設定するタッチパネル方式を採用することも可能である。
(7) 実施例では、被験者が摂食運動を開始する前の面法線ベクトルデータからテンプレートを作成したが、摂食運動中の面法線ベクトルデータからテンプレートを作成してもよい。
(8) 実施例では、甲状軟骨の頂部に対応する位置を基準点として、該基準点の位置を特定する構成とした。しかしながら、追跡形状としては、喉表面の何れの部位を設定してもよい。例えば、輪状軟骨を追跡形状に設定した場合には、甲状軟骨の頂部(のど仏)の突出量が少ない女性の喉表面であっても、嚥下運動を測定することができる。
(9) 実施例では、下顎骨のオトガイ隆起に対応する位置を基準点として、該基準点の位置を特定する構成とした。しかしながら、追跡形状としては、下顎表面の何れの部位を設定してもよい。例えば、下顎底や下顎角に起因する凹凸形状を追跡形状に設定した場合には、顎先の丸く突出量が少ない場合でも、咀嚼運動を測定することができる。
(10) 実施例では、被験者の頭頸部表面に対し、真正面に撮像手段をセットして、下顎表面や喉表面を撮影したが、咀嚼運動や嚥下運動を捉えられる位置・角度であれば、頭頸部表面に対し斜めに撮像手段をセットしてもよい。
(11) 実施例1では、水等の飲料を飲み込むときの嚥下運動を測定したが、固体やゼリー状の食品を飲み込むときや、液剤や錠剤等の医薬品を飲み込むときの嚥下運動を測定することも可能である。
(12) 実施例では、嚥下運動のみを測定する場合と、咀嚼運動および嚥下運動を測定する場合を示したが、咀嚼運動のみを測定することも可能であることは当然である。
【符号の説明】
【0080】
12 甲状軟骨,14 輪状軟骨,16 赤色LED(発光手段)
18 青色LED(発光手段),20 緑色LED(発光手段)
22 3CCDカメラ(撮像手段),40 面法線ベクトル算出手段
44 色分画像作成手段,46 テンプレートマッチング手段
48 テンプレート設定部,50 探索領域設定部,52 位置特定部
56 テンプレート記憶部(記憶部)
62 下顎骨,72 赤外線LED(発光手段),74 赤外線LED(発光手段)
76 赤外線LED(発光手段),78 3CCDカメラ(撮像手段)
【技術分野】
【0001】
この発明は、人が飲食品や医薬品等を飲み込む際の摂食運動を測定する摂食運動測定システムおよび測定方法に関するものである。
【背景技術】
【0002】
飲食品が喉を通るときの感覚である「のどごし感」は、飲食品の「おいしさ」を表す指標として重要な因子である。そこで、飲食品の開発過程では、「飲み込み易さ」、「飲みごたえ感」等の感覚(のどごし感)を評価するため、被験者にアンケート等を行って評価を得る官能検査が広く実施されている。しかしながら、この官能検査では、被験者の感覚や好みといった主観的な感性が大きく影響するため、人が「物を飲み込む感覚」を客観的に評価することは難しい。また、経口摂取される医薬品の開発段階においても、錠剤等の「飲み込み易さ」を評価して、負担の少ない形状や大きさを決定する際の参考とされる。しかしながら、前述したように、アンケート等による官能検査では、被験者の主観が大きく影響するため客観的な評価を得られない。そこで、飲食品や経口摂取される医薬品の「飲み込み易さ」等、物を飲み込む感覚を客観的に評価するため、飲食時に表出される嚥下運動を測定する方法が各種提案されている。従来、嚥下運動は、嚥下造影検査(videofluoroscopic examination of swallowing:VF)と呼ばれる特殊なレントゲン撮影により測定されていた。しかしながら、この検査方法では、試験回数に比例して被験者の被曝量が多くなるため、被験者の身体的負担が増大する危険がある。また、試験対象品に造影剤を混入させる必要があり、試験対象品の味や性状に影響を与えてしまうため、正確な評価は困難であった。
【0003】
そこで、非侵襲な嚥下運動の計測方法として、例えば、特許文献1には、複数の圧力センサーを被験者の前頸部に貼り付け、該圧力センサーが測定した前頸部の圧力変化に基づいて嚥下運動を測定する方法が開示されている。また、特許文献2には、被験者の喉表面に電極を貼り付けて喉の筋肉の表面筋電位の波形データを取得し、該波形データを周波数解析することで嚥下運動を測定する方法が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2009−160459号公報
【特許文献2】特開2009−39516号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、嚥下運動の測定時に、センサーや電極等の測定具を被験者に装着すると、被験者への負担が大きくなる難点がある。また、被験者は、測定具を喉周りに装着した極めて不自然な状態で飲食品や医薬品を飲み込むため、「物を飲み込む感覚」を適正に評価することができない。更に、測定された値が嚥下運動に基づくものであるのか、被験者の呼吸等の他の運動に起因するものであるのかを区別し、判断することが困難となる欠点を有している。
【0006】
また、飲食品の「おいしさ」を表す指標として、このような物を飲み込む感覚の他にも、物を噛む感覚も重要な因子の1つである。このため、飲食品の開発過程では、「噛み切り易さ」、「噛み応え感」等の咀嚼から得られる感覚についても、被験者を対象としたアンケート等の官能検査が実施されている。しかしながら、アンケート等による官能検査では、客観的な評価を得ることが困難であることから、前述した嚥下運動と同様に、圧力センサーや電極を利用して、飲食時に表出される咀嚼運動を測定する方法が提案されているものの、これらの測定具を用いることで前述したと同様の問題を内在していた。
【0007】
すなわち、本発明は、従来技術に内在する前記問題に鑑み、これらを解決するべく提案されたものであって、被験者に負担を強いることなく、摂食時における咀嚼運動や嚥下運動を自然な状態で測定し得る摂食運動測定システムおよび測定方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
前記課題を解決し、所期の目的を達成するため、本発明の請求項1に係る摂食運動測定システムは、
頭頸部表面に対して相互に波長の異なる光を照射する3つ以上の発光手段と、
前記頭頸部表面で反射した光を分光して、分光画像データを時系列的に取得する撮像手段と、
前記撮像手段で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出する面法線ベクトル算出手段と、
頭頸部表面における凹凸形状が含まれる追跡形状の面法線ベクトルデータからなるテンプレートと、前記各面法線ベクトルデータとを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状の位置を求めるテンプレートマッチング手段とを備え、
前記テンプレートマッチング手段により前記追跡形状の位置を時系列的に求めることで、咀嚼運動または嚥下運動を測定するよう構成したことを要旨とする。
請求項1の発明によれば、照度差ステレオ法により被験者の頭頸部表面の面法線ベクトルデータを算出し、当該面法線ベクトルデータからテンプレートマッチングにより咀嚼運動または嚥下運動に伴う頭頸部表面の追跡形状をテンプレートとして追跡するようにしたから、咀嚼運動または嚥下運動を正確に測定することができる。このとき、咀嚼運動または嚥下運動の測定時に、センサーや電極等を被験者に装着する必要がないから、自然な咀嚼運動や嚥下運動を測定することが可能となる。また、頭頸部表面の凹凸形状を含む追跡形状を追跡する構成としたから、被験者の頭頸部表面の皮膚性状の影響を受け難くなり、頭頸部表面に多少の弛みやしわ等が生じていても、咀嚼運動または嚥下運動を正確に測定し得る。しかも、3つ以上の発光手段から波長の異なる光を照射し、撮像手段で分光画像を取得して、面法線ベクトルデータを算出する構成とした。すなわち、同一波長の光を用いた場合に算出し得ない時間変化する頭頸部表面の面法線ベクトルデータを、3つ以上の異なる波長の光を同時に照射することで求めることが可能となる。しかも、3つ以上の異なる波長の光を分光することで、瞬時に分光画像を取得して面法線ベクトルデータを算出し得るから、同一波長の光を用いた場合のように、発光手段を1つずつ発光させながら分光画像を取得する必要がなく、測定を効率的に行い得る。また、測定時に圧力センサーや電極等を被験者に装着する必要がないから、咀嚼運動または嚥下運動の測定を簡単かつ低コストで行い得る。
【0009】
請求項2に係る摂食運動測定システムでは、前記発光手段は、前記撮像手段の分光感度特性において相互に干渉しない波長の光を照射するよう構成されることを要旨とする。
請求項2の発明によれば、撮像手段の分光感度特性において相互に干渉しない波長の光を照射する構成としたので、頭頸部表面で反射した光を分光して正確な分光画像を得ることができる。従って、精度の高い分光画像に基づいて、正確な面法線ベクトルデータを算出し得るから、咀嚼運動または嚥下運動を高精度で測定することが可能となる。
【0010】
請求項3に係る摂食運動測定システムは、前記面法線ベクトルデータの各面法線ベクトルの方向に応じた色分けをして色分画像データを作成する色分画像作成手段を備えていることを要旨とする。
請求項3の発明によれば、色分画像作成手段が面法線ベクトルデータを色分けし、色分画像データを作成するので、頭頸部表面の変化を視覚的に捉えることができ、咀嚼運動または嚥下運動を詳細に観察および分析することができる。
【0011】
請求項4に係る摂食運動測定システムは、
前記テンプレートマッチング手段は、
基準となる面法線ベクトルデータから前記テンプレートを設定するテンプレート設定部と、
前記テンプレート設定部で設定されたテンプレートを記憶する記憶部と、
前記各面法線ベクトルデータに対しテンプレートマッチングを行う探索領域を設定する探索領域設定部と、
前記記憶部に記憶されたテンプレートと各面法線ベクトルデータとを前記探索領域設定部で設定された探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定する位置特定部とを備えることを要旨とする。
請求項4の発明によれば、テンプレートと面法線ベクトルデータとを探索領域内でテンプレートマッチングするから、マッチングする範囲が限定されて、位置特定部での計算量を抑制することができる。
【0012】
請求項5に係る摂食運動測定システムは、追跡形状は、頭頸部表面における甲状軟骨または輪状軟骨に起因する凹凸形状を含むと共に、
前記テンプレートの範囲は、面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に嚥下運動時の甲状軟骨または輪状軟骨の移動方向に延在する線状の領域に設定され、
前記探索領域は、面法線ベクトルデータにおいて前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域に設定されることを要旨とする。
請求項5の発明によれば、テンプレートの範囲を嚥下運動時の甲状軟骨または輪状軟骨の移動方向に延在する線状の領域に設定すると共に、探索領域としてテンプレートの範囲を包含する線状の領域を設定したので、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチングする際の計算量を抑えることができる。すなわち、甲状軟骨または輪状軟骨が直線移動する特性を利用して、テンプレートの範囲および探索領域を線状の領域に設定したので、テンプレートマッチング時の不必要な計算を少なくし得る。
【0013】
請求項6に係る摂食運動測定システムは、前記追跡形状は、頭部表面における下顎骨に起因する凹凸形状を含むと共に、
前記テンプレートの範囲は、面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に咀嚼運動時の下顎骨の動作方向に延在する線状の領域に設定され、
前記探索領域は、面法線ベクトルデータにおいて前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域に設定されることを要旨とする。
請求項6の発明によれば、テンプレートの範囲を咀嚼運動時の下顎骨の移動方向に延在する線状の領域に設定すると共に、探索領域としてテンプレートの範囲を包含する線状の領域を設定したので、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチングする際の計算量を抑えることができる。すなわち、咀嚼運動時に下顎骨が直線移動する特性を利用して、テンプレートの範囲および探索領域を線状の領域に設定したので、テンプレートマッチング時の不必要な計算を少なくし得る。
【0014】
前記課題を解決し、所期の目的を達成するため、本発明の請求項7に係る摂食運動測定方法は、
頭頸部表面に対して相互に波長の異なる光を3つ以上の発光手段から照射し、該頭頸部表面で反射した光を分光して分光画像データを撮像手段が時系列的に取得し、
前記撮像手段で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出し、
頭頸部表面における凹凸形状が含まれる追跡形状の面法線ベクトルデータからなるテンプレートと、前記各面法線ベクトルデータとを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状の位置を求め、
前記追跡形状の位置を時系列的に求めることで、咀嚼運動または嚥下運動を測定することを要旨とする。
請求項7の発明によれば、照度差ステレオ法により被験者の頭頸部表面の面法線ベクトルデータを算出し、当該面法線ベクトルデータからテンプレートマッチングにより咀嚼運動または嚥下運動に伴う頭頸部表面の追跡形状をテンプレートとして追跡するようにしたから、咀嚼運動または嚥下運動を正確に測定することができる。このとき、咀嚼運動または嚥下運動の測定時に、センサーや電極等を被験者に装着する必要がないから、自然な咀嚼運動や嚥下運動を測定することが可能となる。また、頭頸部表面の凹凸形状を含む追跡形状を追跡する方法としたから、被験者の頭頸部表面の皮膚性状の影響を受け難くなり、頭頸部表面に多少の弛みやしわ等が生じていても、咀嚼運動や嚥下運動を正確に測定し得る。しかも、3つ以上の発光手段から波長の異なる光を照射し、撮像手段で分光画像を取得して、面法線ベクトルデータを算出する方法とした。すなわち、同一波長の光を用いた場合に算出し得ない時間変化する頭頸部表面の面法線ベクトルデータを、3つ以上の異なる波長の光を同時に照射することで求めることが可能となる。しかも、3つ以上の異なる波長の光を分光することで、瞬時に分光画像を取得して面法線ベクトルデータを算出し得るから、同一波長の光を用いた場合のように、発光手段を1つずつ発光させながら分光画像を取得する必要がなく、測定を効率的に行い得る。また、測定時に圧力センサーや電極等を被験者に装着する必要がないから、咀嚼運動または嚥下運動の測定を簡単かつ低コストで行い得る。
【0015】
請求項8に係る摂食運動測定方法は、発光手段は、前記撮像手段の分光感度特性において相互に干渉しない波長の光を照射することを要旨とする。
請求項8の発明によれば、撮像手段の分光感度特性において相互に干渉しない波長の光を照射する方法としたので、頭頸部表面で反射した光を分光して正確な分光画像を得ることができる。従って、精度の高い分光画像に基づいて、正確な面法線ベクトルデータを算出し得るから、咀嚼運動または嚥下運動を高精度で測定することが可能となる。
【0016】
請求項9に係る摂食運動測定方法は、前記面法線ベクトルデータの各面法線ベクトルの方向に応じた色分けをして色分画像データを作成することを要旨とする。
請求項9の発明によれば、面法線ベクトルデータを色分けし色分画像データを作成するので、頭頸部表面の変化を視覚的に捉えることができ、咀嚼運動または嚥下運動を詳細に観察および分析することができる。
【0017】
請求項10に係る摂食運動測定方法は、
前記追跡形状は、前記頭頸部表面における甲状軟骨または輪状軟骨に起因する凹凸形状を含み、
前記テンプレートの範囲は、前記面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に嚥下運動時の甲状軟骨または輪状軟骨の移動方向に延在する線状の領域に設定され、
前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域をテンプレートマッチングを行う探索領域として前記各面法線ベクトルデータに設定し、
前記テンプレートと各面法線ベクトルデータとを前記探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定することを要旨とする。
請求項10の発明によれば、テンプレートの範囲を嚥下運動時の甲状軟骨または輪状軟骨の移動方向に延在する線状の領域に設定すると共に、探索領域としてテンプレートの範囲を包含する線状の領域を設定したので、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチングする際の計算量を抑えることができる。すなわち、嚥下時に甲状軟骨または輪状軟骨が直線移動する特性を利用して、テンプレートの範囲および探索領域を線状の領域に設定したので、テンプレートマッチング時の不必要な計算を少なくし得る。
【0018】
請求項11に係る摂食運動測定方法は、
前記追跡形状は、頭部表面における下顎骨に起因する凹凸形状を含み、
前記テンプレートの範囲は、前記面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に咀嚼運動時の下顎骨の動作方向に延在する線状の領域に設定され、
前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域をテンプレートマッチングを行う探索領域として前記各面法線ベクトルデータに設定し、
前記テンプレートと各面法線ベクトルデータとを前記探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定することを要旨とする。
請求項11の発明によれば、テンプレートの範囲を咀嚼運動時の下顎骨の移動方向に延在する線状の領域に設定すると共に、探索領域としてテンプレートの範囲を包含する線状の領域を設定したので、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチングする際の計算量を抑えることができる。すなわち、咀嚼時に下顎骨が直線移動する特性を利用して、テンプレートの範囲および探索領域を線状の領域に設定したので、テンプレートマッチング時の不必要な計算を少なくし得る。
【発明の効果】
【0019】
本発明に係る摂食運動測定システムおよび測定方法は、非接触かつ非侵襲な方法であるため、被験者に負担をかけることなく、自然な咀嚼運動や嚥下運動を正確に測定することができる。
【図面の簡単な説明】
【0020】
【図1】実施例1に係る摂食運動測定システムの全体構成を示すブロック図である。
【図2】(a)は3CCDカメラ、LEDおよび被験者の位置関係を示す斜視図、(b)は3CCDカメラおよびLEDを被験者側から見た正面図である。
【図3】実施例で採用した各LEDの仕様を示す説明図である。
【図4】LEDの光が3CCDカメラ内で分光される様子を示す説明図である。
【図5】実施例で採用した3CCDカメラのレンズ部の仕様を示す説明図である。
【図6】実施例で採用した3CCDカメラの分光感度特性と各LEDの光の波長との関係を示すグラフ図である。
【図7】(a)は光源と観察面の明るさの関係を示す説明図、(b)は照度差ステレオ法の説明図である。
【図8】出力手段に表示された設定画面を示す図である。
【図9】NCC、SADおよびSSDの関係を表す説明図である。
【図10】(a)は色分画像作成手段が色分けする面法線ベクトルの方向と色の対応関係を示す説明図、(b)は出力手段に表示された喉表面の色分画像、(c)は色分画像のベースとなる喉表面の実際の画像を示す。
【図11】実施例に係る摂食運動測定方法の全体的なフローを示すフローチャート図である。
【図12】面法線ベクトルデータ算出処理を示すフローチャート図である。
【図13】設定処理を示すフローチャート図である。
【図14】テンプレートマッチング処理を示すフローチャート図である。
【図15】甲状軟骨の頂部の位置の時間変化を示すグラフ図である。
【図16】喉表面の色分画像を表示するフローを示すフローチャート図である。
【図17】実験例1の測定結果を示すグラフ図である。
【図18】実験例2の測定結果を示すグラフ図である。
【図19】実験例3の測定結果を示すグラフ図である。
【図20】人間の頭頸部を側頭部から示す概念図である。
【図21】実施例2に係る摂食運動測定システムの全体構成を示すブロック図である。
【図22】実施例2に係るバンドパスフィルタの分光特性を示すグラフ図である。
【図23】出力手段に表示された実施例2の設定画面を示す図である。
【図24】(a)は出力手段に表示された頭頸部表面の色分画像、(b)は色分画像作成手段が色分けする面法線ベクトルの方向と色を示す説明図、(c)は出力手段に表示された頭頸部表面の色分画像を、図10(a)に示す模様で表示した説明図である。
【図25】実施例4における被験者1の測定結果を示すグラフ図であって、(a)はスルメイカを摂取した場合を示し、(b)は豆腐を摂取した場合を示し、(c)はわらび餅を摂取した場合を示す。
【図26】実施例4における被験者2の測定結果を示すグラフ図であって、(a)はスルメイカを摂取した場合を示し、(b)は豆腐を摂取した場合を示し、(c)はわらび餅を摂取した場合を示す。
【図27】実施例4における被験者3の測定結果を示すグラフ図であって、(a)はスルメイカを摂取した場合を示し、(b)は豆腐を摂取した場合を示し、(c)はわらび餅を摂取した場合を示す。
【図28】実施例4における被験者4の測定結果を示すグラフ図であって、(a)はスルメイカを摂取した場合を示し、(b)は豆腐を摂取した場合を示し、(c)はわらび餅を摂取した場合を示す。
【発明を実施するための形態】
【0021】
次に、本発明に係る摂食運動測定システムおよび測定方法につき、好適な実施例を挙げて、添付図面を参照しながら以下詳細に説明する。本発明でいう「摂食運動」とは、飲食物を口腔に取り込んでから胃へ送り込む一連の動作において行われる咀嚼運動や嚥下運動を含んだものである。ここで、「咀嚼運動」とは、口腔内に摂取した飲食物を下顎と歯、舌等を用いて噛み砕くと共に唾液と混ぜ合わせて嚥下し易い大きさの食塊を形成する運動である。また、「嚥下運動」とは、口腔で形成される飲料や咀嚼した食品等の食塊を、口の中の食塊を飲み下す(飲み込む)ときの運動をいう。本発明の摂食運動測定システムおよび測定方法によると、「飲み込み易さ」、「食べ易さ」、「咽喉への引っ掛かり感」、「飲みごたえ感」等、飲食物や経口摂取される医薬品等を嚥下する際に感じる各種の感覚を、嚥下運動に伴って動作する頭頸部表面の追跡対象の位置を測定することにより、簡便、迅速かつ正確で感度もよく、しかも客観的に評価することが可能となる。また、同様に、本発明の摂食運動測定システムおよび測定方法によると、「噛み易さ」、「噛みごたえ感」等、飲食物等を口腔内で咀嚼する際に感じる各種の感覚を、咀嚼運動に伴って動作する頭頸部表面の追跡対象の位置を測定することにより、簡便、迅速かつ正確で感度もよく、しかも客観的に評価することが可能となる。
【実施例1】
【0022】
実施例1の摂食運動測定システムおよび測定方法では、図20に示すように、摂食に伴う嚥下運動時に上下移動する甲状軟骨12の頂部(のど仏)に起因する喉表面(頭頸部表面)の凹凸形状を含む形状を追跡形状(テンプレート)に設定し、嚥下運動時に喉表面に表れる当該追跡形状(具体的には基準点P)の位置を時系列的に特定することで、被験者の嚥下運動を測定するよう構成されている。また、基準点Pとは、追跡形状内で任意に設定される追跡点であって、実施例1では、喉表面に凹凸形状が顕著に表出し、嚥下運動に追従して上下移動する甲状軟骨12の頂部に対応する箇所を基準点Pに指定している。但し、本発明において摂食に伴う嚥下運動を追跡する追跡形状としては、凹凸形状を含む部分であれば、被験者の喉表面(頭頸部表面)の何れの部位を追跡形状に設定してもよい。例えば、追跡形状として、甲状軟骨12の下方にあって嚥下運動時に甲状軟骨12と共に上下移動する輪状軟骨14に起因する喉表面の凹凸形状を含む形状を設定してもよい。また、基準点Pとしても、甲状軟骨12の頂部に対応する箇所に限定されず、追跡形状内の何れの箇所に基準点Pを設定してもよい。なお、甲状軟骨12に起因した凹凸形状を基準点として指定することで、嚥下運動に伴う上下移動が顕著に表出し、嚥下運動を正確に追跡することが可能となる。
【0023】
図1は、実施例1に係る摂食運動測定システム10の全体構成を示すブロック図である。実施例1の摂食運動測定システム10は、被験者の甲状軟骨12を含む喉表面に向けて異なる波長の光を照射する3つのLED(発光手段)16,18,20と、喉表面を撮影して分光画像データを取得する3CCDカメラ(撮像手段)22と、該3CCDカメラ22で取得した分光画像データから追跡形状(基準点P)の位置を時系列的に特定する制御装置24とを備えている。また、摂食運動測定システム10は、前記制御装置24に対し前記基準点Pの位置等を入力する入力手段25と、該制御装置24における算出結果を出力する出力手段26とから基本的に構成される。
【0024】
〔LEDおよび3CCDカメラについて〕
図2(a)に示すように、前記3つのLED16,18,20および3CCDカメラ22は、該3CCDカメラ22のレンズ部28(後述)を原点としたX−Y−Z直交座標系における3次元空間内に設けられている。図2(a)に示す如く、X−Y−Z直交座標系は、X軸およびZ軸が水平方向に延在し、Y軸が鉛直方向に延在するよう設定した。測定時には、レンズ部28にZ軸方向に離間して喉表面が対向するよう被験者を3CCDカメラ22の正面に座らせ、3CCDカメラ22で撮影をする。なお、嚥下運動時の甲状軟骨12は、Y軸方向(鉛直方向)に移動するものとする。また、前記レンズ部28は、被験者の喉表面から所定距離(例えば、約30cm)だけ離間している。
【0025】
図2(b)に示す如く、前記3つのLED16,18,20は、X−Y平面上において、前記3CCDカメラ22を中心とする同心円状に配設されている。また、各LED16,18,20は、互いに一定間隔離間しており、3つのLED16,18,20は、逆正三角形状に配置されている。LED16,18,20間の離間距離は、成人の喉表面の幅寸法(図8の寸法l参照)における平均的な値(11.6cm)を考慮して、約12cmに設定されている。各LED16,18,20は、被験者の喉表面を指向するよう設置され、各LED16,18,20から喉表面に向けて互いに異なる照射方向で光が照射されるよう構成される。また、各LED16,18,20は、相互に波長の異なる光を照射するよう構成される。実施例1では、LED16,18,20として、赤色光を照射する赤色LED16と、青色光を照射する青色LED18と、緑色光を照射する緑色LED20とが採用されている。3つのLED16,18,20は、喉表面に対して一斉に光を照射するようになっており、喉表面の凹凸形状に応じて赤、青、緑の3つの光が合成した光で喉表面を照らすよう構成される。赤色LED16,青色LED18および緑色LED20は、3CCDカメラ22の分光感度特性(後述)を考慮して、夫々、465nm、520nmおよび625nmの波長の光を照射するようになっている。実施例1で採用した各LED16,18,20の仕様を図3に示す。
【0026】
前記3CCDカメラ22は、喉表面で反射した光を赤、青、緑の色毎に分光して各色の分光画像データ(輝度データ)を時系列的に取得するものである。3CCDカメラ22は、図4に示すように、カメラ本体30の内部に、レンズ部28と分光部32と3つのCCD(電荷結合素子)34,36,38とが収容されて構成されている。実施例1で採用したレンズ部28の仕様を図5に示す。前記分光部32は、3色が合成した光を、赤、青、緑色の波長毎の光に分光するものであって、実施例1では、分光部32として、ダイクロイックプリズムが採用されている。図4に示すように、ダイクロイックプリズムは、青色光および赤色光を内部で互いに異なる方向へ反射させると共に、緑色光を透過させることで光を分光する。
【0027】
前記3つのCCDは、赤色光に対応した赤色用CCD34と、青色光に対応した青色用CCD36と、緑色光に対応した緑色用CCD38とから構成される。そして、各CCD34,36,38には、前記分光部32で分光された対応する色の光が入力されるようになっている。ここで、図6の曲線グラフは、実施例1で採用した赤色用CCD34、青色用CCD36および緑色用CCD38の分光感度特性を示している。また、図6の棒グラフは、前記赤色LED16、青色LED18、および緑色LED20が照射する光の波長を示している。このように、各LED16,18,20から照射される光の波長は、CCD34,36,38の分光感度が相互に干渉せず、しかも分光感度の値がなるべく高くなる値に設定されている。そして、赤色用CCD34は、入力した赤色光から輝度データ(以下、赤色分光画像データという)を取得する。また、青色用CCD36は、入力した青色光から輝度データ(以下、青色分光画像データという)を取得する。更に、緑色用CCD38は、入力した緑色光から輝度データ(以下、緑色分光画像データという)を取得するようになっている。各CCD34,36,38で得られた分光画像データは、夫々、前記制御装置24の面法線ベクトル算出手段40(後述)に出力される。なお、実施例1の3CCDカメラ22の単位時間あたりのフレーム数は、30fpsである。但し、3CCDカメラ22のフレーム数は、30fpsに限定されるものではない。フレーム数を大きくすると、追跡形状の詳細な追跡が可能となる一方、処理速度は低下するため、求められる測定精度に応じて3CCDカメラ22のフレーム数は適宜選択される。
【0028】
〔制御装置について〕
図1に示すように、前記制御装置24は、3CCDカメラ22で取得した各色の分光画像データから面法線ベクトルデータを算出する面法線ベクトル算出手段40と、追跡形状の面法線ベクトルデータからなるテンプレートおよび各面法線ベクトルデータを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状(基準点P)の位置を求めるテンプレートマッチング手段46とを備える。また、制御装置24は、面法線ベクトル算出手段40で算出された面法線ベクトルデータを一時的に記憶するデータ記憶手段42と、該面法線ベクトルデータから色分画像データを作成する色分画像作成手段44とを有している。
【0029】
〔面法線ベクトル算出手段について〕
前記面法線ベクトル算出手段40は、前記CCD34,36,38から入力された各分光画像データに基づいて、照度差ステレオ法により面法線ベクトルデータを算出するよう構成されている。ここで、照度差ステレオ法とは、観察面に照射した光の反射光の輝度(明るさ)に基づいて、該観察面の面法線ベクトルを算出する画像処理方法である。この照度差ステレオ法の原理について、以下、簡単に説明する。なお、照度差ステレオ法は、観察面が完全拡散反射面であることを前提としており、どの方向から観察面を見ても明るさが同じに見えるランバート反射の原理を応用している。実施例1における被験者の喉表面についても、各LED16,18,20から照射された光がランバート反射する完全拡散反射面であると仮定する。
【0030】
図7(a)に示すように、観察面の面法線方向を基準としたθ方向から1つの光源によって面を照らした場合に、光源の強さをL,面の反射率をρとすると、カメラで撮影された面の輝度xは、下記数1の式で表される。また、法線方向ベクトルn’を反射率倍したものを面法線ベクトルn、光源方向ベクトルs’を光源の強さ倍したものを光源ベクトルsとすると、数2の式で表すことができる。なお、各式では、記号の上側に付した矢印記号によりベクトルを表している。
【0031】
【数1】
【0032】
【数2】
【0033】
次に、図7(b)に示すように、3つの異なる光源(光源方向ベクトルs1,s2,s3)から順に観察面を照らす。この方向を表すベクトルをベクトルS=[s1 s2 s3]とする。このとき観察される輝度を夫々x1,x2,x3とすると、これを要素とするベクトルX=[x1 x2 x3]
Tは、数3の式で表され、方向の異なる3つの光源下で別々に観察された三枚の画像データの各画素の輝度値から観察面の面法線ベクトルnを求めることができる。
【0034】
【数3】
【0035】
ここで、前述した照度差ステレオ法は、光源を1つずつ順に発光させて観察面を別々に撮影した画像を用いるため、嚥下運動のような動作を伴う喉表面に対しては、この照度差ステレオ法をそのまま適用することは困難である。そこで、実施例1では、前述したように、3つのLED16,18,20から3色の光を喉表面に同時に照射し、その反射光を分光して色毎の輝度データである分光画像データをリアルタイムで取得することで、嚥下運動に伴って面形状が連続的に変化する喉表面の面法線ベクトルnを算出し得るようになっている(3色光照度差ステレオ法)。すなわち、面法線ベクトル算出手段40は、赤色用CCD34で得られた赤色分光画像データ、青色用CCD36で得られた青色分光画像データおよび緑色用CCD38で得られた緑色分光画像データを用いることで、前記数3の式から喉表面の面法線ベクトルnを算出する。
【0036】
〔データ記憶手段について〕
前記データ記憶手段42は、前記面法線ベクトル算出手段40で算出された面法線ベクトルnのデータ(面法線ベクトルデータ)を時系列的に記憶するRAM等の一時記憶装置である。データ記憶手段42に記憶された面法線ベクトルデータは、テンプレートマッチング手段46においてテンプレートマッチングする際や、前記色分画像作成手段44で色分画像データを作成する際に読み出される。
【0037】
〔テンプレートマッチング手段について〕
図1に示すように、前記テンプレートマッチング手段46は、基準となる面法線ベクトルデータからテンプレートを設定するテンプレート設定部48と、該テンプレート設定部48で設定したテンプレートを記憶するテンプレート記憶部(記憶部)56と、面法線ベクトルデータに対しテンプレートマッチングを行う探索領域を設定する探索領域設定部50と、テンプレートと各面法線ベクトルデータとをテンプレートマッチングすることで、追跡形状(基準点P)の位置を特定する位置特定部52とから基本的に構成される。
【0038】
前記テンプレート設定部48は、前記データ記憶手段42に記憶された面法線ベクトルデータのうち基準となる面法線ベクトルデータからテンプレートを設定するものである。テンプレートとしては、前述のように、甲状軟骨12の頂部に起因する凹凸形状が含まれる追跡形状に対応する面法線ベクトルデータで構成される。具体的には、図8に示すように、後述する出力手段26に表示させた設定画面に入力手段25を介して基準点Pの位置およびテンプレートとする範囲を測定者が入力し、当該入力値に基づいて面法線ベクトルデータからテンプレート設定部48がテンプレートとして設定する。なお、実施例1では、テンプレートが作成される基準となる面法線ベクトルデータは、被験者が嚥下運動を開始する前の喉表面における面法線ベクトルデータに設定されている。設定画面には、基準となる面法線ベクトルデータに対応する画像データ(以下、基準画像データという)が表示され、前記基準点Pは、基準画像データにおいて、甲状軟骨12の頂部に対応する位置を入力手段25で指定することで設定される。また、テンプレートの範囲は、設定画面に設けた範囲設定バー54において、入力手段25を介してカーソル54aを左右にスライド移動させ、テンプレートとする範囲のピクセル数(画素数)を決定することで行われる。ピクセル数が入力されると、テンプレート設定部48は、基準点Pを通ると共に嚥下運動時の甲状軟骨12の運動方向(Y軸方向)に入力されたピクセル数の長さで延在する線状の領域をテンプレートの範囲として設定する。すなわち、テンプレート設定部48は、前記基準点Pを中心とした上下方向に延在する線分をテンプレートとして設定する。なお、実施例1では、幅方向(X軸方向)のテンプレートの範囲は、1ピクセルである。
【0039】
前記テンプレート記憶部56は、前記テンプレート設定部48で設定されたテンプレートを一時的に記憶するRAM等の一時記憶装置である。テンプレート記憶部56に記憶されたテンプレートは、前記位置特定部52がテンプレートマッチングを行う際に読み出される。前記探索領域設定部50は、面法線ベクトルデータに対しテンプレートマッチングを行う範囲である探索領域を設定する。実施例1では、探索領域設定部50は、探索領域として、前記基準点Pを通ると共に前記テンプレートの範囲を包含する線状の領域が設定される。具体的には、図8に示す設定画面に設けた探索領域設定バー58において、測定者が入力手段25を介してカーソル58aを左右にスライド移動させ、面法線ベクトルデータにおいて探索する範囲をピクセル数(画素数)で入力する。入力されたピクセル数に基づいて、探索領域設定部50は、図8に示すように、前記基準点Pを中心とし、前記テンプレートより長尺なY軸方向に延在する線状の領域を探索領域として設定する。なお、探索領域として入力されるY軸方向のピクセル数は、テンプレートの範囲のピクセル数より大きな値に設定される。また、探索領域の幅方向(X軸方向)の寸法は、テンプレート同じく1ピクセルである。
【0040】
前記位置特定部52は、前記データ記憶手段42に記憶された各面法線ベクトルデータと前記テンプレート記憶部56に記憶されたテンプレートとを読み出し、前記探索領域内においてテンプレートマッチングを行うよう構成される。ここで、テンプレートマッチングの原理について、以下簡単に説明する。テンプレートマッチングとは、テンプレートと特定の画像とを重ね合わせて類似度を計算し、類似度が最大となったときのテンプレートの位置を特定する手法である。実施例1では、類似度の計算にNCC(Normalized Cross-Correlation(正規化相互相関))を用いた。
【0041】
このNCCは、数4の式で表される。但し、テンプレートの大きさ(画素値の要素数)をM×N、テンプレートの位置(i,j)における画素値をT(i,j)、テンプレートと重ね合わせた画像の画素値をI(i,j)とする。
【0042】
【数4】
【0043】
図9に示すように、テンプレートT(i,j)と対象画像I(i,j)のM×N要素のベクトルTとベクトルIを考えると、NCCはベクトルのなす余弦となっている。従って、NCCを用いた場合で、1に近いほど類似性が高くなる。
【0044】
なお、類似度の計算としては、NCC以外にも公知の類似度計算法を採用することができる。例えば、図9に示すように、類似度計算に、輝度の絶対差の2乗和であるSSD(Sum of Squared Difference)や輝度の絶対差の和であるSAD(Sum
of Absolute Difference)を利用することも可能である。SSDおよびSADの式を数5,数6に示す。SSDおよびSADを用いた場合、0に近いほど類似性が高くなる。
【0045】
【数5】
【0046】
【数6】
【0047】
前記位置特定部52は、前記データ記憶手段42から読み出した各面法線ベクトルデータにおいて、テンプレートとの類似度を探索領域内で算出する。そして、探索領域内で類似度の値が最大となったテンプレートの位置から当該面法線ベクトルデータにおける基準点Pの位置を特定する。すなわち、位置特定部52は、時系列的に取得される各面法線ベクトルデータにおける基準点Pを特定することで、嚥下運動での追跡形状を追跡するようになっている。
【0048】
〔色分画像作成手段について〕
前記色分画像作成手段44は、前記データ記憶手段42に記憶された面法線ベクトルデータに基づいて、色分画像データを作成するよう構成される。この色分画像データは、面法線ベクトルデータの各面法線ベクトルを方向に応じて色分けして、出力手段26で喉表面の凹凸形状に応じて色分した画像(以下、色分画像という)を表示させるためのデータである。実施例1では、色分画像作成手段44は、図10(a)に示すように、面法線ベクトルをX−Y平面上の8方向に分類し、各方向に対応した8種類の色で色分けを行うようになっている。例えば、喉表面の所定位置における面法線ベクトルがX−Y平面で右向きである場合、前記色分画像作成手段44は、喉表面における当該位置の色を黄色で表示する画像データを作成する(図10(b)参照)。同様に、喉表面の所定位置における面法線ベクトルがX−Y平面で上向きである場合、前記色分画像作成手段44は、喉表面における当該位置の色を青色で表示する画像データを作成する(図10(b)参照)。なお、図10(a),図10(b)では、色の代わりに模様を付して表示した。また、図10(c)は、図10(b)の色分画像のベースとなる喉表面の実際の画像である。喉表面における甲状軟骨12の頂部に対応する部位は、色分画像において色が放射状に変わる部分として表れる。
【0049】
前記入力手段25は、測定者によって操作されるマウスやキーボード等の入力装置であって、前述のように、テンプレートの設定時に、前記テンプレート設定部48に対し基準点Pの位置およびテンプレートの範囲を入力するようになっている。また、探索領域の設定時に、探索領域設定部50に対して探索領域の範囲を入力するよう構成される。前記出力手段26は、液晶表示装置等のディスプレイ装置であって、前記制御装置24の算出結果を出力するよう構成される。すなわち、出力手段26は、前記位置特定部52で特定された基準点Pの位置の時間変化を表示するようになっている(図15参照)。ここで、実施例1では、出力手段26は、前述した基準画像データで指定した基準点Pの位置を基準位置とし、基準位置からY軸方向に基準点Pが移動したピクセル量(以下、移動ピクセル量という)の時間変化を表示するようになっている。更に、出力手段26は、図10(b)に示すように、前記色分画像作成手段44で作成された画像データに基づいて、喉表面の色分画像を表示するようになっている。なお、前述したように、出力手段26は、テンプレート設定部48に対しテンプレートを設定する際や、探索領域設定部50に対し探索領域を設定する際に用いられる設定画面を表示するよう構成される。
【0050】
〔実施例1の作用〕
次に、前述した摂食運動測定システム10による摂食運動の測定方法について、以下説明する。図11に示すように、摂食運動の測定方法は、被験者の喉表面(頭頸部表面)に向けて光を照射するステップS1と、分光画像データを取得するステップS2と、面法線ベクトルデータを算出するステップS3と、テンプレートおよび探索領域の設定を行うステップS4と、テンプレートマッチングを行うステップS5と、特定された甲状軟骨12の頂部Pの位置を出力するステップS6とを備えている。
【0051】
前記赤色LED16、青色LED18および緑色LED20から照射された赤色光、青色光および緑色光は、夫々、異なる照射角度で喉表面に到達して該喉表面を照らす。喉表面で反射した光は、図4に示すように、3CCDカメラ22のレンズ部28を透過してカメラ本体30内に入り、前記分光部32に到達する。分光部32では、光が通過する間に赤色、青色および緑色の光に分光される。分光部32で分光された赤色光、青色光および緑色光は、赤色用CCD34、青色用CCD36および緑色用CCD38に夫々入力され、各CCD34,36,38において分光画像データ(赤色分光画像データ、青色分光画像データ、緑色分光画像データ)が3CCDカメラ22の撮影コマ(フレーム)毎に時系列的に取得される(ステップS2)。このとき、赤色、青色および緑色の光の波長は、図6に示すように、各CCD34,36,38の分光感度特性が互いに干渉せず、かつ分光感度が高くなる値に設定してあるから、各CCD34,36,38において色毎の正確な分光画像データが取得される。各CCD34,36,38で取得された分光画像データは、面法線ベクトル算出手段40に出力される。
【0052】
面法線ベクトル算出手段40に各色の分光画像データが入力されると、図12に示す如く、面法線ベクトル算出手段40が照度差ステレオ法により面法線ベクトルデータを算出する(ステップS7)。すなわち、面法線ベクトル算出手段40は、赤色分光画像データ、青色分光画像データおよび緑色分光画像データに基づき前記数3の式に基づき面法線ベクトルデータを時系列的に算出する。このように、面法線ベクトル算出手段40は、同時に取得された3種の分光画像データに基づいて面法線ベクトルデータを算出する3色光照度差ステレオ法を用いたから、単色の照度差ステレオ法のように、LEDを1つずつ発光させながら画像データを取得する必要がない。従って、嚥下運動に伴って形状が連続的に変化する喉表面であっても、面法線ベクトルデータを間断なくリアルタイムで算出することが可能となる。しかも、面法線ベクトルデータの算出にあたって、各CCD34,36,38で得られた正確な分光画像データを用いたから、実際の喉表面の凹凸形状に即した精度の高い面法線ベクトルデータを得ることができる。面法線ベクトル算出手段40で算出された面法線ベクトルデータは、データ記憶手段42に時系列的に記憶される(ステップS8)。
【0053】
設定処理においては、図13に示すように、算出された面法線ベクトルデータのうちから、テンプレートマッチングの基準となるテンプレートがテンプレート設定部48により設定される(ステップS9)。すなわち、図8に示すように、出力手段26の設定画面に表示された基準画像において、入力手段25を介して甲状軟骨12の頂部に対応する位置を基準点Pとして指定する。また、設定画面における範囲設定バー54において、カーソル54aを左右にスライド移動させ、テンプレートの範囲(ピクセル数)を決定する。これらの入力に基づき、基準点Pを中心として、入力されたピクセル数の長さを有しY軸方向に延在する線状の範囲に含まれた面法線ベクトルデータがテンプレートとしてテンプレート設定部48により設定される。テンプレート設定部48で設定されたテンプレートは、テンプレート記憶部56に記憶される(ステップS10)。
【0054】
また、探索領域設定部50が、面法線ベクトルデータに対しテンプレートマッチングを行う探索領域を設定する(ステップS11)。すなわち、図8に示すように、出力手段26の設定画面における探索領域設定バー58において、入力手段25を介してカーソル58aを左右にスライド移動させて、探索領域の範囲(ピクセル数)を決定する。このとき、探索領域のピクセル数は、テンプレートの範囲より大きな値に設定される。探索領域のピクセル数が入力されると、基準点Pを中心としてテンプレートの範囲を包含する線状の領域が探索領域として探索領域設定部50により設定される。すなわち、探索領域は、テンプレートと同様に、上下方向(Y軸方向)に延在する範囲として設定される。探索領域設定部50で探索領域が設定されることで、設定処理が終了する。
【0055】
次に、テンプレートマッチング手段46によるテンプレートマッチング処理について説明する(ステップS5)。図14に示すように、テンプレートマッチング処理では、先ず始めに、位置特定部52がデータ記憶手段42に記憶された面法線ベクトルデータと、テンプレート記憶部56に記憶されたテンプレートとを読み出す(ステップS12)。そして、位置特定部52は、読み出した面法線ベクトルデータとテンプレートとに基づいて探索領域設定部50で設定された探索領域内でテンプレートマッチングを行う(ステップS13)。具体的には、位置特定部52は、探索領域内における面法線ベクトルデータとテンプレートとの類似度を、数5の式を用いて計算する。そして、探索領域内において最も類似度が大きくなる(NCCが1に近くなる)テンプレートの位置から、当該面法線ベクトルデータにおける基準点Pの位置(甲状軟骨12の頂部に対応する位置)を特定する(ステップS14)。すなわち、時系列的に取得される各面法線ベクトルデータにおける基準点Pが特定されることで、嚥下運動を測定するようになっている。また、実施例1では、類似度を計算するに際し、ベクトルの余弦として規定されるNCCを用いたので(図9参照)、喉表面の明るさの変化に影響を受けることはなく、甲状軟骨12の移動に伴い面形状が変化する喉表面の類似度を正確に計算することができる。但し、類似度の計算としては、前述したSSD(数5)やSAD(数6)等、類似性を算出し得る公知の方法を適宜採用し得る。
【0056】
ここで、前述のように、テンプレートの範囲および探索領域は、前記テンプレート設定部48および探索領域設定部50において線状の領域に設定されている。従って、テンプレートの範囲や探索領域を面の領域に設定した場合に較べ、テンプレートマッチング時の計算量を少なくし得るから、テンプレートマッチングを効率的に行うことができ、基準点Pの位置を迅速に特定することができる。全ての面法線ベクトルデータに対するテンプレートマッチングが終了すると(ステップS15のYes)、テンプレートマッチング処理が終了する。
【0057】
テンプレートマッチング処理により位置特定部52で特定された基準点Pの位置は、出力手段26に入力される。出力手段26では、図15に示すように、入力された基準点Pの位置から移動ピクセル量を算出し、該移動ピクセル量の時間変化をグラフで表示する(ステップS6)。図15は、横軸が時間、縦軸が移動ピクセル量を示している。このように、基準点Pの移動ピクセル量の時間変化を出力手段26がグラフ化して表示することで、嚥下運動時での追跡形状(すなわち、甲状軟骨12)の動きを詳細に観察することができ、嚥下運動を解析することが可能となる。しかも、測定時に被験者にセンサー等を装着したり、被験者の首を固定したりする必要がないから、自然な嚥下運動を正確に測定することができる。従って、測定された嚥下運動を解析することで、飲食品の「食感」、医薬品の「飲み込み易さ」等を客観的に評価することができる。しかも、センサーや電極等の測定器具を被験者に装着する必要がないから、嚥下運動の測定を簡単かつ低コストで実施することができる。
【0058】
次に、喉表面の色分画像を出力する場合について説明する。なお、喉表面の色分画像を表示する際には、前述した面法線ベクトルデータ算出処理で算出された面法線ベクトルデータが用いられる。図16に示すように、色分画像作成手段44は、データ記憶手段42に記憶した面法線ベクトルデータを読み出す(ステップS16)。次に、色分画像作成手段44は、読み出した面法線ベクトルデータから色分画像データを作成する(ステップS17)。このとき、色分画像作成手段44は、図10(a)に示すように、面法線ベクトルを8方向に分類し、各方向に対応する色分けをした色分画像データを作成する。次に、色分画像作成手段44は、作成した色分画像データを出力手段26に出力する(ステップS18)。そして、出力手段26は、図10(b)に示すように、入力された色分画像データに基づいて、喉表面を色分けした画像を表示する。このように、実施例1に係る摂食運動測定システム10および測定方法によれば、喉表面の傾き(面法線ベクトルの方向)に応じて色分けした画像を表示することができるので、嚥下運動時における喉表面の変化を視覚的に把握することができる。従って、色分画像に基づいて、嚥下運動を詳細に観察および分析することが可能となり、飲食品等の「飲み込み易さ」等を評価することができる。
【0059】
〔実験例1〕
次に、本発明に係る摂食運動測定システム10および測定方法を用いた測定実験を行った。被験者としての20代前半の男性に、コップに入れた水(200ml)を数回に分けて飲み込んでもらい、そのときの嚥下運動を測定した。図17に測定結果を示す。なお、図17における理想値は、出力手段26に表示した喉表面の画像から甲状軟骨12の頂部に対応する位置を目視により特定した場合における基準位置からの移動ピクセル量である。また、実験例1では、数4の式を用いて類似度を計算した。実験例1の結果から分かるように、本発明に係る摂食運動測定システム10で測定された実測値は、理想値にほぼ一致している。すなわち、本発明に係る測定システムおよび測定方法によれば、基準点Pの位置(甲状軟骨12の頂部に対応する位置)を正確に追跡することができ、嚥下運動を正確に測定し得ることが分かる。
【0060】
〔実験例2〕
次に、実験例2として、飲料の違いによる嚥下運動の違いを本発明の嚥下運動測定システム10を用いて測定した。被験者には、水および食塩水を同量(200ml)ずつ飲んでもらい、水を飲んだ場合の測定結果と食塩水を飲んだ場合の測定結果とを比較した。食塩水は、人が飲み込むのに抵抗を感じる3重量%の濃度とした。実験例2の結果を図18に示す。なお、実験例2では、数4の式を用いて類似度を計算した。
【0061】
図18のグラフから分かるように、水を飲んだ場合と食塩水を飲んだ場合とでは、飲み終えるまでの時間が異なっている(食塩水の方が時間が長くなっている)。これは、被験者が食塩水を飲み辛いと感じて、食塩水を全て飲み干すまでに時間を要したものと判断される。また、食塩水のグラフは、グラフの立ち上がりや立ち下がりの傾きが、水に較べて緩やかとなっている。これは、食塩水が辛いため、被験者が飲み込むのを躊躇したものと判断される。このように、本発明の測定システムおよび測定方法を用いることで、異なる種類の飲食品や医薬品を飲んだ場合の嚥下運動を比較することで、「飲み込み易さ」等を評価することができる。
【0062】
〔実験例3〕
次に、類似度の計算方法を変えた場合に測定結果に生ずる差を比較する実験を行った。実験例は、前述した実施例1のように、類似度の計算にNCC(数4参照)を用いた。比較例は、類似度の計算に前記数6で表されるSADを用いた。被験者に水を200ml飲んでもらい測定結果を比較した。その測定結果を図19に示す。なお、理想値は、実験例1で説明したように、甲状軟骨12の頂部の位置を目視により特定したものである。
【0063】
図19の結果から、SAD(一点鎖線)を用いた比較例よりも、NCC(実線)を用いた実験例の方が理想値によく一致していることが分かる。これは、図9に示すように、SADがベクトルの差であり、甲状軟骨12が上下することで変化する喉表面の輝度値(ベクトルの長さ)に大きく影響を受けるため、SADを用いた類似度計算では、基準点Pの位置を特定する際に誤差が生じたものと思われる。一方、NCCは、ベクトルの傾き(余弦)に依存し、喉表面の明るさの変化に影響を受けないため、基準点Pを正確に特定できたと判断される。すなわち、本発明における類似度の計算には、NCCを用いることで、より正確に嚥下運動を測定することができることが分かる。
【実施例2】
【0064】
実施例2の摂食運動測定システムおよび測定方法では、頭頸部表面(具体的には下顎表面)の凹凸形状を含む形状であって咀嚼運動時に表面形状を概ね維持したまま移動する形状を追跡形状に設定し、摂食に伴って咀嚼した際に当該追跡形状の位置を時系列的に特定することで、被験者の咀嚼運動を測定するよう構成されている。実施例2では、下顎表面に凹凸形状が顕著に表出すると共に咀嚼運動に追従して上下移動する下顎骨のオトガイ隆起62aに対応する箇所を基準点P1として、当該基準点P1を含んだ形状が追跡形状(第1のテンプレート)として設定されている。また、実施例2に係る摂食運動測定システムおよび測定方法では、実施例1と同様に頭頸部表面(具体的には喉表面)の凹凸形状を含む形状であって嚥下動作時に表面形状を概ね維持したまま移動する形状を追跡形状に設定し、摂食に伴って嚥下した際に当該追跡形状の位置を時系列的に特定することで、被験者の嚥下運動を測定するよう構成されている。実施例2では、喉表面に凹凸形状が顕著に表出すると共に嚥下運動に追従して上下移動する甲状軟骨12の頂部に対応する箇所を基準点P2として、当該基準点P2を含んだ形状が追跡形状(第2のテンプレート)として設定されている。なお、本発明において摂食に伴う咀嚼運動を追跡する追跡形状としては、凹凸形状を含む部分であれば、下顎表面の何れの部位を追跡形状に設定してもよい。例えば、追跡形状として、咀嚼運動時に上下移動する下顎骨62の下顎底64や下顎角66(図20参照)に起因する下顎表面の凹凸形状を含む形状を追跡形状として設定してもよい。なお、下顎骨62のオトガイ隆起62aに起因した凹凸形状を基準点P1として指定することで、咀嚼運動に伴う上下移動が顕著に表出し、咀嚼運動を正確に追跡することが可能となる。
【0065】
実施例2に係る摂食運動測定システムは、実施例1で示した摂食運動測定システム10と基本的構成が同じであることから、同一の機能を備える構成については同一の符号を付して詳細な説明を省略し、異なる構成について以下説明する。図21は、実施例2に係る摂食運動測定システム10の全体構成を示すブロック図である。実施例2に係る摂食運動測定システム10では、異なる波長の光を照射する発光手段として、不可視領域である赤外線領域の光を照射する複数(実施例では3つ)の赤外線LED72,74,76が用いられており、被験者の甲状軟骨12および下顎骨62を含む頭頸部表面(喉表面および下顎表面)に向けて赤外線を照射するよう構成されている。そして、実施例2に係る摂食運動測定システム10では、下顎表面および喉表面を撮影して分光画像データを取得する撮像手段として、赤外線を撮影可能な3CCDカメラ78が用いられている。なお、実施例2に係る摂食運動測定システム10においても、赤外線LED72,74,76および3CCDカメラ78は実施例1と同様の位置関係で配置されており、被験者の喉表面および下顎表面に照射した赤外線の光により3CCDカメラ78で撮影し得るようになっている。また、実施例2に係る3つの赤外線LED72,74,76は、不可視である近赤外線領域で、かつ通常の3CCDカメラ78が十分な感度を有する約700nm〜900nmの互いに干渉しない波長の光を照射するよう構成されている。
【0066】
前記各赤外線LED72,74,76および3CCDカメラ78には、透過波長の異なるバンドパスフィルタが夫々設置されており、波長の異なる赤外線を頭頸部表面(下顎表面および喉表面)に照射した際に3つの分光画像データを3CCDカメラ78が取得し得るようになっている。そして、3CCDカメラ78が取得した各波長の分光画像データが前記制御装置24の面法線ベクトル算出手段40に出力されるよう構成されている。ここで、図22は、実施例2で用いたバンドパスフィルタの分光特性を示す。すなわち、実施例2では、780±5[nm]、850±5[nm]、880±5[nm]の近赤外線ににより分光画像データを取得するよう構成されている。なお、実施例2の3CCDカメラ78の単位時間あたりのフレーム数は、実施例1と同様に30fpsのものを用いているが、これに限定されないことは同様である。
【0067】
そして、実施例2に係る制御装置24の面法線ベクトル算出手段40は、3CCDカメラ78で取得した各波長の分光画像データに基づいて前述した3色光照度差ステレオ法により面法線ベクトルデータを算出するよう構成されている。すなわち、3つの赤外線LED72,74,76から異なる3つの波長の赤外線を頭頸部表面(下顎表面および喉表面)に同時に照射し、その反射光を分離して波長毎の輝度データである分光画像データをリアルタイムで取得することで、咀嚼運動に伴って面形状が連続的に変化する下顎表面の面法線ベクトルnおよび嚥下運動に伴って面形状が連続的に変化する喉表面の面法線ベクトルnを夫々算出し得るようになっている。そして、面法線ベクトル算出手段40で算出された面法線ベクトルデータは、データ記憶手段42に時系列的に記憶され、テンプレートマッチング手段46においてテンプレートマッチングする際や、前記色分画像作成手段44で色分画像データを作成する際に読み出されるよう構成される。
【0068】
また、実施例2に係る摂食運動測定システム10に設けられたテンプレートマッチング手段46のテンプレート設定部48は、前記データ記憶手段42に記憶された面法線ベクトルデータのうち基準となる面法線ベクトルデータから、2種類の第1のテンプレートおよび第2のテンプレートを夫々設定可能に構成される。ここで、テンプレート設定部48で設定される第1のテンプレートとしては、下顎骨62のオトガイ隆起62aに起因する凹凸形状が含まれる追跡形状に対応する面法線ベクトルデータで構成され、第2のテンプレートとしては、実施例1と同様に甲状軟骨12の頂部に起因する凹凸形状が含まれる追跡形状に対応する面法線ベクトルデータで構成される。具体的には、図23に示すように、出力手段26に表示させた設定画面に入力手段25を介して基準点P1の位置および第1のテンプレートとする範囲が入力され、当該入力値に基づいて面法線ベクトルデータからテンプレート設定部48が第1のテンプレートを設定する。なお、実施例2では、第1のテンプレートが作成される基準となる面法線ベクトルデータは、被験者が咀嚼運動を開始する前の下顎表面における面法線ベクトルデータに設定されている。設定画面には、基準となる面法線ベクトルデータに対応する画像データ(以下、基準画像データという)が表示され、前記基準点P1は、基準画像データにおいて、下顎骨62のオトガイ隆起62aに対応する位置を入力手段25で指定することで設定される。また、第1のテンプレートの範囲は、設定画面に設けた範囲設定バー54において、入力手段25を介してカーソル55aを左右にスライド移動させ、第1のテンプレートとする範囲のピクセル数(画素数)を決定することで行われる。ピクセル数が入力されると、テンプレート設定部48は、基準点P1を通ると共に咀嚼運動時における下顎骨62の運動方向(Y軸方向)に入力されたピクセル数の長さで延在する線状の領域を第1のテンプレートの範囲として設定する。すなわち、テンプレート設定部48は、前記基準点P1を中心とした上下方向に延在する線分を第1のテンプレートとして設定する。ここで、第1のテンプレートの幅方向(X軸方向)の範囲は、1ピクセルに設定してある。なお、甲状軟骨12の頂部に対応した第2のテンプレートの設定に関しては、前述した実施例1におけるテンプレートの設定と同じなので、詳細な説明は省略する。また、第1のテンプレートおよび第2のテンプレートは、前記テンプレート記憶部56に一時的に記憶されて、位置特定部52がテンプレートマッチングを行う際に読み出される。
【0069】
実施例2の探索領域設定部50は、咀嚼運動を測定する探索領域として、前記基準点P1を通ると共に前記第1のテンプレートの範囲を包含する線状の領域を設定すると共に、嚥下運動を測定する探索領域として、前記基準点P2を通ると共に前記第2のテンプレートの範囲を包含する線状の領域を設定するよう構成されている。具体的には、図23に示すように、咀嚼運動の探索領域を設定する探索領域設定バー59と、嚥下運動の探索領域を設定する探索領域設定バー58とが設定画面に表示されるようになっており、入力手段25を介して測定者が探索領域設定バー59のカーソル59aおよび探索領域設定バー58のカーソル58aを左右にスライド移動することで、面法線ベクトルデータにおいて咀嚼運動を探索する範囲および嚥下運動を探索する範囲がピクセル数(画素数)で個別に入力される。そして、入力されたピクセル数に基づいて、探索領域設定部50は、図23に示すように、前記基準点P1を中心とし、前記第1のテンプレートより長尺なY軸方向に延在する線状の領域を咀嚼運動の探索領域として設定し、基準点P2を中心とし、前記第2のテンプレートより長尺なY軸方向に延在する線状の領域を嚥下運動の探索領域として設定するよう構成されている。なお、各運動の探索領域として入力されるY軸方向のピクセル数は、各運動に対応したテンプレートの範囲のピクセル数より大きな値に設定される。
【0070】
前記位置特定部52は、前記データ記憶手段42に記憶された各面法線ベクトルデータを読み出すと共に、前記テンプレート記憶部56に記憶された第1のテンプレートおよび第2のテンプレートを読み出して、前記咀嚼運動の探索領域および嚥下運動の探索領域内においてテンプレートマッチングを夫々行うよう構成される。すなわち、前記位置特定部52は、前記データ記憶手段42から読み出した各面法線ベクトルデータにおいて、第1のテンプレートとの類似度を咀嚼運動の探索領域内で算出する。そして、咀嚼運動の探索領域内で類似度の値が最大となった第1のテンプレートの位置から当該面法線ベクトルデータにおける基準点P1の位置を特定する。すなわち、位置特定部52は、時系列的に取得される各面法線ベクトルデータにおける第1のテンプレート(基準点P1)の位置を特定することで、咀嚼運動を追跡するようになっている。同様に、前記位置特定部52は、前記データ記憶手段42から読み出した各面法線ベクトルデータにおいて、第2のテンプレートとの類似度を嚥下運動の探索領域内で算出する。そして、嚥下運動の探索領域内で類似度の値が最大となった第2のテンプレートの位置から当該面法線ベクトルデータにおける基準点P2の位置を特定する。すなわち、位置特定部52は、時系列的に取得される各面法線ベクトルデータにおける第2のテンプレート(基準点P2)の位置を特定することで、嚥下運動での追跡形状を追跡するようになっている。
【0071】
また、実施例2では、図24(a)に示すように、X−Y平面における面法線ベクトルの向きを当該平面上の全方向で色分けした色分画像データを色分画像作成手段44が作成して、この色分画像データに基づいて頭頸部表面の色分画像が前記出力手段26に表示されるようになっている。なお、図24(b)は、色分画像作成手段44により色分けされる面法線ベクトルの向きを、グラデーション表示した状態を示す。なお、図24(c)では、実施例1と同様に面法線ベクトルをX−Y平面上の8方向に分類した状態を、色彩に変えて模様を付して示すものである。すなわち、実施例2において、基準点P1や基準点P2のように突出した身体的特徴部位は、色分画像において色彩が放射状に変化する特徴的な表示態様となる。
【0072】
〔実施例2の作用〕
次に、前述した実施例2に係る摂食運動測定システム10による摂食運動の測定方法について、説明する。実施例2に係る摂食運動測定システム10による摂食運動の測定方法では、前述した実施例1に対して被験者に照射される光の波長が異なると共に、複数の基準点P1,P2を設定して、下顎表面および喉表面の動作を追跡する点で異なっている。すなわち、実施例2では、測定用の光源として赤外線を照射することで、測定時に被験者が眩しく感じることはなく、被験者に対する負担を軽減することができる。また、蛍光灯が有する波長領域外の近赤外線光を採用することで、蛍光灯下の室内環境での測定も可能となる。このように、測定用の光源として赤外線を利用することで、被験者が通常飲食する状態と近い環境で測定することができ、より自然な摂食運動(咀嚼運動や嚥下運動)を測定することができる。
【0073】
また、実施例2では、出力手段26の設定画面に表示された基準画像において、入力手段25を介して下顎骨62のオトガイ隆起62aに対応する位置を基準点P1として指定すると共に、甲状軟骨12の頂部に対応する位置を基準点P2として指定することで、各基準点P1,P2を中心として線状の範囲に含まれた面法線ベクトルデータが第1のテンプレートおよび第2のテンプレートとして設定される。そして、第1のテンプレートを包含する探索領域および第2のテンプレートを包含する探索領域を夫々個別に設定することで、データ記憶手段42に記憶された面法線ベクトルデータと、第1および第2のテンプレートとに基づいて各探索領域内でテンプレートマッチングが行われる。具体的には、各探索領域内における面法線ベクトルデータと対応する各テンプレートとの類似度が、数5の式を用いて位置特定部52により計算されて、各探索領域内において最も類似度が大きくなる(NCCが1に近くなる)テンプレートの位置に基づいて、当該面法線ベクトルデータにおける基準点P1の位置(下顎骨62のオトガイ隆起62aに対応する位置)および基準点P2の位置(甲状軟骨12の頂部に対応する位置)が特定される。すなわち、時系列的に取得される各面法線ベクトルデータにおける基準点P1,P2を特定することで、咀嚼運動と嚥下運動とが同時に連続して測定される。そして、基準点P1,P2の移動ピクセル量の時間変化を出力手段26がグラフ化して表示することで、摂食運動時での追跡形状(すなわち、下顎骨62や甲状軟骨12)の動きを同時に詳細に観察することができ、摂食運動を解析することが可能となる。このように、測定時に被験者にセンサー等を装着したり、被験者の首を固定したりする必要がないから、自然な状態で咀嚼運動や嚥下運動を同時に正確に測定することができる。従って、測定された摂食運動を解析することで、摂食した飲食品の噛み応えなどの「食感」や「飲み込み易さ」等を客観的に評価することができる。しかも、センサーや電極等の測定器具を被験者に装着する必要がないから、摂食運動の測定を簡単かつ低コストで実施することができる。
【0074】
〔実験例4〕
次に、実施例2に係る摂食運動測定システム10および測定方法を用いて行った測定実験について説明する。本実験例では、被験者として20代前半の4人の男性に、食感が異なる3種類の食物を摂食してもらい、そのときの咀嚼運動と嚥下運動の様子を前述した摂食運動測定システム10および測定方法により測定した。なお、本実験例では、イカの内臓を切り開いて乾燥させた固く噛み砕き難いスルメイカと、柔らかく崩れやすい豆腐と、固さはないものの弾力や粘りがあるわらび餅の3種類を採用し、経口摂取してから嚥下するまでの一連の運動を測定している。図25〜図28に各被験者の測定結果を示す。また、各被験者が咀嚼を始めてから最初に嚥下運動に入るまでに行った咀嚼回数を表1に示すと共に、当該最初の嚥下運動までのフレーム数(時間)を表2に示す。なお、本実験例で用いた3CCDカメラ78が単位時間あたりに撮像するフレーム数は、30fps(フレーム/秒)である。
【0075】
【表1】
【0076】
【表2】
【0077】
図25〜図28や表1,2から、固く噛み砕き難いスルメイカを摂取した場合には、相対的に柔らかいわらび餅や豆腐を摂取した場合と比べて、嚥下運動に入るまでの咀嚼回数が多くなり、また嚥下可能になるまで咀嚼するのに時間を要していることが分かる。これとは反対に、柔らかく脆い豆腐を摂取した場合には、固いスルメイカや弾力のあるわらび餅を摂取した場合と比べて、少ない咀嚼回数で嚥下運動に移行することが分かる。また、柔らかく噛み応えの少ない豆腐を摂取した場合には、相対的に噛み応えのあるスルメイカやわらび餅と比べて、被験者の咀嚼運動が小さくなっていることが分かる。すなわち、本発明に係る摂食運動測定システム10およびその測定方法によれば、異なる食物を摂取した場合に咀嚼から嚥下に移行するまでの咀嚼回数や咀嚼時間を把握することができ、咀嚼運動や嚥下運動に基づいて、「噛み切り易さ」、「噛み応え感」といった咀嚼から得られる感覚を、被験者に対して非接触かつ非侵襲な状態で評価することができる。また、嚥下運動を測定しているから、実施例1と同様に「飲み込み易さ」等を評価することも可能である。
【0078】
また、摂取した食物毎の咀嚼運動と嚥下運動との関係は、被験者によらず一定の傾向を示している。この実験例から、本発明に係る摂食運動測定システムおよびその測定方法を用いることで、被験者の個人の感覚に依存することなく、咀嚼運動と嚥下運動との関係を相対的に評価することができることが分かる。更に、摂取した食物毎に、嚥下運動までの咀嚼回数の分布や咀嚼運動の大きさを把握できることから、摂取した食物がどのような食感の食物であるかを推定することも可能となることが分かる。
【0079】
〔変更例〕
本発明に係る摂食運動測定システムおよび測定方法としては、各実施例に示したものに限定されるものでなく、例えば以下の如き変更が可能である。
(1) 実施例では、発光手段としてLEDを採用したが、必ずしも、LEDに限定されるものではない。発光手段としては、相互に異なる波長を照射し得るものであれば、ハロゲンランプ、色素レーザー、発光ダイオード(LD)、エレクトロルミネッセンス(EL)等、他の発光装置を採用することが可能である。但し、コストや発熱の観点からLEDが特に好ましく用いられる。
(2) 実施例では、3つの発光手段で光を照射したが、発光手段は4つ以上であってもよい。また、実施例では、撮像手段を中心として、3つの発光手段を正三角形状に配置したが、喉表面に対して異なる照射角度で光を照射し得るものであれば、発光手段は、異なる位置関係で配置してもよい
(3) 実施例では、撮像手段として、3CCDカメラを採用したが、各色の分光画像データを取得し得るものであれば、他のカメラを採用することができる。
(4) 実施例では、テンプレートの範囲および探索領域を線状の領域としたが、両者を面状の領域としてもよい。但し、探索領域は、テンプレートを包含した領域に設定する必要がある。また、テンプレートのみを線状の範囲とし、探索領域を、テンプレートを包含した面状の領域としてもよい。更に、必ずしも探索領域を設定する必要はなく、面法線ベクトルデータの全範囲に対し、テンプレートマッチングを行ってもよい。
(5) 実施例では、入力手段を介して基準点やテンプレートの範囲を入力することで、テンプレート設定部がテンプレートを設定するようにしたが、テンプレート設定部が予め設定された基準点およびテンプレートの範囲を自動的に設定するようにしてもよい。また、必ずしも、入力手段を介して入力した探索領域の範囲に基づいて、探索領域設定部が探索領域を設定する必要はなく、予め設定された探索領域を探索領域設定部が自動的に設定するようにしもよい。
(6) 実施例では、出力手段に表示された設定画面に入力手段を介して基準点等を入力するようにしたが、例えば、測定者が基準点の位置を出力手段に直接触れることで設定するタッチパネル方式を採用することも可能である。
(7) 実施例では、被験者が摂食運動を開始する前の面法線ベクトルデータからテンプレートを作成したが、摂食運動中の面法線ベクトルデータからテンプレートを作成してもよい。
(8) 実施例では、甲状軟骨の頂部に対応する位置を基準点として、該基準点の位置を特定する構成とした。しかしながら、追跡形状としては、喉表面の何れの部位を設定してもよい。例えば、輪状軟骨を追跡形状に設定した場合には、甲状軟骨の頂部(のど仏)の突出量が少ない女性の喉表面であっても、嚥下運動を測定することができる。
(9) 実施例では、下顎骨のオトガイ隆起に対応する位置を基準点として、該基準点の位置を特定する構成とした。しかしながら、追跡形状としては、下顎表面の何れの部位を設定してもよい。例えば、下顎底や下顎角に起因する凹凸形状を追跡形状に設定した場合には、顎先の丸く突出量が少ない場合でも、咀嚼運動を測定することができる。
(10) 実施例では、被験者の頭頸部表面に対し、真正面に撮像手段をセットして、下顎表面や喉表面を撮影したが、咀嚼運動や嚥下運動を捉えられる位置・角度であれば、頭頸部表面に対し斜めに撮像手段をセットしてもよい。
(11) 実施例1では、水等の飲料を飲み込むときの嚥下運動を測定したが、固体やゼリー状の食品を飲み込むときや、液剤や錠剤等の医薬品を飲み込むときの嚥下運動を測定することも可能である。
(12) 実施例では、嚥下運動のみを測定する場合と、咀嚼運動および嚥下運動を測定する場合を示したが、咀嚼運動のみを測定することも可能であることは当然である。
【符号の説明】
【0080】
12 甲状軟骨,14 輪状軟骨,16 赤色LED(発光手段)
18 青色LED(発光手段),20 緑色LED(発光手段)
22 3CCDカメラ(撮像手段),40 面法線ベクトル算出手段
44 色分画像作成手段,46 テンプレートマッチング手段
48 テンプレート設定部,50 探索領域設定部,52 位置特定部
56 テンプレート記憶部(記憶部)
62 下顎骨,72 赤外線LED(発光手段),74 赤外線LED(発光手段)
76 赤外線LED(発光手段),78 3CCDカメラ(撮像手段)
【特許請求の範囲】
【請求項1】
頭頸部表面に対して相互に波長の異なる光を照射する3つ以上の発光手段(16,18,20,72,74,76)と、
前記頭頸部表面で反射した光を分光して、分光画像データを時系列的に取得する撮像手段(22,78)と、
前記撮像手段(22,78)で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出する面法線ベクトル算出手段(40)と、
頭頸部表面における凹凸形状が含まれる追跡形状の面法線ベクトルデータからなるテンプレートと、前記各面法線ベクトルデータとを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状の位置を求めるテンプレートマッチング手段(46)とを備え、
前記テンプレートマッチング手段(46)により前記追跡形状の位置を時系列的に求めることで、咀嚼運動または嚥下運動を測定するよう構成した
ことを特徴とする摂食運動測定システム。
【請求項2】
前記発光手段(16,18,20,72,74,76)は、前記撮像手段(22,78)の分光感度特性において相互に干渉しない波長の光を照射するよう構成される請求項1記載の摂食運動測定システム。
【請求項3】
前記面法線ベクトルデータの各面法線ベクトルの方向に応じた色分けをして色分画像データを作成する色分画像作成手段(44)を備えている請求項1または2記載の摂食運動測定システム。
【請求項4】
前記テンプレートマッチング手段(46)は、
基準となる面法線ベクトルデータから前記テンプレートを設定するテンプレート設定部(48)と、
前記テンプレート設定部(48)で設定されたテンプレートを記憶する記憶部(56)と、
前記各面法線ベクトルデータに対しテンプレートマッチングを行う探索領域を設定する探索領域設定部(50)と、
前記記憶部(56)に記憶されたテンプレートと各面法線ベクトルデータとを前記探索領域設定部(50)で設定された探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定する位置特定部(52)とを備える請求項1〜3の何れか一項に記載の摂食運動測定システム。
【請求項5】
前記追跡形状は、喉表面における甲状軟骨(12)または輪状軟骨(14)に起因する凹凸形状を含むと共に、
前記テンプレートの範囲は、面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に嚥下運動時の甲状軟骨(12)または輪状軟骨(14)の移動方向に延在する線状の領域に設定され、
前記探索領域は、面法線ベクトルデータにおいて前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域に設定される請求項4記載の摂食運動測定システム。
【請求項6】
前記追跡形状は、頭部表面における下顎骨(62)に起因する凹凸形状を含むと共に、
前記テンプレートの範囲は、面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に咀嚼運動時の下顎骨(62)の動作方向に延在する線状の領域に設定され、
前記探索領域は、面法線ベクトルデータにおいて前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域に設定される請求項4または5記載の摂食運動測定システム。
【請求項7】
頭頸部表面に対して相互に波長の異なる光を3つ以上の発光手段(16,18,20,72,74,76)から照射し、該頭頸部表面で反射した光を分光して分光画像データを撮像手段(22,78)が時系列的に取得し、
前記撮像手段(22,78)で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出し、
頭頸部表面における凹凸形状が含まれる追跡形状の面法線ベクトルデータからなるテンプレートと、前記各面法線ベクトルデータとを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状の位置を求め、
前記追跡形状の位置を時系列的に求めることで、咀嚼運動または嚥下運動を測定する
ことを特徴とする摂食運動測定方法。
【請求項8】
前記発光手段(16,18,20,72,74,76)は、前記撮像手段(22,78)の分光感度特性において相互に干渉しない波長の光を照射する請求項7記載の摂食運動測定方法。
【請求項9】
前記面法線ベクトルデータの各面法線ベクトルの方向に応じた色分けをして色分画像データを作成する請求項7または8記載の摂食運動測定方法。
【請求項10】
前記追跡形状は、喉表面における甲状軟骨(12)または輪状軟骨(14)に起因する凹凸形状を含み、
前記テンプレートの範囲は、前記面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に摂食運動時の甲状軟骨(12)または輪状軟骨(14)の移動方向に延在する線状の領域に設定され、
前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域をテンプレートマッチングを行う探索領域として前記各面法線ベクトルデータに設定し、
前記テンプレートと各面法線ベクトルデータとを前記探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定する請求項7〜9の何れか一項に記載の摂食運動測定方法。
【請求項11】
前記追跡形状は、頭部表面における下顎骨(62)に起因する凹凸形状を含み、
前記テンプレートの範囲は、前記面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に咀嚼運動時の下顎骨(62)の動作方向に延在する線状の領域に設定され、
前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域をテンプレートマッチングを行う探索領域として前記各面法線ベクトルデータに設定し、
前記テンプレートと各面法線ベクトルデータとを前記探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定する請求項7〜10の何れか一項に記載の摂食運動測定方法。
【請求項1】
頭頸部表面に対して相互に波長の異なる光を照射する3つ以上の発光手段(16,18,20,72,74,76)と、
前記頭頸部表面で反射した光を分光して、分光画像データを時系列的に取得する撮像手段(22,78)と、
前記撮像手段(22,78)で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出する面法線ベクトル算出手段(40)と、
頭頸部表面における凹凸形状が含まれる追跡形状の面法線ベクトルデータからなるテンプレートと、前記各面法線ベクトルデータとを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状の位置を求めるテンプレートマッチング手段(46)とを備え、
前記テンプレートマッチング手段(46)により前記追跡形状の位置を時系列的に求めることで、咀嚼運動または嚥下運動を測定するよう構成した
ことを特徴とする摂食運動測定システム。
【請求項2】
前記発光手段(16,18,20,72,74,76)は、前記撮像手段(22,78)の分光感度特性において相互に干渉しない波長の光を照射するよう構成される請求項1記載の摂食運動測定システム。
【請求項3】
前記面法線ベクトルデータの各面法線ベクトルの方向に応じた色分けをして色分画像データを作成する色分画像作成手段(44)を備えている請求項1または2記載の摂食運動測定システム。
【請求項4】
前記テンプレートマッチング手段(46)は、
基準となる面法線ベクトルデータから前記テンプレートを設定するテンプレート設定部(48)と、
前記テンプレート設定部(48)で設定されたテンプレートを記憶する記憶部(56)と、
前記各面法線ベクトルデータに対しテンプレートマッチングを行う探索領域を設定する探索領域設定部(50)と、
前記記憶部(56)に記憶されたテンプレートと各面法線ベクトルデータとを前記探索領域設定部(50)で設定された探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定する位置特定部(52)とを備える請求項1〜3の何れか一項に記載の摂食運動測定システム。
【請求項5】
前記追跡形状は、喉表面における甲状軟骨(12)または輪状軟骨(14)に起因する凹凸形状を含むと共に、
前記テンプレートの範囲は、面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に嚥下運動時の甲状軟骨(12)または輪状軟骨(14)の移動方向に延在する線状の領域に設定され、
前記探索領域は、面法線ベクトルデータにおいて前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域に設定される請求項4記載の摂食運動測定システム。
【請求項6】
前記追跡形状は、頭部表面における下顎骨(62)に起因する凹凸形状を含むと共に、
前記テンプレートの範囲は、面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に咀嚼運動時の下顎骨(62)の動作方向に延在する線状の領域に設定され、
前記探索領域は、面法線ベクトルデータにおいて前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域に設定される請求項4または5記載の摂食運動測定システム。
【請求項7】
頭頸部表面に対して相互に波長の異なる光を3つ以上の発光手段(16,18,20,72,74,76)から照射し、該頭頸部表面で反射した光を分光して分光画像データを撮像手段(22,78)が時系列的に取得し、
前記撮像手段(22,78)で取得した各分光画像データに基づいて、照度差ステレオ法により各面法線ベクトルデータを算出し、
頭頸部表面における凹凸形状が含まれる追跡形状の面法線ベクトルデータからなるテンプレートと、前記各面法線ベクトルデータとを用いてテンプレートマッチングすることで、各面法線ベクトルデータにおける追跡形状の位置を求め、
前記追跡形状の位置を時系列的に求めることで、咀嚼運動または嚥下運動を測定する
ことを特徴とする摂食運動測定方法。
【請求項8】
前記発光手段(16,18,20,72,74,76)は、前記撮像手段(22,78)の分光感度特性において相互に干渉しない波長の光を照射する請求項7記載の摂食運動測定方法。
【請求項9】
前記面法線ベクトルデータの各面法線ベクトルの方向に応じた色分けをして色分画像データを作成する請求項7または8記載の摂食運動測定方法。
【請求項10】
前記追跡形状は、喉表面における甲状軟骨(12)または輪状軟骨(14)に起因する凹凸形状を含み、
前記テンプレートの範囲は、前記面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に摂食運動時の甲状軟骨(12)または輪状軟骨(14)の移動方向に延在する線状の領域に設定され、
前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域をテンプレートマッチングを行う探索領域として前記各面法線ベクトルデータに設定し、
前記テンプレートと各面法線ベクトルデータとを前記探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定する請求項7〜9の何れか一項に記載の摂食運動測定方法。
【請求項11】
前記追跡形状は、頭部表面における下顎骨(62)に起因する凹凸形状を含み、
前記テンプレートの範囲は、前記面法線ベクトルデータにおいて前記追跡形状内に設定した基準点を通ると共に咀嚼運動時の下顎骨(62)の動作方向に延在する線状の領域に設定され、
前記基準点を通ると共に前記テンプレートの範囲を包含する線状の領域をテンプレートマッチングを行う探索領域として前記各面法線ベクトルデータに設定し、
前記テンプレートと各面法線ベクトルデータとを前記探索領域内でテンプレートマッチングして、前記追跡形状の位置を特定する請求項7〜10の何れか一項に記載の摂食運動測定方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図9】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図25】
【図26】
【図27】
【図28】
【図8】
【図10】
【図23】
【図24】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図9】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図25】
【図26】
【図27】
【図28】
【図8】
【図10】
【図23】
【図24】
【公開番号】特開2013−31650(P2013−31650A)
【公開日】平成25年2月14日(2013.2.14)
【国際特許分類】
【出願番号】特願2012−146062(P2012−146062)
【出願日】平成24年6月28日(2012.6.28)
【出願人】(304019399)国立大学法人岐阜大学 (289)
【出願人】(309007911)サントリーホールディングス株式会社 (307)
【Fターム(参考)】
【公開日】平成25年2月14日(2013.2.14)
【国際特許分類】
【出願日】平成24年6月28日(2012.6.28)
【出願人】(304019399)国立大学法人岐阜大学 (289)
【出願人】(309007911)サントリーホールディングス株式会社 (307)
【Fターム(参考)】
[ Back to top ]