画像処理システム及び画像処理方法
【課題】 特に人間の運動の適否を判断するのに適した画像処理システム及び画像処理方法を提供すること。
【解決手段】 トレッドミル4と、トレッドミル4上で行われる利用者5の運動を撮影する撮影装置2と、撮影装置2により得られた利用者5の運動を示す動画データを処理する画像処理装置1と、画像処理装置1により得られた画像処理結果Rを利用者5がトレッドミル4上にて見ることができるように表示するモニタ3と、からなる画像処理システムであって、画像処理装置1は、利用者5の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた重畳動画データをモニタ3に表示する画像処理システム及び画像処理方法。
【解決手段】 トレッドミル4と、トレッドミル4上で行われる利用者5の運動を撮影する撮影装置2と、撮影装置2により得られた利用者5の運動を示す動画データを処理する画像処理装置1と、画像処理装置1により得られた画像処理結果Rを利用者5がトレッドミル4上にて見ることができるように表示するモニタ3と、からなる画像処理システムであって、画像処理装置1は、利用者5の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた重畳動画データをモニタ3に表示する画像処理システム及び画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特に人間の運動が正しく行われているか否かを判断するのに適した画像処理システム及び画像処理方法に関するものであり、より詳細には、人の歩行バランスの適否又は運動の正確性などを直接見て確認しながら歩行したり運動を行うようにすることで、歩容リハビリテーション支援又はスポーツのトレーニングなどにも適した画像処理システム及び画像処理方法に関するものである。
【背景技術】
【0002】
例えば、脳出血などの症状を発症した場合、片麻痺の症状が現れることがある。その際には、健常時に復帰するためリハビリテーションを行う必要があり、家庭でもリハビリテーションを行うことのできるシステムが望まれている。
そして、リハビリ歩行訓練の際には、理学療法士からの指示を受けながら、歩行状態を正しく把握した上でその矯正を行うことが重要である。
また、歩行、競歩、走るといった運動(スポーツ)を正確に行うことができるようにするためのトレーニングに際しては、実際の運動の様子を正しく把握する必要がある。
【0003】
そこで、自分の過去の運動の様子を示す動画と、現在の運動の様子を示す動画とをそのまま並べて表示する「画像比較表示装置」の発明が提案されている(特許文献1)。
【0004】
また、従来、予め設定された運動を正しく実行するための「運動支援システム及び運動支援方法」として、撮像手段によって得られた利用者の運動の様子を示す動画と、参考にすべき運動の様子を示す動画とを表示画面に並べて表示する発明が提案されている(特許文献2)。
【0005】
特許文献1に記載の発明においては、同じ利用者の動きを比較できるものではあるが、健常時の好適な動作との比較を直接的に行うことができるものではなく、どこをどのように矯正すればよいのかということを具体的に利用者に示すことができないこと、そもそも自分の過去の動画を持っているとは限らないことなどの課題があった。
【0006】
また、特許文献2に記載の発明においては、他人の参考パターンを表示するものであるため、身長や体型の相違、運動の周期等が異なり、利用者の実際の動きと正確に対応していないため、十分なリハビリ効果を得ることが期待できないというおそれがあった。
【0007】
そこで、本発明者らは、「歩容における左右バランスに着目した自主的リハビリテーション支援システムの提案」により、利用者が歩行している様子を撮影したオリジナル動画データから、正常な動作部分を抜き出して、悪い動きと重ね合わせることで、悪い動きの存在を利用者に示す画像処理システムを提案している(非特許文献1)。
しかしながら、上記の画像処理システムにおいては、利用者が歩行を終えた後に画像処理された画像を見ることで、悪い動きを把握するようにしているため、歩行しながら直接的に悪い動きを把握してリアルタイムでその悪い動きを修正するということができないという問題があった。
【0008】
さらに、上記の画像処理システムにおいては、歩行空間に制限があるため、長距離、長時間の歩行ができないという問題や、歩行により撮影される画像の大きさや位置が変化してしまうため画像処理に時間を要するという問題がある。
また、従来の歩行リハビリ装置においては、利用者がモチベーションを高く維持しつつ楽しく歩行訓練を行うことができるための工夫が十分でないという課題があった。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2000−138927号公報
【特許文献2】特許第3565936号公報
【非特許文献】
【0010】
【非特許文献1】梅津昌也ほか「歩容における左右バランスに着目した自主的リハビリテーション支援システムの提案」、電子情報通信学会総合大会講演論文集、社団法人電子情報通信学会、情報・システム(2)、p.153、2010年3月2日
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明が解決しようとする課題は、従来の画像処理システム又は画像処理方法によっては、利用者が歩行又は運動しながら、その歩行バランスの適否又は運動動作の正確性を直接リアルタイムで把握することができないことであり、本発明の目的は、利用者が楽しく歩行又は運動しながら矯正すべきところを自分で容易に把握することができる画像処理システム及び画像処理方法を提供し、リハビリ効果の増進又は適正な運動動作の習得を得られるようにすることにある。
即ち、本発明の目的は、特に人間の運動が正しく行われているか否かを判断するのに適した画像処理システム及び画像処理方法を提供することにある。
【課題を解決するための手段】
【0012】
本発明は、『トレッドミルと、前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、からなる画像処理システムであって、前記画像処理装置は、利用者の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示する画像処理システム。』を最も主要な特徴とするものである。
【0013】
本発明の画像処理システムは、さらに、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発する音響装置をさらに備えていることが望ましい。
【0014】
さらに、本発明の画像処理システムは、より好ましくは、前記画像処理装置は、前記反転動画データが半身分の動画データであって、現在の動画データの軸足ではない側の足の動きに重ね合わせることを特徴とする。
また、本発明は、前記画像処理装置が利用者の過去の動画データ又は現在の動画データを色分けしてモニタに表示するものであったり、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告をモニタに表示するものであってもよい。
前記画像処理装置は、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データをモニタに表示するものであってもよい。
【0015】
前記画像処理装置は、利用者の運動を撮影したオリジナル動画データから、左足軸歩行又は右足軸歩行の開始時から終了時までの動画データを得る際に、オリジナル動画データを構成する画像データについて、利用者の足首付近の肌の露出部分を解析し、一方の足の露出部分が最下点位置となったときをその足を軸とする歩行の開始時とし、その足を軸とする歩行の終了時を他方の足の露出部分が最下点位置となったときとしているものであってもよい。
【0016】
本発明は、左足軸歩行の開始時から終了時までの所用時間と、右足軸歩行の開始時から終了時までの所用時間との差が許容される範囲を超えている場合には、利用者に警告を発する画像処理システムであってもよい。
さらに、本発明の前記画像処理装置は、遠隔地にある電子計算機と接続することで、当該電子計算機に対して重畳動画データを送信したり、当該電子計算機からの画像データをモニタに表示したり、利用者に対する音声メッセージを伝達できるものであってもよい。
【0017】
本発明は、トレッドミルと、前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、からなる画像処理システムにおける画像処理方法であって、前記画像処理装置によって、利用者の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示する画像処理方法を含むものである。
【0018】
本発明の画像処理方法において、前記画像処理システムが音響装置をさらに備えており、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発するものであってもよい。また、本発明の画像処理方法において、前記画像処理装置による反転動画データと他方の動画データとを重ね合わせは、色分けされて行われるものであってもよく、前記画像処理装置は、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告をモニタに表示するものであってもよい。
本発明の画像処理方法において、前記画像処理装置は、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データをモニタに表示するものであってもよい。
さらに、本発明は、上記の画像処理方法を電子計算機で実行するためのプログラムを含むものである。
【発明の効果】
【0019】
上記構成を採用したことにより、本発明の画像処理システム、画像処理方法及びその画像処理方法を電子計算機で実行するためのプログラムは、トレッドミルを活用することで、場所をとらず、繰り返し歩いたり走ったりする運動を行うことができ、モニタに表示される重畳動画データを見ながら利用者自身の現在の運動の様子を直接的にリアルタイムで比較し正確に確認しながら運動を行うことができる。
また、トレッドミル上の利用者画像のサイズ及び位置はほぼ一定であるため、画像処理の正確性及び処理速度が高められるという効果を奏する。
【0020】
さらに、前記画像処理装置によって前記反転動画データの半身分の動画データを重ね合わせることで、比較対象を絞り込んでモニタ上に表示することができ、表示される画像が見やすく、かつ、処理速度もより一層向上するという効果を得られる。
また、歩行リズムをチェックするためのガイド音を発する音響装置を備えている場合には、このガイド音に合わせて歩行することで、利用者が自分の歩行のリズムが正しいか否かを耳から聞こえるガイド音からも把握することができ、正しい歩行を習得する訓練としての効果を高めることができるとともに、音楽を聴きながら利用者が楽しく歩行訓練を行うことができる。
従って、この場合においては、利用者がモチベーションを高く維持しつつ歩行訓練を行うことができる。
また、前記画像処理装置が利用者の過去の動画データ又は現在の動画データを色分けしてモニタに表示するものである場合には、運動の比較を視覚的により一層明確かつ迅速に行うことができる。
【0021】
本発明において、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告がモニタに表示される場合には、利用者による運動範囲の適否を簡単に知ることができる。
さらに、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データがモニタに表示される場合には、運動の適否を正確に知ることができるばかりか、運動を継続するモチベーションを高めることもできる。
【0022】
本発明において、前記画像処理装置が、利用者の足首付近の肌の露出部分を解析し、足の露出部分が最下点位置となったときを基準として歩行の開始時と終了時を判断する場合には、利用者に特別のマーカーを付したり装着したりすることなく、動画データの重ね合わせが可能となり、手軽に本発明の画像処理システムを用いることができる。
【0023】
本発明において、左足軸歩行の開始時から終了時までの所用時間と、右足軸歩行の開始時から終了時までの所用時間との差が許容される範囲を超えている場合に、利用者に警告を発するようにすれば、利用者による運動リズムの適否を簡単に知ることができる。
さらに、本発明において、遠隔地にある電子計算機と接続することで、当該電子計算機に対して重畳動画データを送信したり、当該電子計算機からの画像データをモニタに表示したり、利用者に対する音声メッセージを伝達できるようにすれば、画像処理システムを自宅において遠隔地から指導医やインストラクターの指示を受けて運動を行うことができる。
【0024】
本発明の画像処理システム、画像処理方法及びその画像処理方法を電子計算機で実行するためのプログラムを、リハビリを行う利用者について用いた場合には、本人の健常側の動きを対称として比較するので、身体的特徴が同じであるために参考にしやすいものとなる。また、画像処理を用いて重ね合わせて表示するためにどのように動きが異なっているか、どのように体を動かせばいいのかが分かりやすいという効果を奏する。
さらに、本発明は、トレッドミルを使用することにより、利用者が歩行状態を確認しながら長時間歩行することが可能となるため、半身麻痺又は義足の利用者について、よりリハビリテーションの効果を得ることができる。またトレッドミルを使用することにより画像処理にかかる時間が減少し、運動の状態を直接的にリアルタイムで比較しながらリハビリテーションを行うことができる。
【図面の簡単な説明】
【0025】
【図1】本発明の画像処理システムを示す斜視図。
【図2】本発明の画像処理システムの概要を示す概念図。
【図3】本発明の画像処理システムのモニタ画面を示す図。
【図4】本発明の画像処理システムによるオリジナル動画データとその各画像データ(フレーム)についての画像処理の様子を示す図。
【図5】本発明の画像処理システムのモニタに表示される画像が生成される様子を示す図。
【図6】本発明の画像処理システムのモニタに表示される画像が生成される様子を示す図。
【図7】本発明の画像処理システムのモニタに表示される画像を示す図。
【図8】本発明の画像処理方法による画像処理の過程を示すフロー図。
【図9】利用者が歩行訓練をする際における左右の足の接地時刻と立脚時間を示す図。
【図10】本発明の画像処理システムのモニタに表示される画像を示す図。
【図11】本発明の画像処理システムの運転モードを選択するためのモニタ上の表示を示す図。
【発明を実施するための形態】
【0026】
本発明は、トレッドミルと、前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、からなる画像処理システムであって、前記画像処理装置は、利用者の過去の運動を(参照画像として)撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示する画像処理システム、画像処理方法及びその画像処理方法を電子計算機で実行するためのプログラムである。
【0027】
次に、本発明の画像処理システム及び画像処理方法を、歩容リハビリテーション支援のために具体化した一実施形態について図に従って説明する。
本発明の一実施形態の画像処理システムは、図1及び図2に示すように、画像処理装置として機能する電子計算機1と、撮影装置(ビデオカメラ)2と、モニタ3と、前記撮影装置2及びモニタ3の前方に設置されたトレッドミル4とから構成されている。
この撮影装置2を設置する位置としては、トレッドミル4の前方であって、床面からの高さが80〜100cm程度の位置が好ましい。
また、前記モニタ3としては、家庭で毎日行うリハビリテーションの場合には、家庭に設置してあるTVを使用することが好ましいが、電子計算機(パソコン)用のモニタであってもよい。
【0028】
前記電子計算機1は、本発明を具体化して実施するための電子計算機用プログラムを備えており、撮影装置2から提供される動画データに基づいて画像処理を行うものであって、その画像処理結果R、評価データE、歩数N及び経過時間(残り時間)Tなどの各種情報をモニタ3に表示し、利用者5がそれらの情報を見ながらトレッドミル4上にて歩行(運動)を繰り返し行うことができるようになっている。
【0029】
ここで、前記画像処理結果Rとしては、利用者による直前の運動を撮影したオリジナル動画データを参照画像としてその比較対象部分の左右を反転させた反転動画データを、現在行われている運動を撮影したオリジナル動画データと重ね合わせた重畳動画データを好適に用いることができる。
これは、以下の理由から採用されるものである。
健常者による歩行運動は、体の左右で同じ動きをしており、体の左右で同じタイミングで同じ動きをすることが正常な歩行であるといえる(図4(A)の画像フレーム参照)。即ち、健常者による歩行運動は、右足軸の歩行と、左足軸の歩行とが、体の左右で対称の動きとなっている。
【0030】
一方、片麻痺を抱える人の歩行は、片側の動き(例えば右足軸の歩行)は麻痺の影響が少なく問題のない動きとなっているが、逆側の動きは(例えば左足軸の歩行)は、片麻痺の影響で悪い動きになっている。片麻痺の歩行は問題のない動きと悪い動きが交互に現れるため、悪い動きの直前の問題のない動きを参考の動きとして、反転して重ね合わせて表示することで動きの差異を認識させることができ、リハビリテーションの効果が表れる(図4(B)の画像フレーム参照)。
また、片麻痺を抱える人の歩行は、右足軸での歩行と左足軸での歩行に要する時間に狂いが生じることがある。
【0031】
このように、リハビリを行う本人の健常側の動きを対称として比較するので、身体的特徴が同じであるために参考にしやすい。また、画像処理を用いて重ね合わせて表示するためにどのように動きが異なっているか、どのように体を動かせばいいのかが分かりやすいという効果を得られる。
【0032】
この一実施形態における評価データEとは、利用者5の運動を撮影したオリジナル動画データの比較対象部分を反転させた反転動画データと、オリジナル動画データとの重なり合う度合いを示すものであって、一実施形態としては、数値データ(デジタル表示)を用いているが、棒グラフ、折れ線グラフ、メーターのような形態でのアナログ表示を用いてもよい。
この評価データEは、画像の一致率が高い場合に加算され、一致率が低下した場合に減算されることで、リアルタイムで歩行の状態の善し悪しを評価して利用者5に表示できるものである。
【0033】
前記重畳データを得るための画像処理は、以下のような手順で行われる。
即ち、前記画像処理装置としての電子計算機1は、まず、利用者の運動を撮影したオリジナル動画データから、左足軸歩行又は右足軸歩行の開始時から終了時までの動画データを抽出する。
ここで、何れの軸足による運動を基準とするかは、好適には予め利用者が選択するものであり、右足軸歩行が正常であれば、右足軸歩行を選択し、その動画データを基準とするように、電子計算機1にて指定する。
そして、その選択された正しい動作となっている右足軸歩行の動画データを反転させた反転動画データを生成する(図4(B)参照)。
【0034】
次に、利用者5による右足軸歩行の開始時から終了時までの動画データからなる右足軸歩行動画データの開始時と、現在の歩行の様子を示す左足軸歩行の開始時のオリジナル動画データの開始時とを一致させることで、両データのタイミングを合わせ、対応する動画データの各画像同士を重ね合わせ、全身の重畳動画データを得る(図5(B)参照)。
この重畳動画データにおいては、利用者5の反転動画データの画像データと、現在の歩行の様子を示すオリジナル動画データの画像データとが一致していない部分については、反転動画データの画像データ部分は、モニタ3上にて青色にて表示し、オリジナル動画データの画像データ部分はモニタ3上にて赤色にて色分け表示するようにするとよい(図5(C)参照)。
なお、上記においては、反転動画データと、現在のオリジナル動画データとの一致していない部分について、反転動画データを青色で、オリジナル動画データを赤色で表示する方法を採用したが、その一方のみ、特に反転動画は正しい動きであるので、現在のオリジナル動画と対応する運動を直すという意味から、現在のオリジナル動画の一致していない部分のみをモニタ3上で赤色にて表示するというような表示方法を採用してもよい。
【0035】
なお、この重畳動画データにおいては、特に利用者5の肌が露出している部分(肌色の部分)のみを別途認識し、その部分について、反転動画データの画像データと、現在の歩行の様子を示すオリジナル動画データの画像データとが一致している部分は、白色にて表示するようにしてもよい。
そして、両動画データ中の画像データが一致していない部分については、反転動画データの画像データ部分は青色にて表示し、オリジナル動画データの画像データ部分は赤色にて色分け表示する。
【0036】
即ち、重畳動画データは、利用者5による現在の歩行の様子を示す動画データ(例えば左足軸歩行の動画データ)と、その一歩前に行われた歩行の様子を示す動画データ(この場合右足軸歩行の動画データ)とから生成されるものであって、何れか一方の動画データを反転することで現在の歩行の状態の善し悪しを判断できるようにするものである。
従って、正しい歩行の状態と、悪い歩行の状態との対比を直接的にリアルタイムで簡単に見比べながら歩行運動を続けることができ、高いリハビリ効果を効率よく得ることができる。
さらに、肌色の部分を認識するようにすれば、体の特定の位置を画像処理装置が認識できるようにするために特別のマーカーを運動前に装着する必要が無くなり、手軽に本発明の画像処理システムを活用することができる。
【0037】
前記画像処理装置としての電子計算機1は、利用者5の運動を撮影したオリジナル動画データ(例えば、1秒間に30個の画像フレームを含む動画データ。)から、右足軸歩行の開始時から終了時までの画像データと、左足軸歩行の開始時から終了時までの画像データとをそれぞれ抽出する際に、オリジナル動画データを構成する画像データについて、利用者5の足首付近の露出部分(即ち、画像上で肌色の部分)を解析し、その露出部分が最下点位置にあるときをその足を軸とする歩行の開始時とし、その足を軸とする歩行の終了時を他方の足の露出部分が最下点位置となったときとしている(図9参照)。
【0038】
さらに、前記図5(B)(C)に示す例においては、全身の重畳動画データを得てモニタ3上に表示するようにしたが、図6(B)(C)に示すように、利用者5の正常な歩行を示すオリジナル動画データの反転された半身分(例えば左側)の反転動画データのみを現在の歩行の様子を示すオリジナル動画データと重ね合わせ、重畳動画データを得るようにしてもよい。
【0039】
上記本発明の画像処理装置としての電子計算機1を用いた画像処理システムによるデータ処理方法の概略について、図8に従って説明する。
前記電子計算機1は、撮影装置2によって利用者5の歩行の様子を正面から撮影し、オリジナル動画データを得る(ステップS1)。
次に、前記電子計算機1は、オリジナル動画データを構成する画像データについて、利用者の足首付近の露出部分を解析することで、右足軸歩行の開始時から終了時までの画像データを得て、その各画像データの左右を反転させた反転動画データを得る(ステップS2)。
【0040】
次に、前記電子計算機1は、右足軸歩行の反転動画データと、左足軸歩行のオリジナル動画データとを重ね合わせる(ステップS3)。
そして、前記電子計算機1は、重ね合わされた動画データを解析し、重なっていない部分を色分けしてモニタ3上に表示する(ステップS4)。
さらに、前記電子計算機1は、右足軸歩行の反転動画データと、左足軸歩行のオリジナル動画データにおける画像の一致具合を数値化して評価データE、経過時間T、歩数Nとともにモニタ3に表示する。
【0041】
ここで、電子計算機1をインターネットIに接続することで、遠隔地にある電子計算機6と接続することで、遠隔地から指導医の画像Dをモニタ3上に表示し、スピーカ7から指導医の利用者5に対する指導メッセージを伝えながらリハビリの指導を行うこともできる。
【0042】
さらに、本発明の一実施形態の画像処理システムは、その画像処理のモードを変更することで、利用者5の運動が許容される範囲を超えて行われた場合に、利用者5に対する警告をモニタ3上に表示するようにすることもできる。
この警告の例としては、「頭が左に振れています。頭をあまり動かさないようにしましょう。」、「右足が外に振れています。外に振れないように意識しましょう。」といったモニタ3画面上の表示又はスピーカ7からの音声が考えられる。
これは、利用者の肌が露出している部分(顔及び接地付近の足)を特に認識することで、例えば、利用者5の右足8が図7(A)に示す適正位置より例えば10cm程度以上外方にはみ出した場合、利用者5に対する警告をモニタ3上に表示するようにするものである。
【0043】
このモニタ3上への警告の表示は、モニタ3画面上に表示されている利用者5の体の右側又は左側の画面(ゾーンZ1,Z2)の一方を、例えばゾーンZ1を薄い青色から薄い赤色の表示に変更することで、利用者5の体の右側に悪い動きが発生したことを簡単かつ明瞭に示すことができる(図7(B)参照)。
前記のモニタ3上への表示に加え、スピーカ7又は電子計算機1から警告音を発することで、利用者5は、視覚的及び聴覚的にも体の悪い動きの存在を知ることができる。
【0044】
さらに、本発明の一実施形態の画像処理システムにおいては、利用者の肌が露出している部分を特に認識することで、利用者5の顔面9が許容される範囲を超えて動いた場合、即ち、体幹に大きな傾きが生じた場合に、モニタ3上の画面(ゾーンZ3,Z4)の色を変更し、利用者5に警告を表示するようにしてもよい。
例えば、図7(C)に示すように利用者5の腰の部分の幅(約40cm程度)の両側にゾーンZ3,Z4を設定し、図7(D)に示すように利用者5の顔面9が腰の部分の幅(約40cm程度)より左に動いた場合に、モニタ3上のゾーンZ4の色を薄い青色から薄い赤色に変更することが考えられる。
【0045】
同様に、利用者5の腕が許容される範囲を超えて動いた場合に、モニタ3上の画面の色を変更し、利用者5に警告を表示するようにしてもよい。
さらに、電子計算機1は、画像処理の結果、利用者5による右足軸歩行の開始時から終了時までの所用時間と、左足軸歩行の開始時から終了時までの所用時間との差が許容される範囲を超えている場合には、スピーカ7又は電子計算機1から利用者5に警告音を発するようにしたり、モニタ3画面上にその旨の警告を表示するようにしてもよい。
逆に、利用者5の体の左右の動作が正しく一致している場合、及び、右足軸歩行と左足軸歩行の所用時間の差が許容範囲内である場合には、「綺麗に歩けています。この調子で頑張って下さい」という表示をモニタ3画面上に表示したり、スピーカ7から音声でその旨を知らせるようにしてもよい。
【0046】
上記にて説明したとおり、本発明においては、特に人間の歩く(競歩のような早歩きを含む)、走るといった運動が正しく行われているか否かを判断するのに適した画像処理システム及び画像処理方法を提供することができるものであり、人の歩行バランスの適否又は運動の正確性などを直接的にリアルタイムで見て確認しながら歩行したり運動を行うようにすることで、歩容リハビリテーション支援又はスポーツのトレーニングなどにも適した画像処理システム及び画像処理方法を提供できるものである。
【0047】
次に、本発明の画像処理システム及び画像処理方法を、歩容リハビリテーション支援のために具体化した他の一実施形態について図9及び図10に従って説明する。
なお、図9は、利用者5が歩行訓練をする際における左右の足の接地時刻と、各足による立脚時間を示す図であって、Y軸の値は、足の肌の露出部分の下端位置と対応するピクセルの位置を示す。そして、図10に示すように、撮影装置2による撮影画像の下端位置と対応するピクセルの位置の値が320であり、撮影装置2による撮影画像の上端位置と対応するピクセルの位置の値が0となっている。
【0048】
この画像処理システムは、前記実施形態の画像処理システムにおいて、さらに、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を音響装置としてのスピーカ7から発するようにしている。
「歩行リズムをチェックするためのガイド音」としては、童謡、簡単なメロディーなどといった利用者5に馴染みのある音楽を構成する音であって、歩行の際における一定のテンポ又はタイミングを把握することが容易な音であることが望ましい。
具体的には、一実施形態の画像処理システムにおいては、左足軸の運動及び右足軸の運動の開始時を電子計算機1のプラグラムが判断し、左足軸の運動及び右足軸の運動の開始時と合わせて童謡(例えば「かえるの歌」の音楽)を構成する音を利用者5に聞こえるようにスピーカ7から一音づつガイド音として順次発することで、利用者5に歩行リズムが適正であるか否かを指摘できるようになっている。
【0049】
さらに、この一実施形態においては、左足及び右足による歩行のリズム(図10に示すように、モニタ3画面上では画像フレーム数として各足による立脚時間が表示されるようになっている。)が正しい場合には、100点をモニタ3画面上に表示し、30分の1秒ズレるごとに5点減点した点数を評価データEとしてモニタ3画面上に表示することで、歩行リズムの正確さをハッキリと認識できるようにしている。
さらに、右足による歩行に要した画像フレーム数と、左足による歩行に要した画像フレーム数が一致した場合には、モニタ3画面上に設けたリズム判定表示部10の右側を白く光らせ、右足による歩行に要した画像フレーム数と、左足による歩行に要した画像フレーム数が一致していない場合には、モニタ3画面上に設けたリズム判定表示部10の左側を赤く光らせて歩行の状態を利用者5が視覚的に容易に確認できるようにしている。
【0050】
このガイド音に合わせて歩行することで、利用者5が自分の歩行のリズムが正しいか否かを、耳から聞こえるガイド音が正しいメロディーとなっているか否かによって把握することができ、正しい歩行を習得する訓練としての効果を高めることができるとともに、音楽を聴きながら利用者5が楽しく歩行訓練を行うことができるる。
即ち、この一実施形態においては、歩行によって得られる音楽に合わせて利用者5がモチベーションを高く維持しつつ歩行訓練を行うことができる。
【0051】
この一実施形態の画像処理システム及び画像処理方法によって歩行リズムを指摘した歩行訓練を行った場合と、歩行リズムを指摘しないで無意識に歩行訓練を行った場合の結果について以下の表に示す。
【0052】
【表1】
【0053】
上記の結果から、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発する音響装置(スピーカ7)を採用して利用者5に歩行リズムを耳からも指摘することで、正しい歩行リズムの習得が容易となるばかりか、歩行訓練に対する利用者5のモチベーションを高く維持することができることが確認された。
【0054】
さらに、本発明においては、複数台の撮影装置(ビデオカメラ)2を異なる高さ又は異なる位置に設置し、利用者5の足の位置や状態をより正確に表示したり判定できるようにして実施したり、部分的な拡大画像を別途モニタ3上に表示できるようにして実施したり、特定の波長域の光線を識別可能な撮影装置を用いて利用者5の運動を把握できるようにしたり、利用者5の体温変化などを把握できるようにして実施し、指導医による利用者5の健康状態を的確に判断して適正な範囲でリハビリを行えるようにして実施することも可能であり、かかる場合も本発明の範囲に含まれるものである。
【0055】
本発明は、上記実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更して実施することが可能であり、例えば、画像処理装置として機能する電子計算機1にてトレッドミル4の運転速度を変更したり、トレッドミル4の運転を停止させたりできるようにしたり、モニタ3画面上に運転モード切替の意思確認のメッセージを表示するとともに、意思決定や運転のモード選択のための表示を行い、モニタ3画面上のその表示部分に手を触れるようにすることで、運転モードを切り換えたり、運転を停止させたりするようにすることも可能である。
【0056】
前記運転モード切替の意思確認のメッセージとしては、例えば、「実施したいメニューに手をかざしてください」が考えられる。
意思決定や運転モードの選択のための表示としては、例えば以下のようなものが考えられる。
1)重畳動画データにて図5及び図6に示すような歩行運動の状態を判断したい場合には、「歩行」の文字をモニタ3上に表示する。
2)図7(A)(B)に示すようにモニタ3画面上にゾーンを設定し、右足の外方への悪い動きを判断したい場合には、「右足」の文字をモニタ3上に表示する。
3)図7(C)(D)に示すようにモニタ3画面上にゾーンを設定し体幹(顔面)の傾きを判断したい場合には、「体幹」の文字をモニタ3上に表示する(図11参照)。
【0057】
また、電子計算機1にて適度な歩行のピッチ(ペース)を利用者5に示すように、利用者5の実際の歩行の状態とは関係なく、スピーカから一定間隔でビープ音又はリズムを発するようにして実施してもよい。
本発明は、図10に示すように手すり4aを備えたトレッドミル4を用いて実施したり、合成画像を利用したゲームなどへの応用も可能である。
さらに、利用者5が病気(片麻痺)に掛かる前の動画データが存する場合には、画像処理装置によって、それをオリジナル動画データ(健常時の正しい運動を示す参照画像)として用い(そのままの動画データ又は左右を反転させた動画データの何れをも参照画像とすることが可能)、現在の運動の様子を示す動画データ(そのままの動画データ又は左右を反転させた動画データ)と重ね合わせてモニタ3上に表示するようにしても、良好なリハビリテーション効果を得ることができる。
【産業上の利用可能性】
【0058】
本発明は、半身麻痺又は義足の利用者についての歩容リハビリテーション支援又は運動のトレーニングに適した画像処理システム、画像処理方法及びその画像処理方法を電子計算機で実行するためのプログラムとして、さらには、体を動かして行うゲームにおいて利用することも可能である。
【符号の説明】
【0059】
1 電子計算機(画像処理装置)
2 撮影装置
3 モニタ(TV)
4 トレッドミル
4a 手すり
5 利用者
6 電子計算機
7 スピーカ(音響装置)
8 右足
9 顔面
10 リズム判定表示部
I インターネット
D 指導医の画像
E 評価データ
N 歩数
S1〜S6 ステップ
T 経過時間(残り時間)
Z1〜Z4 ゾーン
【技術分野】
【0001】
本発明は、特に人間の運動が正しく行われているか否かを判断するのに適した画像処理システム及び画像処理方法に関するものであり、より詳細には、人の歩行バランスの適否又は運動の正確性などを直接見て確認しながら歩行したり運動を行うようにすることで、歩容リハビリテーション支援又はスポーツのトレーニングなどにも適した画像処理システム及び画像処理方法に関するものである。
【背景技術】
【0002】
例えば、脳出血などの症状を発症した場合、片麻痺の症状が現れることがある。その際には、健常時に復帰するためリハビリテーションを行う必要があり、家庭でもリハビリテーションを行うことのできるシステムが望まれている。
そして、リハビリ歩行訓練の際には、理学療法士からの指示を受けながら、歩行状態を正しく把握した上でその矯正を行うことが重要である。
また、歩行、競歩、走るといった運動(スポーツ)を正確に行うことができるようにするためのトレーニングに際しては、実際の運動の様子を正しく把握する必要がある。
【0003】
そこで、自分の過去の運動の様子を示す動画と、現在の運動の様子を示す動画とをそのまま並べて表示する「画像比較表示装置」の発明が提案されている(特許文献1)。
【0004】
また、従来、予め設定された運動を正しく実行するための「運動支援システム及び運動支援方法」として、撮像手段によって得られた利用者の運動の様子を示す動画と、参考にすべき運動の様子を示す動画とを表示画面に並べて表示する発明が提案されている(特許文献2)。
【0005】
特許文献1に記載の発明においては、同じ利用者の動きを比較できるものではあるが、健常時の好適な動作との比較を直接的に行うことができるものではなく、どこをどのように矯正すればよいのかということを具体的に利用者に示すことができないこと、そもそも自分の過去の動画を持っているとは限らないことなどの課題があった。
【0006】
また、特許文献2に記載の発明においては、他人の参考パターンを表示するものであるため、身長や体型の相違、運動の周期等が異なり、利用者の実際の動きと正確に対応していないため、十分なリハビリ効果を得ることが期待できないというおそれがあった。
【0007】
そこで、本発明者らは、「歩容における左右バランスに着目した自主的リハビリテーション支援システムの提案」により、利用者が歩行している様子を撮影したオリジナル動画データから、正常な動作部分を抜き出して、悪い動きと重ね合わせることで、悪い動きの存在を利用者に示す画像処理システムを提案している(非特許文献1)。
しかしながら、上記の画像処理システムにおいては、利用者が歩行を終えた後に画像処理された画像を見ることで、悪い動きを把握するようにしているため、歩行しながら直接的に悪い動きを把握してリアルタイムでその悪い動きを修正するということができないという問題があった。
【0008】
さらに、上記の画像処理システムにおいては、歩行空間に制限があるため、長距離、長時間の歩行ができないという問題や、歩行により撮影される画像の大きさや位置が変化してしまうため画像処理に時間を要するという問題がある。
また、従来の歩行リハビリ装置においては、利用者がモチベーションを高く維持しつつ楽しく歩行訓練を行うことができるための工夫が十分でないという課題があった。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2000−138927号公報
【特許文献2】特許第3565936号公報
【非特許文献】
【0010】
【非特許文献1】梅津昌也ほか「歩容における左右バランスに着目した自主的リハビリテーション支援システムの提案」、電子情報通信学会総合大会講演論文集、社団法人電子情報通信学会、情報・システム(2)、p.153、2010年3月2日
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明が解決しようとする課題は、従来の画像処理システム又は画像処理方法によっては、利用者が歩行又は運動しながら、その歩行バランスの適否又は運動動作の正確性を直接リアルタイムで把握することができないことであり、本発明の目的は、利用者が楽しく歩行又は運動しながら矯正すべきところを自分で容易に把握することができる画像処理システム及び画像処理方法を提供し、リハビリ効果の増進又は適正な運動動作の習得を得られるようにすることにある。
即ち、本発明の目的は、特に人間の運動が正しく行われているか否かを判断するのに適した画像処理システム及び画像処理方法を提供することにある。
【課題を解決するための手段】
【0012】
本発明は、『トレッドミルと、前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、からなる画像処理システムであって、前記画像処理装置は、利用者の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示する画像処理システム。』を最も主要な特徴とするものである。
【0013】
本発明の画像処理システムは、さらに、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発する音響装置をさらに備えていることが望ましい。
【0014】
さらに、本発明の画像処理システムは、より好ましくは、前記画像処理装置は、前記反転動画データが半身分の動画データであって、現在の動画データの軸足ではない側の足の動きに重ね合わせることを特徴とする。
また、本発明は、前記画像処理装置が利用者の過去の動画データ又は現在の動画データを色分けしてモニタに表示するものであったり、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告をモニタに表示するものであってもよい。
前記画像処理装置は、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データをモニタに表示するものであってもよい。
【0015】
前記画像処理装置は、利用者の運動を撮影したオリジナル動画データから、左足軸歩行又は右足軸歩行の開始時から終了時までの動画データを得る際に、オリジナル動画データを構成する画像データについて、利用者の足首付近の肌の露出部分を解析し、一方の足の露出部分が最下点位置となったときをその足を軸とする歩行の開始時とし、その足を軸とする歩行の終了時を他方の足の露出部分が最下点位置となったときとしているものであってもよい。
【0016】
本発明は、左足軸歩行の開始時から終了時までの所用時間と、右足軸歩行の開始時から終了時までの所用時間との差が許容される範囲を超えている場合には、利用者に警告を発する画像処理システムであってもよい。
さらに、本発明の前記画像処理装置は、遠隔地にある電子計算機と接続することで、当該電子計算機に対して重畳動画データを送信したり、当該電子計算機からの画像データをモニタに表示したり、利用者に対する音声メッセージを伝達できるものであってもよい。
【0017】
本発明は、トレッドミルと、前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、からなる画像処理システムにおける画像処理方法であって、前記画像処理装置によって、利用者の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示する画像処理方法を含むものである。
【0018】
本発明の画像処理方法において、前記画像処理システムが音響装置をさらに備えており、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発するものであってもよい。また、本発明の画像処理方法において、前記画像処理装置による反転動画データと他方の動画データとを重ね合わせは、色分けされて行われるものであってもよく、前記画像処理装置は、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告をモニタに表示するものであってもよい。
本発明の画像処理方法において、前記画像処理装置は、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データをモニタに表示するものであってもよい。
さらに、本発明は、上記の画像処理方法を電子計算機で実行するためのプログラムを含むものである。
【発明の効果】
【0019】
上記構成を採用したことにより、本発明の画像処理システム、画像処理方法及びその画像処理方法を電子計算機で実行するためのプログラムは、トレッドミルを活用することで、場所をとらず、繰り返し歩いたり走ったりする運動を行うことができ、モニタに表示される重畳動画データを見ながら利用者自身の現在の運動の様子を直接的にリアルタイムで比較し正確に確認しながら運動を行うことができる。
また、トレッドミル上の利用者画像のサイズ及び位置はほぼ一定であるため、画像処理の正確性及び処理速度が高められるという効果を奏する。
【0020】
さらに、前記画像処理装置によって前記反転動画データの半身分の動画データを重ね合わせることで、比較対象を絞り込んでモニタ上に表示することができ、表示される画像が見やすく、かつ、処理速度もより一層向上するという効果を得られる。
また、歩行リズムをチェックするためのガイド音を発する音響装置を備えている場合には、このガイド音に合わせて歩行することで、利用者が自分の歩行のリズムが正しいか否かを耳から聞こえるガイド音からも把握することができ、正しい歩行を習得する訓練としての効果を高めることができるとともに、音楽を聴きながら利用者が楽しく歩行訓練を行うことができる。
従って、この場合においては、利用者がモチベーションを高く維持しつつ歩行訓練を行うことができる。
また、前記画像処理装置が利用者の過去の動画データ又は現在の動画データを色分けしてモニタに表示するものである場合には、運動の比較を視覚的により一層明確かつ迅速に行うことができる。
【0021】
本発明において、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告がモニタに表示される場合には、利用者による運動範囲の適否を簡単に知ることができる。
さらに、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データがモニタに表示される場合には、運動の適否を正確に知ることができるばかりか、運動を継続するモチベーションを高めることもできる。
【0022】
本発明において、前記画像処理装置が、利用者の足首付近の肌の露出部分を解析し、足の露出部分が最下点位置となったときを基準として歩行の開始時と終了時を判断する場合には、利用者に特別のマーカーを付したり装着したりすることなく、動画データの重ね合わせが可能となり、手軽に本発明の画像処理システムを用いることができる。
【0023】
本発明において、左足軸歩行の開始時から終了時までの所用時間と、右足軸歩行の開始時から終了時までの所用時間との差が許容される範囲を超えている場合に、利用者に警告を発するようにすれば、利用者による運動リズムの適否を簡単に知ることができる。
さらに、本発明において、遠隔地にある電子計算機と接続することで、当該電子計算機に対して重畳動画データを送信したり、当該電子計算機からの画像データをモニタに表示したり、利用者に対する音声メッセージを伝達できるようにすれば、画像処理システムを自宅において遠隔地から指導医やインストラクターの指示を受けて運動を行うことができる。
【0024】
本発明の画像処理システム、画像処理方法及びその画像処理方法を電子計算機で実行するためのプログラムを、リハビリを行う利用者について用いた場合には、本人の健常側の動きを対称として比較するので、身体的特徴が同じであるために参考にしやすいものとなる。また、画像処理を用いて重ね合わせて表示するためにどのように動きが異なっているか、どのように体を動かせばいいのかが分かりやすいという効果を奏する。
さらに、本発明は、トレッドミルを使用することにより、利用者が歩行状態を確認しながら長時間歩行することが可能となるため、半身麻痺又は義足の利用者について、よりリハビリテーションの効果を得ることができる。またトレッドミルを使用することにより画像処理にかかる時間が減少し、運動の状態を直接的にリアルタイムで比較しながらリハビリテーションを行うことができる。
【図面の簡単な説明】
【0025】
【図1】本発明の画像処理システムを示す斜視図。
【図2】本発明の画像処理システムの概要を示す概念図。
【図3】本発明の画像処理システムのモニタ画面を示す図。
【図4】本発明の画像処理システムによるオリジナル動画データとその各画像データ(フレーム)についての画像処理の様子を示す図。
【図5】本発明の画像処理システムのモニタに表示される画像が生成される様子を示す図。
【図6】本発明の画像処理システムのモニタに表示される画像が生成される様子を示す図。
【図7】本発明の画像処理システムのモニタに表示される画像を示す図。
【図8】本発明の画像処理方法による画像処理の過程を示すフロー図。
【図9】利用者が歩行訓練をする際における左右の足の接地時刻と立脚時間を示す図。
【図10】本発明の画像処理システムのモニタに表示される画像を示す図。
【図11】本発明の画像処理システムの運転モードを選択するためのモニタ上の表示を示す図。
【発明を実施するための形態】
【0026】
本発明は、トレッドミルと、前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、からなる画像処理システムであって、前記画像処理装置は、利用者の過去の運動を(参照画像として)撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示する画像処理システム、画像処理方法及びその画像処理方法を電子計算機で実行するためのプログラムである。
【0027】
次に、本発明の画像処理システム及び画像処理方法を、歩容リハビリテーション支援のために具体化した一実施形態について図に従って説明する。
本発明の一実施形態の画像処理システムは、図1及び図2に示すように、画像処理装置として機能する電子計算機1と、撮影装置(ビデオカメラ)2と、モニタ3と、前記撮影装置2及びモニタ3の前方に設置されたトレッドミル4とから構成されている。
この撮影装置2を設置する位置としては、トレッドミル4の前方であって、床面からの高さが80〜100cm程度の位置が好ましい。
また、前記モニタ3としては、家庭で毎日行うリハビリテーションの場合には、家庭に設置してあるTVを使用することが好ましいが、電子計算機(パソコン)用のモニタであってもよい。
【0028】
前記電子計算機1は、本発明を具体化して実施するための電子計算機用プログラムを備えており、撮影装置2から提供される動画データに基づいて画像処理を行うものであって、その画像処理結果R、評価データE、歩数N及び経過時間(残り時間)Tなどの各種情報をモニタ3に表示し、利用者5がそれらの情報を見ながらトレッドミル4上にて歩行(運動)を繰り返し行うことができるようになっている。
【0029】
ここで、前記画像処理結果Rとしては、利用者による直前の運動を撮影したオリジナル動画データを参照画像としてその比較対象部分の左右を反転させた反転動画データを、現在行われている運動を撮影したオリジナル動画データと重ね合わせた重畳動画データを好適に用いることができる。
これは、以下の理由から採用されるものである。
健常者による歩行運動は、体の左右で同じ動きをしており、体の左右で同じタイミングで同じ動きをすることが正常な歩行であるといえる(図4(A)の画像フレーム参照)。即ち、健常者による歩行運動は、右足軸の歩行と、左足軸の歩行とが、体の左右で対称の動きとなっている。
【0030】
一方、片麻痺を抱える人の歩行は、片側の動き(例えば右足軸の歩行)は麻痺の影響が少なく問題のない動きとなっているが、逆側の動きは(例えば左足軸の歩行)は、片麻痺の影響で悪い動きになっている。片麻痺の歩行は問題のない動きと悪い動きが交互に現れるため、悪い動きの直前の問題のない動きを参考の動きとして、反転して重ね合わせて表示することで動きの差異を認識させることができ、リハビリテーションの効果が表れる(図4(B)の画像フレーム参照)。
また、片麻痺を抱える人の歩行は、右足軸での歩行と左足軸での歩行に要する時間に狂いが生じることがある。
【0031】
このように、リハビリを行う本人の健常側の動きを対称として比較するので、身体的特徴が同じであるために参考にしやすい。また、画像処理を用いて重ね合わせて表示するためにどのように動きが異なっているか、どのように体を動かせばいいのかが分かりやすいという効果を得られる。
【0032】
この一実施形態における評価データEとは、利用者5の運動を撮影したオリジナル動画データの比較対象部分を反転させた反転動画データと、オリジナル動画データとの重なり合う度合いを示すものであって、一実施形態としては、数値データ(デジタル表示)を用いているが、棒グラフ、折れ線グラフ、メーターのような形態でのアナログ表示を用いてもよい。
この評価データEは、画像の一致率が高い場合に加算され、一致率が低下した場合に減算されることで、リアルタイムで歩行の状態の善し悪しを評価して利用者5に表示できるものである。
【0033】
前記重畳データを得るための画像処理は、以下のような手順で行われる。
即ち、前記画像処理装置としての電子計算機1は、まず、利用者の運動を撮影したオリジナル動画データから、左足軸歩行又は右足軸歩行の開始時から終了時までの動画データを抽出する。
ここで、何れの軸足による運動を基準とするかは、好適には予め利用者が選択するものであり、右足軸歩行が正常であれば、右足軸歩行を選択し、その動画データを基準とするように、電子計算機1にて指定する。
そして、その選択された正しい動作となっている右足軸歩行の動画データを反転させた反転動画データを生成する(図4(B)参照)。
【0034】
次に、利用者5による右足軸歩行の開始時から終了時までの動画データからなる右足軸歩行動画データの開始時と、現在の歩行の様子を示す左足軸歩行の開始時のオリジナル動画データの開始時とを一致させることで、両データのタイミングを合わせ、対応する動画データの各画像同士を重ね合わせ、全身の重畳動画データを得る(図5(B)参照)。
この重畳動画データにおいては、利用者5の反転動画データの画像データと、現在の歩行の様子を示すオリジナル動画データの画像データとが一致していない部分については、反転動画データの画像データ部分は、モニタ3上にて青色にて表示し、オリジナル動画データの画像データ部分はモニタ3上にて赤色にて色分け表示するようにするとよい(図5(C)参照)。
なお、上記においては、反転動画データと、現在のオリジナル動画データとの一致していない部分について、反転動画データを青色で、オリジナル動画データを赤色で表示する方法を採用したが、その一方のみ、特に反転動画は正しい動きであるので、現在のオリジナル動画と対応する運動を直すという意味から、現在のオリジナル動画の一致していない部分のみをモニタ3上で赤色にて表示するというような表示方法を採用してもよい。
【0035】
なお、この重畳動画データにおいては、特に利用者5の肌が露出している部分(肌色の部分)のみを別途認識し、その部分について、反転動画データの画像データと、現在の歩行の様子を示すオリジナル動画データの画像データとが一致している部分は、白色にて表示するようにしてもよい。
そして、両動画データ中の画像データが一致していない部分については、反転動画データの画像データ部分は青色にて表示し、オリジナル動画データの画像データ部分は赤色にて色分け表示する。
【0036】
即ち、重畳動画データは、利用者5による現在の歩行の様子を示す動画データ(例えば左足軸歩行の動画データ)と、その一歩前に行われた歩行の様子を示す動画データ(この場合右足軸歩行の動画データ)とから生成されるものであって、何れか一方の動画データを反転することで現在の歩行の状態の善し悪しを判断できるようにするものである。
従って、正しい歩行の状態と、悪い歩行の状態との対比を直接的にリアルタイムで簡単に見比べながら歩行運動を続けることができ、高いリハビリ効果を効率よく得ることができる。
さらに、肌色の部分を認識するようにすれば、体の特定の位置を画像処理装置が認識できるようにするために特別のマーカーを運動前に装着する必要が無くなり、手軽に本発明の画像処理システムを活用することができる。
【0037】
前記画像処理装置としての電子計算機1は、利用者5の運動を撮影したオリジナル動画データ(例えば、1秒間に30個の画像フレームを含む動画データ。)から、右足軸歩行の開始時から終了時までの画像データと、左足軸歩行の開始時から終了時までの画像データとをそれぞれ抽出する際に、オリジナル動画データを構成する画像データについて、利用者5の足首付近の露出部分(即ち、画像上で肌色の部分)を解析し、その露出部分が最下点位置にあるときをその足を軸とする歩行の開始時とし、その足を軸とする歩行の終了時を他方の足の露出部分が最下点位置となったときとしている(図9参照)。
【0038】
さらに、前記図5(B)(C)に示す例においては、全身の重畳動画データを得てモニタ3上に表示するようにしたが、図6(B)(C)に示すように、利用者5の正常な歩行を示すオリジナル動画データの反転された半身分(例えば左側)の反転動画データのみを現在の歩行の様子を示すオリジナル動画データと重ね合わせ、重畳動画データを得るようにしてもよい。
【0039】
上記本発明の画像処理装置としての電子計算機1を用いた画像処理システムによるデータ処理方法の概略について、図8に従って説明する。
前記電子計算機1は、撮影装置2によって利用者5の歩行の様子を正面から撮影し、オリジナル動画データを得る(ステップS1)。
次に、前記電子計算機1は、オリジナル動画データを構成する画像データについて、利用者の足首付近の露出部分を解析することで、右足軸歩行の開始時から終了時までの画像データを得て、その各画像データの左右を反転させた反転動画データを得る(ステップS2)。
【0040】
次に、前記電子計算機1は、右足軸歩行の反転動画データと、左足軸歩行のオリジナル動画データとを重ね合わせる(ステップS3)。
そして、前記電子計算機1は、重ね合わされた動画データを解析し、重なっていない部分を色分けしてモニタ3上に表示する(ステップS4)。
さらに、前記電子計算機1は、右足軸歩行の反転動画データと、左足軸歩行のオリジナル動画データにおける画像の一致具合を数値化して評価データE、経過時間T、歩数Nとともにモニタ3に表示する。
【0041】
ここで、電子計算機1をインターネットIに接続することで、遠隔地にある電子計算機6と接続することで、遠隔地から指導医の画像Dをモニタ3上に表示し、スピーカ7から指導医の利用者5に対する指導メッセージを伝えながらリハビリの指導を行うこともできる。
【0042】
さらに、本発明の一実施形態の画像処理システムは、その画像処理のモードを変更することで、利用者5の運動が許容される範囲を超えて行われた場合に、利用者5に対する警告をモニタ3上に表示するようにすることもできる。
この警告の例としては、「頭が左に振れています。頭をあまり動かさないようにしましょう。」、「右足が外に振れています。外に振れないように意識しましょう。」といったモニタ3画面上の表示又はスピーカ7からの音声が考えられる。
これは、利用者の肌が露出している部分(顔及び接地付近の足)を特に認識することで、例えば、利用者5の右足8が図7(A)に示す適正位置より例えば10cm程度以上外方にはみ出した場合、利用者5に対する警告をモニタ3上に表示するようにするものである。
【0043】
このモニタ3上への警告の表示は、モニタ3画面上に表示されている利用者5の体の右側又は左側の画面(ゾーンZ1,Z2)の一方を、例えばゾーンZ1を薄い青色から薄い赤色の表示に変更することで、利用者5の体の右側に悪い動きが発生したことを簡単かつ明瞭に示すことができる(図7(B)参照)。
前記のモニタ3上への表示に加え、スピーカ7又は電子計算機1から警告音を発することで、利用者5は、視覚的及び聴覚的にも体の悪い動きの存在を知ることができる。
【0044】
さらに、本発明の一実施形態の画像処理システムにおいては、利用者の肌が露出している部分を特に認識することで、利用者5の顔面9が許容される範囲を超えて動いた場合、即ち、体幹に大きな傾きが生じた場合に、モニタ3上の画面(ゾーンZ3,Z4)の色を変更し、利用者5に警告を表示するようにしてもよい。
例えば、図7(C)に示すように利用者5の腰の部分の幅(約40cm程度)の両側にゾーンZ3,Z4を設定し、図7(D)に示すように利用者5の顔面9が腰の部分の幅(約40cm程度)より左に動いた場合に、モニタ3上のゾーンZ4の色を薄い青色から薄い赤色に変更することが考えられる。
【0045】
同様に、利用者5の腕が許容される範囲を超えて動いた場合に、モニタ3上の画面の色を変更し、利用者5に警告を表示するようにしてもよい。
さらに、電子計算機1は、画像処理の結果、利用者5による右足軸歩行の開始時から終了時までの所用時間と、左足軸歩行の開始時から終了時までの所用時間との差が許容される範囲を超えている場合には、スピーカ7又は電子計算機1から利用者5に警告音を発するようにしたり、モニタ3画面上にその旨の警告を表示するようにしてもよい。
逆に、利用者5の体の左右の動作が正しく一致している場合、及び、右足軸歩行と左足軸歩行の所用時間の差が許容範囲内である場合には、「綺麗に歩けています。この調子で頑張って下さい」という表示をモニタ3画面上に表示したり、スピーカ7から音声でその旨を知らせるようにしてもよい。
【0046】
上記にて説明したとおり、本発明においては、特に人間の歩く(競歩のような早歩きを含む)、走るといった運動が正しく行われているか否かを判断するのに適した画像処理システム及び画像処理方法を提供することができるものであり、人の歩行バランスの適否又は運動の正確性などを直接的にリアルタイムで見て確認しながら歩行したり運動を行うようにすることで、歩容リハビリテーション支援又はスポーツのトレーニングなどにも適した画像処理システム及び画像処理方法を提供できるものである。
【0047】
次に、本発明の画像処理システム及び画像処理方法を、歩容リハビリテーション支援のために具体化した他の一実施形態について図9及び図10に従って説明する。
なお、図9は、利用者5が歩行訓練をする際における左右の足の接地時刻と、各足による立脚時間を示す図であって、Y軸の値は、足の肌の露出部分の下端位置と対応するピクセルの位置を示す。そして、図10に示すように、撮影装置2による撮影画像の下端位置と対応するピクセルの位置の値が320であり、撮影装置2による撮影画像の上端位置と対応するピクセルの位置の値が0となっている。
【0048】
この画像処理システムは、前記実施形態の画像処理システムにおいて、さらに、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を音響装置としてのスピーカ7から発するようにしている。
「歩行リズムをチェックするためのガイド音」としては、童謡、簡単なメロディーなどといった利用者5に馴染みのある音楽を構成する音であって、歩行の際における一定のテンポ又はタイミングを把握することが容易な音であることが望ましい。
具体的には、一実施形態の画像処理システムにおいては、左足軸の運動及び右足軸の運動の開始時を電子計算機1のプラグラムが判断し、左足軸の運動及び右足軸の運動の開始時と合わせて童謡(例えば「かえるの歌」の音楽)を構成する音を利用者5に聞こえるようにスピーカ7から一音づつガイド音として順次発することで、利用者5に歩行リズムが適正であるか否かを指摘できるようになっている。
【0049】
さらに、この一実施形態においては、左足及び右足による歩行のリズム(図10に示すように、モニタ3画面上では画像フレーム数として各足による立脚時間が表示されるようになっている。)が正しい場合には、100点をモニタ3画面上に表示し、30分の1秒ズレるごとに5点減点した点数を評価データEとしてモニタ3画面上に表示することで、歩行リズムの正確さをハッキリと認識できるようにしている。
さらに、右足による歩行に要した画像フレーム数と、左足による歩行に要した画像フレーム数が一致した場合には、モニタ3画面上に設けたリズム判定表示部10の右側を白く光らせ、右足による歩行に要した画像フレーム数と、左足による歩行に要した画像フレーム数が一致していない場合には、モニタ3画面上に設けたリズム判定表示部10の左側を赤く光らせて歩行の状態を利用者5が視覚的に容易に確認できるようにしている。
【0050】
このガイド音に合わせて歩行することで、利用者5が自分の歩行のリズムが正しいか否かを、耳から聞こえるガイド音が正しいメロディーとなっているか否かによって把握することができ、正しい歩行を習得する訓練としての効果を高めることができるとともに、音楽を聴きながら利用者5が楽しく歩行訓練を行うことができるる。
即ち、この一実施形態においては、歩行によって得られる音楽に合わせて利用者5がモチベーションを高く維持しつつ歩行訓練を行うことができる。
【0051】
この一実施形態の画像処理システム及び画像処理方法によって歩行リズムを指摘した歩行訓練を行った場合と、歩行リズムを指摘しないで無意識に歩行訓練を行った場合の結果について以下の表に示す。
【0052】
【表1】
【0053】
上記の結果から、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発する音響装置(スピーカ7)を採用して利用者5に歩行リズムを耳からも指摘することで、正しい歩行リズムの習得が容易となるばかりか、歩行訓練に対する利用者5のモチベーションを高く維持することができることが確認された。
【0054】
さらに、本発明においては、複数台の撮影装置(ビデオカメラ)2を異なる高さ又は異なる位置に設置し、利用者5の足の位置や状態をより正確に表示したり判定できるようにして実施したり、部分的な拡大画像を別途モニタ3上に表示できるようにして実施したり、特定の波長域の光線を識別可能な撮影装置を用いて利用者5の運動を把握できるようにしたり、利用者5の体温変化などを把握できるようにして実施し、指導医による利用者5の健康状態を的確に判断して適正な範囲でリハビリを行えるようにして実施することも可能であり、かかる場合も本発明の範囲に含まれるものである。
【0055】
本発明は、上記実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更して実施することが可能であり、例えば、画像処理装置として機能する電子計算機1にてトレッドミル4の運転速度を変更したり、トレッドミル4の運転を停止させたりできるようにしたり、モニタ3画面上に運転モード切替の意思確認のメッセージを表示するとともに、意思決定や運転のモード選択のための表示を行い、モニタ3画面上のその表示部分に手を触れるようにすることで、運転モードを切り換えたり、運転を停止させたりするようにすることも可能である。
【0056】
前記運転モード切替の意思確認のメッセージとしては、例えば、「実施したいメニューに手をかざしてください」が考えられる。
意思決定や運転モードの選択のための表示としては、例えば以下のようなものが考えられる。
1)重畳動画データにて図5及び図6に示すような歩行運動の状態を判断したい場合には、「歩行」の文字をモニタ3上に表示する。
2)図7(A)(B)に示すようにモニタ3画面上にゾーンを設定し、右足の外方への悪い動きを判断したい場合には、「右足」の文字をモニタ3上に表示する。
3)図7(C)(D)に示すようにモニタ3画面上にゾーンを設定し体幹(顔面)の傾きを判断したい場合には、「体幹」の文字をモニタ3上に表示する(図11参照)。
【0057】
また、電子計算機1にて適度な歩行のピッチ(ペース)を利用者5に示すように、利用者5の実際の歩行の状態とは関係なく、スピーカから一定間隔でビープ音又はリズムを発するようにして実施してもよい。
本発明は、図10に示すように手すり4aを備えたトレッドミル4を用いて実施したり、合成画像を利用したゲームなどへの応用も可能である。
さらに、利用者5が病気(片麻痺)に掛かる前の動画データが存する場合には、画像処理装置によって、それをオリジナル動画データ(健常時の正しい運動を示す参照画像)として用い(そのままの動画データ又は左右を反転させた動画データの何れをも参照画像とすることが可能)、現在の運動の様子を示す動画データ(そのままの動画データ又は左右を反転させた動画データ)と重ね合わせてモニタ3上に表示するようにしても、良好なリハビリテーション効果を得ることができる。
【産業上の利用可能性】
【0058】
本発明は、半身麻痺又は義足の利用者についての歩容リハビリテーション支援又は運動のトレーニングに適した画像処理システム、画像処理方法及びその画像処理方法を電子計算機で実行するためのプログラムとして、さらには、体を動かして行うゲームにおいて利用することも可能である。
【符号の説明】
【0059】
1 電子計算機(画像処理装置)
2 撮影装置
3 モニタ(TV)
4 トレッドミル
4a 手すり
5 利用者
6 電子計算機
7 スピーカ(音響装置)
8 右足
9 顔面
10 リズム判定表示部
I インターネット
D 指導医の画像
E 評価データ
N 歩数
S1〜S6 ステップ
T 経過時間(残り時間)
Z1〜Z4 ゾーン
【特許請求の範囲】
【請求項1】
トレッドミルと、
前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、
前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、
前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、
からなる画像処理システムであって、
前記画像処理装置は、利用者の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、
他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示するものであることを特徴とする画像処理システム。
【請求項2】
左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発する音響装置をさらに備えていることを特徴とする請求項1に記載の画像処理システム。
【請求項3】
前記画像処理装置は、前記反転動画データが半身分の動画データであって、現在の動画データの軸足ではない側の足の動きに重ね合わせることを特徴とする請求項1又は2に記載の画像処理システム。
【請求項4】
前記画像処理装置は、利用者の過去の動画データ又は現在の動画データを色分けしてモニタに表示するものであることを特徴とする請求項1ないし3の何れか一項に記載の画像処理システム。
【請求項5】
前記画像処理装置は、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告をモニタに表示することを特徴とする請求項1ないし4の何れか一項に記載の画像処理システム。
【請求項6】
前記画像処理装置は、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データをモニタに表示することを特徴とする請求項1ないし5の何れか一項に記載の画像処理システム。
【請求項7】
前記画像処理装置は、
利用者の運動を撮影したオリジナル動画データから、左足軸歩行又は右足軸歩行の開始時から終了時までの動画データを得る際に、
オリジナル動画データを構成する画像データについて、利用者の足首付近の肌の露出部分を解析し、一方の足の露出部分が最下点位置となったときをその足を軸とする歩行の開始時とし、その足を軸とする歩行の終了時を他方の足の露出部分が最下点位置となったときとしていることを特徴とする請求項6に記載の画像処理システム。
【請求項8】
左足軸歩行の開始時から終了時までの所用時間と、右足軸歩行の開始時から終了時までの所用時間との差が許容される範囲を超えている場合には、利用者に警告を発するものであることを特徴とする請求項1ないし7の何れか一項に記載の画像処理システム。
【請求項9】
前記画像処理装置は、遠隔地にある電子計算機と接続することで、当該電子計算機に対して重畳動画データを送信したり、当該電子計算機からの画像データをモニタに表示したり、利用者に対する音声メッセージを伝達できるものであることを特徴とする請求項1ないし8の何れか一項に記載の画像処理システム。
【請求項10】
トレッドミルと、
前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、
前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、
前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、
からなる画像処理システムにおける画像処理方法であって、
前記画像処理装置によって、利用者の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、
他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示することを特徴とする画像処理方法。
【請求項11】
前記画像処理システムが音響装置をさらに備えており、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発することを特徴とする請求項10に記載の画像処理方法。
【請求項12】
前記画像処理装置による反転動画データと他方の動画データとを重ね合わせは、色分けされて行われるものであることを特徴とする請求項10又は11に記載の画像処理方法。
【請求項13】
前記画像処理装置は、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告をモニタに表示するものであることを特徴とする請求項10ないし12の何れか一項に記載の画像処理方法。
【請求項14】
前記画像処理装置は、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データをモニタに表示するものであることを特徴とする請求項10ないし13の何れか一項に記載の画像処理方法。
【請求項15】
請求項10ないし14の何れか一項に記載の画像処理方法を電子計算機で実行するためのプログラム。
【請求項1】
トレッドミルと、
前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、
前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、
前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、
からなる画像処理システムであって、
前記画像処理装置は、利用者の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、
他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示するものであることを特徴とする画像処理システム。
【請求項2】
左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発する音響装置をさらに備えていることを特徴とする請求項1に記載の画像処理システム。
【請求項3】
前記画像処理装置は、前記反転動画データが半身分の動画データであって、現在の動画データの軸足ではない側の足の動きに重ね合わせることを特徴とする請求項1又は2に記載の画像処理システム。
【請求項4】
前記画像処理装置は、利用者の過去の動画データ又は現在の動画データを色分けしてモニタに表示するものであることを特徴とする請求項1ないし3の何れか一項に記載の画像処理システム。
【請求項5】
前記画像処理装置は、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告をモニタに表示することを特徴とする請求項1ないし4の何れか一項に記載の画像処理システム。
【請求項6】
前記画像処理装置は、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データをモニタに表示することを特徴とする請求項1ないし5の何れか一項に記載の画像処理システム。
【請求項7】
前記画像処理装置は、
利用者の運動を撮影したオリジナル動画データから、左足軸歩行又は右足軸歩行の開始時から終了時までの動画データを得る際に、
オリジナル動画データを構成する画像データについて、利用者の足首付近の肌の露出部分を解析し、一方の足の露出部分が最下点位置となったときをその足を軸とする歩行の開始時とし、その足を軸とする歩行の終了時を他方の足の露出部分が最下点位置となったときとしていることを特徴とする請求項6に記載の画像処理システム。
【請求項8】
左足軸歩行の開始時から終了時までの所用時間と、右足軸歩行の開始時から終了時までの所用時間との差が許容される範囲を超えている場合には、利用者に警告を発するものであることを特徴とする請求項1ないし7の何れか一項に記載の画像処理システム。
【請求項9】
前記画像処理装置は、遠隔地にある電子計算機と接続することで、当該電子計算機に対して重畳動画データを送信したり、当該電子計算機からの画像データをモニタに表示したり、利用者に対する音声メッセージを伝達できるものであることを特徴とする請求項1ないし8の何れか一項に記載の画像処理システム。
【請求項10】
トレッドミルと、
前記トレッドミル上で行われる利用者の運動を撮影する撮影装置と、
前記撮影装置により得られた利用者の運動を示す動画データを処理する画像処理装置と、
前記画像処理装置により得られた画像処理結果を利用者が前記トレッドミル上にて見ることができるように表示するモニタと、
からなる画像処理システムにおける画像処理方法であって、
前記画像処理装置によって、利用者の過去の運動を撮影したオリジナル動画データから得られる左足軸の運動又は右足軸の運動の開始時から終了時までの動画データのうち、いずれか一方の軸足による動画データの左右を反転させた反転動画データと、
他方の軸足による運動の開始時から得られる現在の動画データとを重ね合わせた、重畳動画データをモニタに表示することを特徴とする画像処理方法。
【請求項11】
前記画像処理システムが音響装置をさらに備えており、左足軸の運動及び右足軸の運動の開始時と合わせて歩行リズムをチェックするためのガイド音を発することを特徴とする請求項10に記載の画像処理方法。
【請求項12】
前記画像処理装置による反転動画データと他方の動画データとを重ね合わせは、色分けされて行われるものであることを特徴とする請求項10又は11に記載の画像処理方法。
【請求項13】
前記画像処理装置は、利用者の運動が許容される範囲を超えて行われた場合に、利用者に対する警告をモニタに表示するものであることを特徴とする請求項10ないし12の何れか一項に記載の画像処理方法。
【請求項14】
前記画像処理装置は、前記反転動画データと、当該反転動画データと対応する他のオリジナル動画データとの重なり合う度合いを示す評価データをモニタに表示するものであることを特徴とする請求項10ないし13の何れか一項に記載の画像処理方法。
【請求項15】
請求項10ないし14の何れか一項に記載の画像処理方法を電子計算機で実行するためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−66696(P2013−66696A)
【公開日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願番号】特願2012−96994(P2012−96994)
【出願日】平成24年4月20日(2012.4.20)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成22年度、文部科学省、地域産学官連携科学技術振興施策、可能性試験(地域イノベーションクラスタープログラム(都市エリア型)岐阜県南部エリア)、産業技術力強化法第19条の適用を受ける特許出願
【出願人】(304019399)国立大学法人岐阜大学 (289)
【出願人】(511217315)アワーズ株式会社 (1)
【Fターム(参考)】
【公開日】平成25年4月18日(2013.4.18)
【国際特許分類】
【出願日】平成24年4月20日(2012.4.20)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成22年度、文部科学省、地域産学官連携科学技術振興施策、可能性試験(地域イノベーションクラスタープログラム(都市エリア型)岐阜県南部エリア)、産業技術力強化法第19条の適用を受ける特許出願
【出願人】(304019399)国立大学法人岐阜大学 (289)
【出願人】(511217315)アワーズ株式会社 (1)
【Fターム(参考)】
[ Back to top ]