視覚ジャーナルを介した記憶トレーニング
あるイベントの間にキャプチャされたイメージのシーケンスを見ることによって、認識能力を強化することができるシステムを開示する。例えば、本発明は、キャプチャされたイベントシーケンスを利用して、後天性脳損傷、またはアルツハイマー病などの神経変性疾患と診断された記憶の病気を有する患者の記憶の衰えを改善することができる。これらのイベントシーケンスを、ユーザ(例えば、本人)の視点でキャプチャすることができ、さらに第三者または他のモニタリング位置(例えば、車)からキャプチャすることもできる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視覚的ジャーナル(visual journal)を介した記憶トレーニングに関する。
【背景技術】
【0002】
人の記憶は当てにならないことが多い。例えば、多くの人は、自分がしようとしていたことをよく忘れ、以前にしたことについて詳細を思い出すことが難しいと思うことがしばしばある。もちろん、臨床的に診断された記憶障害(年を取ってから見つかるよりも生まれつきの方が重症である)を有する人にとっては、これらの問題は特に厄介である。このような障害の一例は、脳組織に持続的に影響を与える疾患により、または交通事故などの外傷的な事により生ずる後天性脳損傷である。別の例は、おそらく年配者により深刻であるが、回復の可能性がないような本質的に脳に損傷を与える疾病である、神経変性疾患である。おそらく、最も一般的な神経変性疾患はアルツハイマー病である。
【0003】
上述したように、人の記憶障害または記憶力の低下を生じる病気の2つの大きなカテゴリは、神経変性疾患と、後天性または外傷性の脳損傷である。今まで、医学的な進歩は、上述したカテゴリの病気のいずれかを治すことにおいて、非常にわずかな成功しか示していない。例えば、治療を助ける目的で外部メモリを使用する試みがなされてきた。しかしながら、これらの試みも、その成功は非常にわずかなものである。
【0004】
神経変性疾患は、脳機能が侵される病気を指す。特に、神経変性疾患は、脳内のニューロンの低下に起因することが多い。記憶機能を侵す、多くの神経変性の疾患および病気が知られている。アルツハイマー病およびレビー小体認知症(Lewy Body dementia)の2つが、特によく知られた神経系疾患である。最近の医学の進歩は、投薬によって、これら2つの疾患の治療においてある程度の成功をもたらしたが、これらの疾患および他の公知の認知症によって引き起こされる記憶障害に対処することを助ける、医学的治療は判明していない。
【0005】
最も一般的な後天性脳損傷の1つは、記憶を混乱させる病気である、健忘症である。健忘症は、例えば、外傷、疾患、およびドラッグ/アルコールの使用を含め、多数の原因によって引き起こされる可能性がある。さらに、健忘症は、例えば、中高年から高齢者に最も一般的な、一過性全健忘症など、自然に発生する可能性もある。不幸なことに、健忘症などの後天性脳損傷に有効な、効果的な医学的治療法はこれまでにない。むしろ、健忘症の治療は、その損傷の根本な原因に関することが多い。鎮静剤の使用、愛情、精神科治療、催眠、および禁欲(ドラッグ/アルコールに関係する場合)が今日の健忘症に対処する方法の例である。
【0006】
後天性脳損傷、神経変性疾患、老化の影響は一般的に、患者毎に非常に異なる。比較的中程度の形態では、目立った影響はほとんどないことがあり、おそらく、患者は、時々自分自身および過去を体系化できないことに苛立つであろう。より重度のレベルでは、患者は、ほとんど完全に思い出すことができないことに苦しむことがある。中程度から重度の記憶障害を有する患者は、牛乳を買うこと、または約束をすることや守ることなど、未来的な意志(例えば、展望的記憶(prospective memory))を思い出せないことがある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
展望的記憶の障害は、明らかに、日々の生活において自分自身の面倒を見る患者の能力に大きな影響を及ぼす。しかしながら、過去(例えば、回想的)記憶、特に、エピソードまたは自伝的記憶(autobiographical memory)(例えば、事実情報についての意味記憶とは対照的に、患者が行っていたことの記憶)の障害は、患者が実際の生活を送ることに関して特に重大な問題である。第1に、これは、ほとんど全ての将来の行動は過去の経験に基づくものであるので、自伝的記憶が損なわれると、現実的な日々の計画が非常に困難だからである。第2に、おそらくより重要であることには、過去の経験の記憶は、患者の「自己概念(self−concept)」に不可欠であるからである。例えば、共有の経験の記憶がなければ、職業的、社会的、または個人的な関係など、いかなる種類の関係であっても、関係を維持することが非常に困難である。これは、患者の自尊心にしばしば悪影響を及ぼし、患者の快適な暮らしに大きな影響を与える。
【課題を解決するための手段】
【0008】
以下に、本発明の一部の態様について基本的な理解を提供するために、本発明の簡単な概要を提示する。この概要は、本発明の広範囲に及ぶ概観ではない。本発明の主要な/不可欠な要素を特定にすること、または本発明の範囲を画定することを目的とはしていない。その唯一の目的は、本発明の一部の概念を、後に提示されるより詳細な説明の前置きとして簡単な形態で提示することである。
【0009】
本明細書において開示され、特許請求の範囲に記載される発明は、その一態様において、あるイベントの間にキャプチャされたイメージのシーケンスを見ることによって認識能力(cognitive ability)を高めることができるシステムを含む。例えば、本開示によって対処される1つの主要な問題は、キャプチャされたイベントシーケンスを用いて、後天性脳損傷またはアルツハイマー病等の神経変性疾患等の診断された記憶の病気を有する患者の記憶力の衰えを改善することである。同様に、システムを利用して、記憶機能、およびユーザが体験したイベントに関する詳細の回想を改善することができる。これらのイベントシーケンスを、ユーザ(例えば、本人)の視点、ならびに第三者または他のモニタリング位置(例えば、車のダッシュボードの上)からキャプチャすることができる。
【0010】
本発明のイベントイメージのキャプチャの概念は、人の1日の行動におけるイベント中に起こった情報を記録することを開示し、提言する。イメージキャプチャをトリガするために、本発明は、例えば、血圧、気分(mood)、体温、外部の温度、位置、動き、光、および時間ベースのメカニズムなどの生理センサーと環境センサーの使用を開示している。操作において、センサーメカニズムを介して収集された情報を使用して、イメージ(および、そのシーケンス)に注釈を付けることができる。これらの注釈を使用して、トレーニング、セラピー、回想などの過程においてイメージの位置を見つけることおよび再生することを改善することができる。
【0011】
本発明は、ユーザの日常の行動に関するイメージ(およびビデオ)のキャプチャを、効果的に提案および開示し、特に、1日の優れたジャーナル(Super−journal)、または1日(もしくは別の期間)に起こったイベントの優れたジャーナルを確立する。これは、特に、記憶能力が低下し、制限され、および/または悪化している患者を助けるものとして有用である。なぜなら、紙のジャーナルは、非常に面倒であるためである。
【0012】
本発明は、記憶能力を向上または改善するのに、ユーザが手で書かれたことに焦点を当てるのではなく、1日についての高品質のレンディションを使用することを開示する。記憶は、連想するように機能し、あるイベント(例えば、休暇)の単一のピクチャ、またはイベントの一部に関係するイメージもしくはビデオのシーケンスを示して、そのイベント(例えば、休暇)の全体の回想をトリガするような、連想的な方法で機能していることが理解されよう。したがって、本発明は、人が非常に限定的な記憶しかない場合であっても、受信したイメージに基づいて人に思い出させるための高い能力を有することができる。さらに、これらの結果を維持することができるため、記憶回想は使用に比例する。
【0013】
医療の状況において、本発明を、例えば、感情をあまり表すことができないことが多い自閉症のケースに使用することができる。言い換えると、感情の爆発を発生させているイベントを説明できないことがしばしばある。別の例では、本発明を、アンガーマネジメントの問題を有する人の行動をモニタリングするのに使用することができる。本発明を使用することによって、対象のビューをキャプチャするだけでなく、部屋の中または近接している他のビューをキャプチャすることができ、さらに状況の説明を助け、病気を患う人による回想を促すことができる。
【0014】
上述および関連する目的を達成するために、本明細書において、本発明のある例示的な態様を以下の説明および添付図面に関連して説明する。しかしながら、これらの態様は、本発明の原理を利用することができる様々な方法のほんの一部を示すものであり、本発明は、このような態様および均等物の全てを含むことが意図されている。本発明の他の利点および新規な特徴は、本発明の以下の詳細な説明を図面とともに検討することから明らかになるであろう。
【図面の簡単な説明】
【0015】
【図1】記憶機能トレーニングおよび/またはリハビリテーションにおいてイベントイメージシーケンスの利用を容易にする例示的なシステムを示す図である。
【図2】本発明の態様にかかるセンサーコンポーネントおよびイベント注釈コンポーネントを有する例示的なイベント記録コンポーネントのブロック図である。
【図3】本発明の態様にかかる生理センサーコンポーネントおよび環境センサーコンポーネントを有するイベントレコーダのブロック図である。
【図4】本発明の態様にかかるイベント解析コンポーネントおよびイベント再生コンポーネントを有する例示的な記憶回想コンポーネントの図である。
【図5】本発明の態様にかかるチャレンジ/レスポンスコンポーネントおよびユーザクエリコンポーネントを有する例示的なイベント解析コンポーネントの図である。
【図6】本発明の態様にかかる再生構成コンポーネントおよび再生フィルタリングコンポーネントを有する例示的なイベント再生コンポーネントの図である。
【図7】本発明の態様にかかる機能を自動化することができる機械学習および推論コンポーネントを含むアーキテクチャの図である。
【図8】本発明の態様にかかる、イメージシーケンスを見ることにより記憶機能を強化するか、リハビリテーションを行うことを容易にする手順の例示的なフローチャートである。
【図9】本発明の態様にかかる状況データ(例えば生理、環境)でイメージシーケンスに注釈を付けることを容易にする手順の例示的なフローチャートである。
【図10】本発明の態様にかかる、注釈を利用して、キャプチャされたイメージの再生を向上させることを容易にする手順の例示的なフローチャートである。
【図11】開示されたアーキテクチャを実行するように動作可能なコンピュータのブロック図である。
【図12】本発明にかかる例示的なコンピューティング環境の概略ブロック図である。
【発明を実施するための形態】
【0016】
本発明は、図面を参照して説明されるが、全体を通して、同様の参照符号を使用して同様の要素を示す。以下の記載では、説明のために、多数の特定の詳細が、本発明の完全な理解を提供するために説明される。しかしながら、本発明を、これら特定の詳細を用いることなく実施することができることは明らかであろう。他の例では、本発明の説明を容易にするために、周知の構造および装置がブロック図の形式で示される。
【0017】
本出願において使用される際、用語「コンポーネント」および「システム」は、コンピュータに関連するエンティティ、すなわち、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、または実行中のソフトウェアのいずれかを指すことが意図されている。例えば、コンポーネントは、これらに限られないが、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト、実行ファイル、実行スレッド、プログラム、および/またはコンピュータとすることができる。例として、サーバにおいて実行されるアプリケーションとサーバの両方を1つのコンポーネントとすることができる。1つまたは複数のコンポーネントを、1つのプロセスおよび/または実行スレッド内に存在させることができ、コンポーネントを、1つのコンピュータに局在化し、および/または2つもしくはそれ以上のコンピュータに分散させることができる。
【0018】
本明細書で使用される際、用語「推測する(infer)」または「推測(inference)」は、一般に、システム、環境、および/またはユーザの状態について、キャプチャされた観察結果のセット、イベント、および/またはデータから推論、または推測するプロセスを指す。例えば、推測を利用して特定の状況またはアクションを識別することができ、または、これにより状態の確率分布を生成することができる。推測は、確率論的、すなわち、データとイベントの考慮に基づいた、状態の確率分布の計算とすることができる。推測は、イベントおよび/またはデータのセットから高水準のイベントを構成するために利用される技術を指すこともある。推測により、イベントが時間的に近接して相関しているか否か、イベントならびにデータが1つまたは複数のイベントならびにデータソースからのものであるかどうかにかかわらず、観察されたイベントおよび/または格納されたイベントデータのセットから、新しいイベントまたはアクションを構成することができる。
【0019】
まず図面を参照すると、図1は、視覚キュー(cue)の使用を通じて記憶機能およびパフォーマンスを向上させるシステム100を図示している。図示されるように、一般に、システム100は、イベント記録コンポーネント102、および記憶回想(memory recollection)コンポーネント104を含む。動作では、イベント記録コンポーネント102は、ユーザの1日を通じて(または、他の特定の時間間隔)1からN個のイベントに関するイメージを自動的に記録することができる。1からN個のイベントは、個々にまたは集合的にイベント106と呼ぶことができることを理解されたい。
【0020】
より具体的な態様では、イベント記録コンポーネント102を利用して、何らかの認知症または後天性脳損傷を患うユーザに関係するイメージをキャプチャすることができる。キャプチャされるイベントの粒度(granularity)および頻度を、イベント記録コンポーネント102を介して、プログラムし、予めプログラムし、またはコンテキスト上トリガすることができる。例として、イベント記録コンポーネント102には、センサー(例えば、光センサー、位置センサー、動きセンサー)を備えることができ、これにより、指定された基準において変化が検出されると、イベント106のイメージがキャプチャされる。
【0021】
したがって、記憶回想コンポーネント104を利用して、キャプチャの期間(例えば、時刻、日、月)を通じてイベント106の回想(recall)を促すことができる。図示するために、記憶が、なんらかの連想的な方法で働くことが理解され認識されよう。例えば、人がアルバムまたはコンパクトディスクの音楽トラックの順番を思い出すことができないことは珍しいことではない。しかしながら、音楽トラックを聴くと、現在の音楽トラックに基づいてその後の音楽トラックを思い出すことができることがしばしばある。この回想は、脳が機能する連想方法によって引き起こされる。言い換えれば、あるトラックが終わると、記憶がトリガされて、人は、次のトラック、しばしばその後のトラックも思い出すことができる。
【0022】
本発明によれば、イメージシーケンスを見直すと、見る者は、回想への強い刺激(stimulus)を得ることができる。これは、見る者が、話したこと、食べたものなどのイメージに記録されていないことを含め、1日もしくはキャプチャの期間の詳細を思い出すであろうことを意味する。さらに、イメージのシーケンスを、適切なスケジュール(例えば、一連のイメージを2日毎に4回見る)に従って繰り返して見直す場合、この繰り返される回想刺激という行為によって、回想への能力が強化される可能性がある。その後、個人は、助けを受けず、例えば、イメージシーケンスを再び見なくとも、イベントの詳細を思い出すことがある。
【0023】
諸態様において、記憶回想は、例えば、静止イメージを、素早く連続して「スライドショーの形式」で示すことによって達成することができる。さらに、イメージを他のデータ、例えば、該イメージの時間において録音された周囲の音声または別の音声(サウンドトラックなど)とともに与えて、再生の視覚的な性質を補うことができる。
【0024】
同様に、これらイベントは、別の関連するイベントおよび情報の回想をトリガすることができる。さらなる例として、アルバムのトラックを聴くことは、アルバムの次のトラックをトリガするだけでなく、アーティストの名前、その作者による他の歌の回想もトリガすることができる。さらに、歌を聴くことは、外部のイベント、人々、場所などについての思考をトリガすることもできる。本質的に、この連想は、記憶トレーニングおよび記憶の強化に寄与することができる。
【0025】
図1を再び参照すると、上述した例のアルバムのトラックと同じように、イベント記録コンポーネント102は、イベント106の視覚的なイメージをキャプチャすることができる。これらのイメージを、記憶回想コンポーネント104を介してユーザにレンダリングすることができ、これにより、ユーザの生活の中で起こった、さらなるイベント106および詳細の回想を引き起こすことができる。諸態様において、記憶回想コンポーネント104は、第三者によって、イベント106に関係するキャプチャされたイメージを見直すのに使用され得る。同様に、ユーザ自身が、記憶回想およびトレーニングを助けるために、記憶回想コンポーネント104を利用することができる。
【0026】
イベント記録コンポーネント102は、人が経験するイベント106のデジタル記録を保持する装着型のイメージキャプチャ装置(例えば、カメラ)とすることができる。デバイス(102)の機能は、ユーザの介入を必要とせず、従って意識的な努力を必要とせずに、これらの記録を自動的にキャプチャすることである。しかしながら、他の態様では、イメージキャプチャは、ユーザ起動またはマシン起動(例えば、イベントレコーダの外のマシン生成された信号によって)とすることができる。
【0027】
上述したように、イベント記録コンポーネント102の背後にある論拠は、イベント106のデジタル記録をキャプチャすることであり、該デジタル記録は、その後(例えば、記憶回想コンポーネント104を介して)装着者によって、その記憶を刺激するために見直されることが可能である。このキャプチャされたデータを適切な定期的に見直すことにより、装着者自身の記憶の強化を助け、従ってイベント106の回想を助ける、強力なキューが生成される。
【0028】
さらに、イベント106の一部の情報のレビューは、さらなる詳細の回想を助けることができる。イベント106を記録/キャプチャし、レビューするのにシステム100を繰り返し使用することにより、一般に、装着者の記憶および認識能力に対して有益な効果を与えることができる。より具体的には、ある特定のスケジュールに従ってイベント記録コンポーネント102を使用することは、一般に、装着者を、認知症または老化の神経変性の影響から「予防する(inoculate)」ように作用することができる。
【0029】
さらに、本発明は、他のイメージキャプチャ装置が適切な共有権および近接性のあるデータを提供することができるように、該イメージキャプチャ装置からのデータの集約を意図し、開示している。オペレーションでは、一態様において、ユーザは、パーソナルイメージデータを格納するサービスに加入することができ、別個のイメージキャプチャ装置(または別個のイメージキャプチャ装置のグループ)からのデータでパーソナルデータを増補することができる。例えば、システムは、偶然に同一のイベント(例えば、全地球位置測定システム(GPS)または別のデータにより示されるような)を記憶した、任意の他のイメージキャプチャ装置を、パーソナルビューに追加することができるように、センサーデータの相関関係を促進することができる。
【0030】
本質的に、複数のイメージキャプチャ装置の効果によって、1つのシーンに対して複数のカメラを用いる場合と同様の表現(rendition)を作成することができる。しかしながら、原理的には、あるユーザは、長い間ある位置に興味がある可能性があり、したがって、ユーザは、常に、または指定された時間もしくは時間期間に、予め指定された場所または決められた場所にあるイメージキャプチャ装置からの全てのデータを見たい可能性もある。他の態様では、このイメージキャプチャデータを、ソーシャルネットワーク(例えば、「友達の友達」イメージキャプチャ装置)に接続することができる。したがって、これらの装置および/または関連する機能の使用を、例えば、データを共有することで価値ポイントを得ることなど、貨幣化スキーム(monetization scheme)に利用することができる。
【0031】
ここで図2を参照すると、イベント記録コンポーネント102のブロック図が示されている。図示されるように、イベント記録コンポーネント102は、センサーコンポーネント202と、イメージキャプチャを引き起こすこと、およびキャプチャされたイメージをインデックス化することを容易にする、オプションのイベント注釈コンポーネント204とを含む。本質的に、センサーコンポーネント202を使用して、イベント記録コンポーネント102からのイメージのキャプチャをトリガすることができる。
【0032】
オプションのイベント注釈コンポーネント204は、イメージストリームに注釈を付けること(または、タグを付けること)を容易にすることができる。この注釈は、容易な位置確認および再生のためのイメージのインデックスとして機能することができる。同様に、注釈は、イメージを他の状況的な基準(例えば、温度、時間、位置)関連付けることができる。理解されるように、オプションのイベント注釈は、記憶および回想のトレーニングに関するキャプチャされたイメージの有用性を向上させることができる。例えば、メタデータを使用して、イメージの周囲もしくはイメージに関係するイベント、条件、および状況に関する特定のイメージに注釈を付けることができる。このメタデータを使用して、記憶トレーニングおよび/または回想の管理に使用するためのイメージを見つけ、フィルタリングすることができる。
【0033】
図3を参照すると、センサーコンポーネント202は、生理(physiological)センサーおよび/または環境センサー(302、304)のいずれか一方または両方を含むことができる。オペレーションでは、これらセンサーを使用して、イメージキャプチャをトリガするとともに、イメージに注釈を付ける際に使用される情報およびデータを収集することができる。例えば、ある特定の閾値に達すると、あるイメージ、またはイメージのシーケンスを、自動的にキャプチャし、トリガする閾値に関係するデータを用いて注釈を付けることができる。
【0034】
一例において、イベント記録コンポーネント102は、心拍数、血圧、体温、血糖値、血中濃度/アルコール濃度などの生理学的な基準をモニタリングすることができる。動作中にあっては、ユーザまたは装着者の心拍数が、予め定められたレベルを超えると、イベント記録コンポーネントは、イメージのキャプチャを自動的に行うことができる。同様に、イベント注釈コンポーネント204を使用して、生理センサーに関係する特定のデータ(例えば、心拍数)によって、キャプチャされたイメージに注釈を付けることができる。この手法により、病状の原因となっているイベントを、より理解することができる。
【0035】
同様に、環境センサー304を使用して、イメージキャプチャをトリガし、注釈の基準を提供することができる。例えば、センサーを利用して、動き、位置、温度、明かりなどが変化すると、イメージキャプチャを自動的にトリガすることができる。これらの変化は、加速時計によってキャプチャされ得る比較的安定した期間の検出によって与えられることがある。イメージのキャプチャをトリガすることに加えて、これらの環境的な基準を使用して、再生および記憶トレーニングを助けるために、キャプチャされたイメージに注釈(またはインデックス)を付けることができる。
【0036】
この明細書によって対処される1つの主要な問題は、イベント記録コンポーネント102の適用によって、後天性脳損傷、またはアルツハイマー病等の神経変性疾患など、記憶の病気と診断された患者の記憶力の衰えを改善することである。本発明に関連して、いくつかの試験を、後天性脳損傷の患者(例えば、重度の健忘症を生じる辺縁系脳炎)および初期のアルツハイマー病の患者に実施した。その結果、記憶機能の向上が得られ、これにより、疾患および/または病気の影響が低減した。
【0037】
イベント記録コンポーネント102の値の多くは、年代順(chronological)の時間圧縮された、本人の性質についてのイメージデータであり、実際にこのデータは、意識的な努力または装着者の側の介入を全く必要とせずに収集される。さらに、イメージは、行われる活動を中断させることなくキャプチャされ、あるいは、イベントの過程において対話する人の中断によってキャプチャされることがある。
【0038】
イベント106(またはイベント106の一部)を記録するのにイベント記録コンポーネント102を使用するプロセスは、装着者の観点からは非常に容易なことである。言い換えると、装着者が行うべきことは、イベントの初め(例えば、1日の初め)にカメラを身につけて、スイッチを入れることを思い出す(または、決断する)ことだけある。上述したように、記録は、装着者側または装着者と対話する他の人々による、意識的な努力または介入を必要とせずになされ得る。例えば、イメージキャプチャを自動にすること、またはセンサー技術(上述したような)によって引き起こすことができる。同様に、粒度を、予め定めること、またはセンサー技術(302、304)を介して収集されるプリファレンスやデータに応じて定めることができる。
【0039】
装着者の視点からイメージシーケンスをキャプチャすることは、従来技術とは大きく異なり、複数の利点を有する。例えば、標準的なデジタルスチールカメラまたはビデオカメラの使用は、記録側において認識のためのオーバーヘッドを必要とする。すなわち、記録に維持するためにそれら自体を継続的に「動かない(out of the moment)」ようにしなければならない。また、これらの従来のシステムでは、記録プロセスは、しばしば人々を継続的に動かない状態にさせる他のものに対して可視である。また、イベント記録コンポーネント102により記録された定期的な静止イメージは、連続的なビデオよりプライバシーを侵害しない。さらに、後に見直すためにイベントの間の詳しい日記を書くことは、非常に不正確であり面倒であることは理解されよう。
【0040】
さらに、イベント記録コンポーネント102を介してキャプチャされたデータを見直すプロセスは、見る者にとって非常に楽しめるものである可能性がある。これは、非常に煩わしいと考えられる、書かれた日記を見直すこと、および非常に退屈であるとしばしば考えられるビデオまたは個々のデジタル静止イメージを見直すこととは対照的である。イベント記録コンポーネント102によってキャプチャされたイメージシーケンスは、イベントに関していくらかのストーリーを示し、見る者を魅了して、回想を引き起こすことが理解されよう。
【0041】
図4に移ると、イベント解析コンポーネント402およびイベント再生コンポーネント404を含む、記憶回想コンポーネント104のブロック図が示されている。本質的に、イベント解析コンポーネント402により実行される解析は、あるシーケンス内の複数のフレームについての単純な時間ベース/カウンタ解析から、複数のイメージおよび当該複数のイメージに関連する注釈についての包括的な解析までの範囲に及ぶ。簡単なシナリオでは、イベント解析コンポーネント402を利用して、キャプチャの所望の時間に基づいてイメージを探すことができる。
【0042】
例えば、記憶トレーニングのセッションが、ある日のキャプチャされたイベント内の特定のミーティングを対象とする場合、見る者はミーティングの時間を指定することができ、これにより、イベント解析コンポーネント402は、その日の中のシーケンス内のこのサブイベントの始まりを探すことができる。このサブイベントを使用して、完全なイベント(例えば、ミーティング)の記憶回想を引き起こすことができ、同様に、イメージシーケンス内でキャプチャされる必要のない詳細に関するさらなる回想を引き起こすことができる。その後、イベント再生コンポーネント404を使用して、記憶のトレーニング、回想、および/または強化の際に、見る者にイメージを表示することができる。
【0043】
上述したように、センサー技術を使用して、イメージキャプチャシーケンスに関連付けられた環境的および生理的な基準をキャプチャすることができる。例として、センサーを使用して、日時、周囲温度、外部雑音等をキャプチャすることができる。したがって、イベント解析コンポーネント402は、この情報をシーケンスから識別し、当該情報をイベント再生コンポーネント404に送信/転送することができる。その後、イベント再生コンポーネント404を利用して、回想を引き起こす際に助けとなるように、イベントの実際の環境を再現することができる。言い換えると、イベント再生コンポーネント404を使用して、回想およびトレーニングを強化するために、あるイベントの間に体験した周囲の温度および外部のノイズ(例えば、雷、電車、時計の鐘、システムをページングするオーバーヘッド)を再現することができる。
【0044】
データの再生イメージを、イベントの間に記録された他の環境データおよび生理データで強化すること(例えば注釈を付けること)により、さらなる治療上の効果が得られる。キャプチャされたデータの他の例は、(例えば、全地球測位システム(GPS)を通じた)位置である可能性があり、生理データは、心拍数などの心電図(ECG)データまたは皮膚コンダクタンスデータなどを含む可能性がある。補助的なデータおよび/または状況的なデータに関する特定の例を提供しているが、他の例も存在し、本明細書および特許請求の範囲の範囲内に含まれることは理解されたい。
【0045】
本質的には、実際の生活の再生のために使用される場合であっても、参照のために使用される場合であっても、上述した環境データおよび生理データなどの追加的なデータは、記録されたイメージシーケンスをセグメント化する際の助けとなり得る。このようなセグメント化は、特にイメージシーケンスの見直しに有効であるが、これは、見直しをより扱いやすいものとするからである。
【0046】
人間の記憶は、多くの専門家によって、別個の「チャンク」に格納されると考えられていることから、同様の手法でイメージシーケンスをチャンク化することは、本発明の有益な効果をより良く改善するであろうことが理解されよう。他の例では、チャンク化は、イベントの時間、タイプ、場所、対象などに基づくものとすることができる。本質的に、ほぼ全ての基準は、イメージシーケンスに関係するチャンクを定義するために使用され得る。チャンク化に使用されるメカニズムに関わらず、センサーデータを使用して(および、イメージデータを処理して)、より扱いやすいチャンクを生成するようにイメージシーケンスをセグメント化し、それにより患者が回想する能力を改善させる、特定の方法が存在する可能性があることを理解されたい。
【0047】
ここで図5を参照すると、例示的なイベント解析コンポーネント402のブロック図が示されている。一般に、イベント解析コンポーネント402は、チャレンジ/レスポンスコンポーネント502およびユーザクエリコンポーネント504を含むことができる。これらのコンポーネント(502、504)は、イベント解析コンポーネント402内に配置されるように示されているが、これらのコンポーネント(502、504)のそれぞれは、独立したコンポーネントであり、他方なしに存在することができる。
【0048】
操作において、イベント解析コンポーネント402は、注釈、ならびにパターン/イメージ認識技術を利用して、キャプチャされたイメージシーケンスを評価することができる。評価することで、チャンクまたはセグメントのインデックスを生成して、記憶トレーニングおよび強化を行わせるのに使用することができる。例えば、ユーザは、イベントシーケンスを介してキャプチャされた詳細について、システムに質問されることがあり、あるいはシステムに尋ねることができる。別の態様では、イメージシーケンスを手動でインデックス化することができることも理解されたい。
【0049】
チャレンジ/レスポンスコンポーネント502を使用して、あるイベント、または一連のイベントについて患者/見る者に自動的に質問することができる。例えば、自動化されたインデックス化が完了すると、システムは、ユーザに「オペラに行くのに使用した移動方法は何か?」など、詳細について質問する(すなわち、チャレンジ)ことができる。次に、患者/見る者は、適切な移動方法、例えば、電車、を返答するであろう。
【0050】
同様に、ユーザクエリコンポーネント504は、ユーザによって、イベントに関連する詳細を抽出するのに使用され得る。例えば、ユーザがオペラに行ったことを覚えているが、どのようにオペラ会場に着いたかを思い出せない場合、ユーザは、システムに照会して、電車に乗ったと究明することができる。徐々に、このチャレンジ/レスポンスおよびクエリシステムは、記憶および記憶回想機能を強化するために脳をトレーニングして「鍛える(working out)」ことを助けることができる。
【0051】
図6は、再生構成コンポーネント602および再生フィルタリンコンポーネント604を有する、イベント再生コンポーネント404のブロック図を示している。これらのコンポーネント(602、604)のそれぞれを使用して、例えば、記憶トレーニングおよび/またはセラピーの際にイメージシーケンスの再生を制御することができる。
【0052】
再生構成コンポーネント602は、あるイメージ、または一連のイメージの再生を、特定のデバイスまたはディスプレイデバイス用に構成することができる。一例では、再生構成コンポーネント602は、イメージデータを必要に応じて、携帯電話、スマートフォン、またはパーソナルデータアシスタント(PDA)などのポータブルデバイスでの表示用に修正することができる。同様に、本発明は、イメージデータを、デスクトップモニタ、ラップトップモニタ、またはテレビなどを介する表示用に構成することができる。
【0053】
フィルタリングコンポーネント604は、イベントシーケンスの一部分を、再生の前に自動的に編集し、または隠す(mask)ことができる。例えば、再生フィルタリンコンポーネント604は、例えば、浴室、シャワー室などのプライバシーが懸念される場所においてキャプチャされたイメージを隠すことができる。さらに、再生フィルタリンコンポーネント604は、記録する前または再生時においてイメージをフィルタリグするようにトレーニングされることが可能である。このトレーニングは、ルールベースとすることができ、または次の図7に示される機械学習および/または推論(MLR:machine learning and/or reasoning)コンポーネントによって達成されることが可能である。
【0054】
このような見る前(pre−view)または見た後(post−view)のフィルタリングによって、少なくとも2つの目的、すなわち、プライバシーとセラピーを達成することができる。上述したように、プライバシーが懸念されるため、プライバシーは、イメージをキャプチャする前に考慮される。センサー技術を、イメージがフィルタリングまたは隠されるべきであるかどうかを判断する際の助けとして使用することができる。
【0055】
同様に、セラピーの場合、システムは、記憶回想/トレーニングを引き起こす、または促進するために、イメージデータのセグメント(またはチャンク)を自動的にフィルタリングすることができる。このシナリオでは、システムは、特定の疾患、老化、損傷等に応じて、ある患者にとって困難であると統計的または歴史的に判断されたイベントの一部分を、自動的に隠すことができる。
【0056】
図7は、本発明にかかる、1つまたは複数の機能の自動化を容易にする機械学習および推論(MLR:machine learning and reasoning)コンポーネント702を使用するシステム700を図示している。(例えば、イメージキャプチャを引き起こすことに関して)本発明は、様々な態様を実行する様々なMLRベースのスキームを利用することができる。例えば、イベント記録コンポーネント102がキャプチャを開始することをいつトリガするか判断するプロセスは、自動分類(automatic classifier)システムおよびプロセスによって容易にされることがある。さらに、MLR技術を利用して、イベントおよび装着者に関係する、あるデータ(例えば、状況)に基づいて、イメージの再生を制御する(例えば、フィルタリング)ことができる。図示されるように、MLR機能を、イベント記録コンポーネント102および/または記憶回想コンポーネント104の一方(または両方)内に統合することができる。
【0057】
分類子(classifier)は、入力属性ベクトルx=(x1、x2、x3、x4、xn)を信頼度(confidence)にマッピングする関数であり、入力は1つのクラスに属する。すなわち、f(x)=confidence(class)である。このような分類は、確立および/または統計ベースの解析を(例えば、解析のユーティリティおよび/またはコストを考慮して)利用して、ユーザが自動的に実行されることを望むアクションを、予測または推論することができる。
【0058】
サポートベクトルマシン(SVM)が、利用され得る分類子の一例である。SVMは、可能な入力のスペースにおいて超曲面を見つけることにより動作し、超曲面は、トリガする基準をトリガしない基準から分けることを試みる。直観的に、これにより、トレーニングデータに近いが同一ではないテストデータが正しく分類される。他の有向モデルおよび無向モデルの分類方法は、例えば、ナイーブベイズ、ベイジアンネットワーク、決定木、ニューラルネットワーク、ファジー論理モデルを含み、独立の異なるパターンを提供する確立分類モデルを利用することができる。ここで使用されるような分類は、優先モデルを展開するのに使用される統計的回帰を含むものである。
【0059】
本明細書から、本発明は(一般的なトレーニングデータを介して)明示的に訓練され、(ユーザの振る舞いの観察、外部情報の受信を介して)潜在的に訓練された分類子を利用することができることが、容易に理解されるであろう。例えば、SVMは、分類子コンストラクタおよび特徴選択モジュール内の学習またはトレーニング段階を介して構成される。したがって、分類子を使用して、これらには限られないが、イメージのキャプチャをトリガするとき、イメージのキャプチャを禁止するとき、イメージを表示する方法、再生中にイメージを隠すとき、イメージをキャプチャする粒度(例えば、秒毎のフレーム数)など所定の基準に従って判断することを含め、多数の機能を自動的に学習して実行することができる。
【0060】
図8は、本発明の一態様にかかる、記憶をトレーニングする際にイベントイメージのシーケンスを利用する方法を示す。説明を簡単にするために、ここでは例としてフローチャートの形式で示されている1つまたは複数の方法を、一連のアクトとして示し、説明するが、一部のアクトは、本発明によるとここに示され説明されるものとは異なる順序で、および/または他のアクトと同時に起こり得るものであるため、本発明は、このようなアクトの順番によって限定されるものではないことを理解し、認識されたい。例えば、当業者は、方法を、状態図などの一連の相互関係のある状態またはイベントとして表すことができることを理解し、認識するであろう。さらに、図示される全てのアクトが、本発明にかかる方法を実施するのに必ずしも必要とされるわけではない。
【0061】
ステップ802において、イベントがモニタリングされる。ある例では、イベントは、時間の期間(例えば、時間、日、週、月、年)または特定の行動(例えば、友達と会う、仕事のミーティング、休暇、食料品店を訪れる)とすることができる。ほとんどの全ての時間期間または行動を、あるイベント、またはイベントのグループに定量化することができる。
【0062】
ステップ804において、イベントのイメージシーケンスがキャプチャされる。上述したように、イメージのキャプチャの粒度は、神経性の疾患、病気、および/または傷害の性質に基づくものとすることができる。したがって、粒度を、特有の疾患、病気、および/または傷害に基づいて装着者の生理的なおよび/または環境的な状況に応じて、予めプログラムし、または推論することができる。図8に点線で示されるように、代替的な例では、イベントを、(例えば、イベントシーケンスの形態で)再帰的にモニタリングし、キャプチャすることができる。言い換えると、キャプチャされたイメージの解析および/または使用を、任意の時間(例えば、イメージの全てまたは一部がキャプチャされた後)に行うことができる。
【0063】
ステップ806において、記憶回想を、シーケンス(またはシーケンスの一部分)を見ることによって引き起こすことができる。言い換えると、上述されるように、イメージシーケンスを見ることで回想を促すことができ、その後、記憶をトレーニングして、イベント、およびイベントに関連する詳細が思い出される。言い換えると、図8に示される方法を利用して、神経疾患および/または後天性頭部損傷を有する個人の脳を「鍛える」ことができる。さらに、該シナリオは、ある種の記憶機能の低下を患う個人の記憶機能を助け、向上させることに関するが、本発明のイベントイメージ(および、そのシーケンス)を利用して、なんらかの認知症を必ずしも患っていない個人の記憶機能を向上させことができる。むしろ、イメージおよびシーケンスを見ることは、「通常の」記憶機能をも向上させるのに使用することができる。
【0064】
図9を参照すると、本発明によるイメージに注釈を付ける方法が示されている。まず、ステップ902において、個人またはイベントに関する状況ファクタを検出することができる。例えば、上述したように、生理的および/または環境センサーを利用して、個人および/またはイベントに関する基準をモニタリングすることができる。
【0065】
あるイベント(またはイベントのシーケンス)に関するイメージを、ステップ904でキャプチャすることができる。これらのイメージのキャプチャを、ステップ902で収集された状況データ/ファクタに応じて、トリガすることができる。キャプチャされると、ステップ906で、イメージおよび/またはイメージのシーケンスに、状況データ(および、他のセンサーによって提供されたデータ)で注釈を付けることができる。これらの注釈によって、トレーニング/セラピーの際にイベントを記述および/または説明することを助けるためのさらなるデータが提供される。さらに、図10の方法を参照して説明されるように、この注釈を使用して、環境を再現し、イベントの間の実際の状態を模倣することができる。
【0066】
ここで図10を参照すると、本発明にかかる、特定のイベントを検索して当該イベントの環境を再現する方法が示されている。まず、ステップ1002において、クエリを生成することができる。このクエリは、イベント内のあるポイントを識別するための具体的なものとすることも、または、イベントを全体として識別するための一般的なものとすることもできる。
【0067】
ステップ1004で、所望のイメージおよび/またはイメージのシーケンスを見つけるために、検索が行われる。ある態様では、定義された質問に一致する所望のイメージおよび/またはシーケンスを検索し、見つけるために、パターンおよび音声認識メカニズムを利用することができる。同様に、これらのパターンおよび/または音声認識システムを利用して、イメージに予め注釈を付けることができ、ステップ1006で、検索およびその後の取り出しを行うことができる。例として、イベント解析コンポーネント(例えば、図4の402)に、イメージの内容に基づいて探索および/または注釈を自動化するために、これらの認識システムを備えることができる。
【0068】
取り出されると、ステップ1008でイメージを、セラピー、トレーニング、リハビリテーション、「鍛える」などの過程においてレンダリングすることができる。さらに、ステップ1010において、イメージシーケンスのキャプチャのときのイベントに関する実際のシナリオが、注釈に基づいて再現される。例えば、実際の体験を促し、それにより回想効果を強化するために、周囲温度を一致させ、補助的な音(例えば、電車、時計)などを生成することができる。
【0069】
図11を参照すると、イメージシーケンスをキャプチャし、および/または記憶トレーニングとリハビリテーションにイメージシーケンスを利用する、開示されたアーキテクチャを実行するように動作可能なコンピュータのブロック図が示されている。本発明の様々な態様に関するさらなるコンテキストを提供するために、図11および以下の説明は、本発明を実装することができる適切なコンピューティング環境1100に関する簡単で一般的な説明を提示することが意図されている。本発明を、1つまたは複数のコンピュータにおいて実行することができるコンピュータ実行可能命令に関する一般的なコンテキストで説明してきたが、当業者には、本発明を、他のプログラムモジュールと組み合わせて、および/またはハードウェアとソフトウェアの組み合わせとして実施することができることが認識されよう。
【0070】
一般に、プログラムモジュールは、特定のタスクを実行するか、特定の抽象データ型を実装するルーチン、プログラム、コンポーネント、データ構造などを含む。さらに、当業者には、本発明の方法を、それぞれが1つまたは複数の関連するデバイスに動作可能に結合され得る、単一のプロセッサまたはマルチプロセッサコンピュータシステム、ミニコンピュータ、メインフレームコンピュータ、パーソナルコンピュータ、ハンドヘルドコンピューティングデバイス、マイクロプロセッサベースまたはプログラム可能な家庭用電化製品など、他のコンピュータシステム構成で実施することができることが認識されよう。
【0071】
本発明の図示される態様を、特定のタスクが通信ネットワークを通じてリンクされたリモート処理デバイスによって実行される、分散コンピューティング環境で実施することもできる。分散コンピューティング環境では、プログラムモジュールを、ローカルおよびリモートのメモリ記憶デバイスの両方に置くことができる。
【0072】
コンピュータは、典型的に、様々なコンピュータ読み取り可能な媒体を含む。コンピュータ読み取り可能な媒体は、コンピュータがアクセス可能な任意の利用可能な媒体とすることができ、揮発性媒体および不揮発性媒体、取り外し可能な媒体および取り外し不可能な媒体を含む。限定ではなく例として、コンピュータ読み取り可能な媒体は、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ読取可能命令、データ構造、プログラムモジュール、または他のデータなど、情報の記憶のための任意の方法または手段で実装される揮発性媒体および不揮発性媒体、取り外し可能な媒体および取り外し不可能な媒体を含む。コンピュータ記憶媒体には、RAM、ROM、EEPROM、フラッシュメモリもしくは他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)もしくは他の光学ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または所望の情報を記憶するのに使用可能でありコンピュータがアクセス可能な任意の他の媒体が含まれるが、これらに限定はされない。
【0073】
通信媒体は、典型的に、搬送波または他のトランスポート機構などの変調データ信号において、コンピュータ読み取り可能命令、データ構造、プログラムモジュール、または他のデータを具現化し、さらに、任意の情報伝達媒体を含む。用語「変調データ信号」は、信号内の情報を符号化するように設定または変更された1つまたは複数の特性を有する信号を意味している。限定ではなく例として、通信媒体には、有線接続または直接有線接続等の有線媒体と、音、RF、赤外線、および他の無線媒体等の無線媒体とを含む。上記したものの任意の組み合わせもコンピュータ読み取り可能な媒体の範囲内に含まれる。
【0074】
再び図11を参照すると、本発明の様々な態様を実装するための例示的な環境1100は、コンピュータ1102を含み、当該コンピュータ1102は、処理ユニット1104、システムメモリ1106、およびシステムバス1108を含む。システムバス1108は、これには限られないがシステムメモリ1106を処理ユニット1104に結合することを含め、システムコンポーネント間を結ぶ。処理ユニット1104は、任意の様々な市販のプロセッサのいずれかとすることができる。デュアルマイクロプロセッサおよび他のマルチプロセッサアーキテクチャを、処理ユニット1104として利用することもできる。
【0075】
システムバス1108は、任意の様々な市販のバス構造を用いて、メモリバス(メモリコントローラを有していても、有していなくても)、周辺バス、およびローカルバスにさらに相互接続することができる、いくつかのタイプのバス構造のいずれかとすることができる。システムメモリ1106は、リードオンリメモリ(ROM)1110およびランダムアクセスメモリ(RAM)1112を含んでいる。基本入力/出力システム(BIOS)は、ROM、EPROM、EEPROMなどの不揮発性メモリ1110に記憶され、BIOSは、例えば起動中などに、コンピュータ1102内の要素同士の間の情報の送信を助ける基本ルーチンを含んでいる。RAM1112は、データをキャッシュするためのスタティックRAMなどの高速RAMを含むこともできる。
【0076】
コンピュータ1102は、外部使用のために適切なシャーシ(図示せず)に構成することができる内蔵ハードディスクドライブ(HDD)1114(例えば、EIDE、SATA)、(例えば、取り外し可能なディスケット1118との間で読み書きするための)磁気フロッピー(登録商標)ディスク(FDD)1116、および(例えば、CD−ROMディスク1122を読み取り、またはDVD等の他の高容量光学媒体との間で読み書きするための)光学ディスクドライブ1120をさらに含む。ハードディスクドライブ1114、磁気ディスクドライブ1116、および光学ディスクドライブ1120は、ハードディスクドライブインターフェース1124、磁気ディスクドライブインターフェース1126、および光学ドライブインターフェース1128により、システムバス1108にそれぞれ接続され得る。外部ドライブ実装のためのインターフェース1124は、ユニバーサルシリアルバス(USB)およびIEEE1394インターフェース技法の少なくとも一方または両方を含む。他の外部ドライブ接続技法も本発明の範囲内に含まれる。
【0077】
ドライブおよび関連するコンピュータ読み取り可能な媒体は、データ、データ構造、およびコンピュータ実行可能命令などの不揮発性のストレージを提供する。コンピュータ1102については、ドライブおよび媒体は、適切なデジタルフォーマットで任意のデータのストレージを提供する。上記のコンピュータ読み取り可能な媒体の記述は、HDD、取り外し可能な磁気ディスケット、およびCDもしくはDVDなどの取り外し可能な光学媒体について言及しているが、ジップドライブ、磁気カセット、フラッシュメモリカード、およびカートリッジなど、コンピュータによって読み取り可能な他のタイプの媒体も、典型的なオペレーティング環境で使用することができ、任意の上記媒体は、本発明の方法を実行するコンピュータ実行可能命令を含むことができることを、当業者であれば理解されたい。
【0078】
例えば、オペレーティングシステム1130、1つまたは複数のアプリケーションプログラム1132、他のプログラムモジュール1134、およびプログラムデータ1136を含め多数のプログラムモジュールを、ドライブおよびRAM1112に格納することができる。オペレーティングシステム、アプリケーション、モジュール、および/またはデータの全てまたは一部を、RAM1112にキャッシュすることもできる。本発明を、様々な市販の入手可能なオペレーティングシステムまたはオペレーティングシステムの組み合わせで実装することができることが理解されよう。
【0079】
ユーザは、1つまたは複数の有線/無線入力デバイス、例えば、キーボード1138、およびマウス1140等のポインティングデバイスなどを通じて、コンピュータ1102にコマンドおよび情報を入力することができる。他の入力デバイス(図示せず)には、マイク、IRリモートコントローラ、ジョイスティック、ゲームパッド、スタイラスペン、またはタッチスクリーンなどが含まれる。これらおよび他の入力デバイスはしばしば、システムバス1108に結合される入力デバイスインターフェース1142を通じて、処理ユニット1104に接続されるが、パラレルポート、IEEE1394シリアルポート、ゲームポート、USBポート、IRインターフェースなどの他のインターフェースによって接続されることもある。
【0080】
モニタ1144または他のタイプのディスプレイデバイスは、ビデオアダプタ1146等のインターフェースを介してシステムバス1108に接続される。モニタ1144に加えて、コンピュータは、典型的に、スピーカ、プリンタ等の他の周辺出力デバイス(図示せず)を含む。
【0081】
コンピュータ1102は、リモートコンピュータ1148等の1つまたは複数のリモートコンピュータへの有線および/または無線通信を介する論理接続を使用してネットワーク化された環境において動作することができる。リモートコンピュータ1148は、ワークステーション、サーバコンピュータ、ルータ、パーソナルコンピュータ、ポータブルコンピュータ、マイクロプロセッサベースのゲーム機器、ピアデバイス、または他の共通ネットワークノードとすることができ、典型的には、コンピュータ1102に関連して説明した要素の多くまたは全てを含むが、簡単性のために、メモリ/記憶デバイス1150だけを図示している。上述した論理接続は、ローカルエリアネットワーク(LAN)1152、および/または例えばワイドエリアネットワーク(WAN)1154等の大規模ネットワークへの有線/無線接続を含む。このようなLANおよびWANネットワーク環境はオフィスおよび会社において一般的であり、イントラネット等の企業規模のコンピュータネットワークを容易にし、これらの全ては、例えばインターネット等のグローバル通信ネットワークに接続することができる。
【0082】
LANネットワーク環境において使用されるとき、コンピュータ1102は、有線/無線通信ネットワークインターフェースまたはアダプタ1156を通じて、ローカルネットワーク1152に接続される。アダプタ1156は、LAN1152への有線または無線通信を容易することができ、LAN1152は、無線アダプタ1156と通信し、当該LAN1152に配置される無線アクセスポイントを含むこともできる。
【0083】
WANネットワーク環境において使用されるとき、コンピュータ1102は、モデム1158を含むことができるか、WAN1154上の通信サーバに接続されるか、または例えば、インターネットによる方法などWAN1154上で通信を確立するための他の手段を有する。内蔵もしくは外付けとすることができ、有線もしくは無線デバイスとすることができるモデム1158は、シリアルポートインターフェース1142を介してシステムバス1108に接続される。ネットワーク化された環境において、コンピュータ1102に関連して説明したプログラムモジュール、またはその一部を、リモートメモリ/記憶デバイス1150に格納することができる。示されるネットワーク接続は例示的なものであり、コンピュータ間の通信リンクを確立する他の手段を使用することができる。
【0084】
コンピュータ1102は、無線通信で動作可能に配置された任意の無線デバイスまたはエンティティと通信するように動作可能であり、当該任意の無線デバイスまたはエンティティは、例えば、プリンタ、スキャナ、デスクトップおよび/またはポータブルコンピュータ、ポータブルデータアシスタント、通信衛星、無線検出可能なタグに関連する装置または位置の任意の一部(例えば、キオスク、新聞売店、休憩室等)、および電話などである。これは、少なくともWi−Fiおよびブルートゥース(登録商標)無線技術を含んでいる。したがって、通信は、少なくとも2つのデバイスの間の従来のネットワークまたは単純なアドホック通信のような予め定められた構造とすることができる。
【0085】
Wi−Fiすなわちワイヤレスフィデリティにより、有線を必要とせずに、家のソファ、ホテルの部屋のベッド、または職場の会議室からインターネットに接続することができる。Wi−Fiは、携帯電話に使用される無線技術と同様の無線技術であり、例えばコンピュータなどの上記デバイスが、室内および外部(基地局の範囲内であればどこでも)、データを送受信することを可能にする。Wi−Fiネットワークは、IEEE802.11(a、b、g等)と呼ばれる無線技術を使用し、セキュアで信頼性があり迅速な無線接続を提供する。Wi−Fiネットワークを使用して、コンピュータを相互に、インターネット、および有線ネットワーク(IEEE802.3またはイーサネット(登録商標)を使用する)に接続することができる。Wi−Fiネットワークは、ライセンスが不要の2.4GHzおよび5GHzの無線帯域において、11Mbps(802.11a)または54Mbps(802.11b)データレートで、または例えば、両方の帯域(デュアルバンド)を有する製品とともに動作し、したがって、ネットワークは、多くのオフィスで使用される標準的な10BaseT有線イーサネット(登録商標)ネットワークと同様の実際のパフォーマンスを提供することができる。
【0086】
図12を参照すると、本発明にかかる例示的なコンピューティング環境1200の概略ブロック図が図示されている。システム1200は、1つまたは複数のクライアント1202を含む。クライアント1202は、ハードウェアおよび/またはソフトウェア(例えば、スレッド、プロセス、コンピューティングデバイス)とすることができる。クライアント1202は、例えば、本発明の利用による、クッキーおよび/または関連するコンテキスト情報を含むことができる。
【0087】
システム1200は、1つまたは複数のサーバ1204を含む。サーバ1204も、ハードウェアおよび/またはソフトウェア(例えば、スレッド、プロセス、コンピューティングデバイス)とすることができる。サーバ1204は、例えば、本発明の利用による、スレッドを含み変換を実行することができる。クライアント1202とサーバ1204との間の1つの可能な通信は、2つまたはそれ以上のコンピュータプロセスの間で送信されるように適応されたデータパケットの形式とすることができる。データパケットは、例えば、クッキーおよび/または関連するコンテキスト情報を含むことができる。システム1200は、クライアント1202とサーバ1204との間の通信を容易にするのに利用することができる通信フレームワーク1206(例えば、インターネット等のグローバル通信ネットワーク)を含む。
【0088】
通信は、有線(光ファイバを含む)および/または無線技術を介して容易にされる。クライアント1202は、クライアント1202にローカルな情報(例えば、クッキーおよび/または関連するコンテキスト情報)を格納するのに利用することができる、1つまたは複数のクライアントデータストア1208に動作可能に接続される。同様に、サーバ1204は、サーバ1204にローカルな情報を格納するのに利用することができる、1つまたは複数のサーバデータストア1210に動作可能に接続される。
【0089】
上述してきたことには、本発明の例が含まれる。もちろん、本発明を説明するために、コンポーネントまたは方法の全ての考えられる全ての組み合わせを説明することは不可能であるが、当業者には、本発明の多くのさらなる組み合わせおよび置換が可能であることが認識されよう。したがって、本発明は、添付の特許請求の範囲の精神および範囲内の全てのそのような代替、修正、および変更を含むことが意図されている。さらに、用語「含む(include)」が詳細な説明または特許請求の範囲で使用される場合、このような用語は、「備える(comprising)」が特許請求の範囲において変遷的な語として使用されるときに解釈される「含む」と同じように包括的であるように意図されている。
【技術分野】
【0001】
本発明は、視覚的ジャーナル(visual journal)を介した記憶トレーニングに関する。
【背景技術】
【0002】
人の記憶は当てにならないことが多い。例えば、多くの人は、自分がしようとしていたことをよく忘れ、以前にしたことについて詳細を思い出すことが難しいと思うことがしばしばある。もちろん、臨床的に診断された記憶障害(年を取ってから見つかるよりも生まれつきの方が重症である)を有する人にとっては、これらの問題は特に厄介である。このような障害の一例は、脳組織に持続的に影響を与える疾患により、または交通事故などの外傷的な事により生ずる後天性脳損傷である。別の例は、おそらく年配者により深刻であるが、回復の可能性がないような本質的に脳に損傷を与える疾病である、神経変性疾患である。おそらく、最も一般的な神経変性疾患はアルツハイマー病である。
【0003】
上述したように、人の記憶障害または記憶力の低下を生じる病気の2つの大きなカテゴリは、神経変性疾患と、後天性または外傷性の脳損傷である。今まで、医学的な進歩は、上述したカテゴリの病気のいずれかを治すことにおいて、非常にわずかな成功しか示していない。例えば、治療を助ける目的で外部メモリを使用する試みがなされてきた。しかしながら、これらの試みも、その成功は非常にわずかなものである。
【0004】
神経変性疾患は、脳機能が侵される病気を指す。特に、神経変性疾患は、脳内のニューロンの低下に起因することが多い。記憶機能を侵す、多くの神経変性の疾患および病気が知られている。アルツハイマー病およびレビー小体認知症(Lewy Body dementia)の2つが、特によく知られた神経系疾患である。最近の医学の進歩は、投薬によって、これら2つの疾患の治療においてある程度の成功をもたらしたが、これらの疾患および他の公知の認知症によって引き起こされる記憶障害に対処することを助ける、医学的治療は判明していない。
【0005】
最も一般的な後天性脳損傷の1つは、記憶を混乱させる病気である、健忘症である。健忘症は、例えば、外傷、疾患、およびドラッグ/アルコールの使用を含め、多数の原因によって引き起こされる可能性がある。さらに、健忘症は、例えば、中高年から高齢者に最も一般的な、一過性全健忘症など、自然に発生する可能性もある。不幸なことに、健忘症などの後天性脳損傷に有効な、効果的な医学的治療法はこれまでにない。むしろ、健忘症の治療は、その損傷の根本な原因に関することが多い。鎮静剤の使用、愛情、精神科治療、催眠、および禁欲(ドラッグ/アルコールに関係する場合)が今日の健忘症に対処する方法の例である。
【0006】
後天性脳損傷、神経変性疾患、老化の影響は一般的に、患者毎に非常に異なる。比較的中程度の形態では、目立った影響はほとんどないことがあり、おそらく、患者は、時々自分自身および過去を体系化できないことに苛立つであろう。より重度のレベルでは、患者は、ほとんど完全に思い出すことができないことに苦しむことがある。中程度から重度の記憶障害を有する患者は、牛乳を買うこと、または約束をすることや守ることなど、未来的な意志(例えば、展望的記憶(prospective memory))を思い出せないことがある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
展望的記憶の障害は、明らかに、日々の生活において自分自身の面倒を見る患者の能力に大きな影響を及ぼす。しかしながら、過去(例えば、回想的)記憶、特に、エピソードまたは自伝的記憶(autobiographical memory)(例えば、事実情報についての意味記憶とは対照的に、患者が行っていたことの記憶)の障害は、患者が実際の生活を送ることに関して特に重大な問題である。第1に、これは、ほとんど全ての将来の行動は過去の経験に基づくものであるので、自伝的記憶が損なわれると、現実的な日々の計画が非常に困難だからである。第2に、おそらくより重要であることには、過去の経験の記憶は、患者の「自己概念(self−concept)」に不可欠であるからである。例えば、共有の経験の記憶がなければ、職業的、社会的、または個人的な関係など、いかなる種類の関係であっても、関係を維持することが非常に困難である。これは、患者の自尊心にしばしば悪影響を及ぼし、患者の快適な暮らしに大きな影響を与える。
【課題を解決するための手段】
【0008】
以下に、本発明の一部の態様について基本的な理解を提供するために、本発明の簡単な概要を提示する。この概要は、本発明の広範囲に及ぶ概観ではない。本発明の主要な/不可欠な要素を特定にすること、または本発明の範囲を画定することを目的とはしていない。その唯一の目的は、本発明の一部の概念を、後に提示されるより詳細な説明の前置きとして簡単な形態で提示することである。
【0009】
本明細書において開示され、特許請求の範囲に記載される発明は、その一態様において、あるイベントの間にキャプチャされたイメージのシーケンスを見ることによって認識能力(cognitive ability)を高めることができるシステムを含む。例えば、本開示によって対処される1つの主要な問題は、キャプチャされたイベントシーケンスを用いて、後天性脳損傷またはアルツハイマー病等の神経変性疾患等の診断された記憶の病気を有する患者の記憶力の衰えを改善することである。同様に、システムを利用して、記憶機能、およびユーザが体験したイベントに関する詳細の回想を改善することができる。これらのイベントシーケンスを、ユーザ(例えば、本人)の視点、ならびに第三者または他のモニタリング位置(例えば、車のダッシュボードの上)からキャプチャすることができる。
【0010】
本発明のイベントイメージのキャプチャの概念は、人の1日の行動におけるイベント中に起こった情報を記録することを開示し、提言する。イメージキャプチャをトリガするために、本発明は、例えば、血圧、気分(mood)、体温、外部の温度、位置、動き、光、および時間ベースのメカニズムなどの生理センサーと環境センサーの使用を開示している。操作において、センサーメカニズムを介して収集された情報を使用して、イメージ(および、そのシーケンス)に注釈を付けることができる。これらの注釈を使用して、トレーニング、セラピー、回想などの過程においてイメージの位置を見つけることおよび再生することを改善することができる。
【0011】
本発明は、ユーザの日常の行動に関するイメージ(およびビデオ)のキャプチャを、効果的に提案および開示し、特に、1日の優れたジャーナル(Super−journal)、または1日(もしくは別の期間)に起こったイベントの優れたジャーナルを確立する。これは、特に、記憶能力が低下し、制限され、および/または悪化している患者を助けるものとして有用である。なぜなら、紙のジャーナルは、非常に面倒であるためである。
【0012】
本発明は、記憶能力を向上または改善するのに、ユーザが手で書かれたことに焦点を当てるのではなく、1日についての高品質のレンディションを使用することを開示する。記憶は、連想するように機能し、あるイベント(例えば、休暇)の単一のピクチャ、またはイベントの一部に関係するイメージもしくはビデオのシーケンスを示して、そのイベント(例えば、休暇)の全体の回想をトリガするような、連想的な方法で機能していることが理解されよう。したがって、本発明は、人が非常に限定的な記憶しかない場合であっても、受信したイメージに基づいて人に思い出させるための高い能力を有することができる。さらに、これらの結果を維持することができるため、記憶回想は使用に比例する。
【0013】
医療の状況において、本発明を、例えば、感情をあまり表すことができないことが多い自閉症のケースに使用することができる。言い換えると、感情の爆発を発生させているイベントを説明できないことがしばしばある。別の例では、本発明を、アンガーマネジメントの問題を有する人の行動をモニタリングするのに使用することができる。本発明を使用することによって、対象のビューをキャプチャするだけでなく、部屋の中または近接している他のビューをキャプチャすることができ、さらに状況の説明を助け、病気を患う人による回想を促すことができる。
【0014】
上述および関連する目的を達成するために、本明細書において、本発明のある例示的な態様を以下の説明および添付図面に関連して説明する。しかしながら、これらの態様は、本発明の原理を利用することができる様々な方法のほんの一部を示すものであり、本発明は、このような態様および均等物の全てを含むことが意図されている。本発明の他の利点および新規な特徴は、本発明の以下の詳細な説明を図面とともに検討することから明らかになるであろう。
【図面の簡単な説明】
【0015】
【図1】記憶機能トレーニングおよび/またはリハビリテーションにおいてイベントイメージシーケンスの利用を容易にする例示的なシステムを示す図である。
【図2】本発明の態様にかかるセンサーコンポーネントおよびイベント注釈コンポーネントを有する例示的なイベント記録コンポーネントのブロック図である。
【図3】本発明の態様にかかる生理センサーコンポーネントおよび環境センサーコンポーネントを有するイベントレコーダのブロック図である。
【図4】本発明の態様にかかるイベント解析コンポーネントおよびイベント再生コンポーネントを有する例示的な記憶回想コンポーネントの図である。
【図5】本発明の態様にかかるチャレンジ/レスポンスコンポーネントおよびユーザクエリコンポーネントを有する例示的なイベント解析コンポーネントの図である。
【図6】本発明の態様にかかる再生構成コンポーネントおよび再生フィルタリングコンポーネントを有する例示的なイベント再生コンポーネントの図である。
【図7】本発明の態様にかかる機能を自動化することができる機械学習および推論コンポーネントを含むアーキテクチャの図である。
【図8】本発明の態様にかかる、イメージシーケンスを見ることにより記憶機能を強化するか、リハビリテーションを行うことを容易にする手順の例示的なフローチャートである。
【図9】本発明の態様にかかる状況データ(例えば生理、環境)でイメージシーケンスに注釈を付けることを容易にする手順の例示的なフローチャートである。
【図10】本発明の態様にかかる、注釈を利用して、キャプチャされたイメージの再生を向上させることを容易にする手順の例示的なフローチャートである。
【図11】開示されたアーキテクチャを実行するように動作可能なコンピュータのブロック図である。
【図12】本発明にかかる例示的なコンピューティング環境の概略ブロック図である。
【発明を実施するための形態】
【0016】
本発明は、図面を参照して説明されるが、全体を通して、同様の参照符号を使用して同様の要素を示す。以下の記載では、説明のために、多数の特定の詳細が、本発明の完全な理解を提供するために説明される。しかしながら、本発明を、これら特定の詳細を用いることなく実施することができることは明らかであろう。他の例では、本発明の説明を容易にするために、周知の構造および装置がブロック図の形式で示される。
【0017】
本出願において使用される際、用語「コンポーネント」および「システム」は、コンピュータに関連するエンティティ、すなわち、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、または実行中のソフトウェアのいずれかを指すことが意図されている。例えば、コンポーネントは、これらに限られないが、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト、実行ファイル、実行スレッド、プログラム、および/またはコンピュータとすることができる。例として、サーバにおいて実行されるアプリケーションとサーバの両方を1つのコンポーネントとすることができる。1つまたは複数のコンポーネントを、1つのプロセスおよび/または実行スレッド内に存在させることができ、コンポーネントを、1つのコンピュータに局在化し、および/または2つもしくはそれ以上のコンピュータに分散させることができる。
【0018】
本明細書で使用される際、用語「推測する(infer)」または「推測(inference)」は、一般に、システム、環境、および/またはユーザの状態について、キャプチャされた観察結果のセット、イベント、および/またはデータから推論、または推測するプロセスを指す。例えば、推測を利用して特定の状況またはアクションを識別することができ、または、これにより状態の確率分布を生成することができる。推測は、確率論的、すなわち、データとイベントの考慮に基づいた、状態の確率分布の計算とすることができる。推測は、イベントおよび/またはデータのセットから高水準のイベントを構成するために利用される技術を指すこともある。推測により、イベントが時間的に近接して相関しているか否か、イベントならびにデータが1つまたは複数のイベントならびにデータソースからのものであるかどうかにかかわらず、観察されたイベントおよび/または格納されたイベントデータのセットから、新しいイベントまたはアクションを構成することができる。
【0019】
まず図面を参照すると、図1は、視覚キュー(cue)の使用を通じて記憶機能およびパフォーマンスを向上させるシステム100を図示している。図示されるように、一般に、システム100は、イベント記録コンポーネント102、および記憶回想(memory recollection)コンポーネント104を含む。動作では、イベント記録コンポーネント102は、ユーザの1日を通じて(または、他の特定の時間間隔)1からN個のイベントに関するイメージを自動的に記録することができる。1からN個のイベントは、個々にまたは集合的にイベント106と呼ぶことができることを理解されたい。
【0020】
より具体的な態様では、イベント記録コンポーネント102を利用して、何らかの認知症または後天性脳損傷を患うユーザに関係するイメージをキャプチャすることができる。キャプチャされるイベントの粒度(granularity)および頻度を、イベント記録コンポーネント102を介して、プログラムし、予めプログラムし、またはコンテキスト上トリガすることができる。例として、イベント記録コンポーネント102には、センサー(例えば、光センサー、位置センサー、動きセンサー)を備えることができ、これにより、指定された基準において変化が検出されると、イベント106のイメージがキャプチャされる。
【0021】
したがって、記憶回想コンポーネント104を利用して、キャプチャの期間(例えば、時刻、日、月)を通じてイベント106の回想(recall)を促すことができる。図示するために、記憶が、なんらかの連想的な方法で働くことが理解され認識されよう。例えば、人がアルバムまたはコンパクトディスクの音楽トラックの順番を思い出すことができないことは珍しいことではない。しかしながら、音楽トラックを聴くと、現在の音楽トラックに基づいてその後の音楽トラックを思い出すことができることがしばしばある。この回想は、脳が機能する連想方法によって引き起こされる。言い換えれば、あるトラックが終わると、記憶がトリガされて、人は、次のトラック、しばしばその後のトラックも思い出すことができる。
【0022】
本発明によれば、イメージシーケンスを見直すと、見る者は、回想への強い刺激(stimulus)を得ることができる。これは、見る者が、話したこと、食べたものなどのイメージに記録されていないことを含め、1日もしくはキャプチャの期間の詳細を思い出すであろうことを意味する。さらに、イメージのシーケンスを、適切なスケジュール(例えば、一連のイメージを2日毎に4回見る)に従って繰り返して見直す場合、この繰り返される回想刺激という行為によって、回想への能力が強化される可能性がある。その後、個人は、助けを受けず、例えば、イメージシーケンスを再び見なくとも、イベントの詳細を思い出すことがある。
【0023】
諸態様において、記憶回想は、例えば、静止イメージを、素早く連続して「スライドショーの形式」で示すことによって達成することができる。さらに、イメージを他のデータ、例えば、該イメージの時間において録音された周囲の音声または別の音声(サウンドトラックなど)とともに与えて、再生の視覚的な性質を補うことができる。
【0024】
同様に、これらイベントは、別の関連するイベントおよび情報の回想をトリガすることができる。さらなる例として、アルバムのトラックを聴くことは、アルバムの次のトラックをトリガするだけでなく、アーティストの名前、その作者による他の歌の回想もトリガすることができる。さらに、歌を聴くことは、外部のイベント、人々、場所などについての思考をトリガすることもできる。本質的に、この連想は、記憶トレーニングおよび記憶の強化に寄与することができる。
【0025】
図1を再び参照すると、上述した例のアルバムのトラックと同じように、イベント記録コンポーネント102は、イベント106の視覚的なイメージをキャプチャすることができる。これらのイメージを、記憶回想コンポーネント104を介してユーザにレンダリングすることができ、これにより、ユーザの生活の中で起こった、さらなるイベント106および詳細の回想を引き起こすことができる。諸態様において、記憶回想コンポーネント104は、第三者によって、イベント106に関係するキャプチャされたイメージを見直すのに使用され得る。同様に、ユーザ自身が、記憶回想およびトレーニングを助けるために、記憶回想コンポーネント104を利用することができる。
【0026】
イベント記録コンポーネント102は、人が経験するイベント106のデジタル記録を保持する装着型のイメージキャプチャ装置(例えば、カメラ)とすることができる。デバイス(102)の機能は、ユーザの介入を必要とせず、従って意識的な努力を必要とせずに、これらの記録を自動的にキャプチャすることである。しかしながら、他の態様では、イメージキャプチャは、ユーザ起動またはマシン起動(例えば、イベントレコーダの外のマシン生成された信号によって)とすることができる。
【0027】
上述したように、イベント記録コンポーネント102の背後にある論拠は、イベント106のデジタル記録をキャプチャすることであり、該デジタル記録は、その後(例えば、記憶回想コンポーネント104を介して)装着者によって、その記憶を刺激するために見直されることが可能である。このキャプチャされたデータを適切な定期的に見直すことにより、装着者自身の記憶の強化を助け、従ってイベント106の回想を助ける、強力なキューが生成される。
【0028】
さらに、イベント106の一部の情報のレビューは、さらなる詳細の回想を助けることができる。イベント106を記録/キャプチャし、レビューするのにシステム100を繰り返し使用することにより、一般に、装着者の記憶および認識能力に対して有益な効果を与えることができる。より具体的には、ある特定のスケジュールに従ってイベント記録コンポーネント102を使用することは、一般に、装着者を、認知症または老化の神経変性の影響から「予防する(inoculate)」ように作用することができる。
【0029】
さらに、本発明は、他のイメージキャプチャ装置が適切な共有権および近接性のあるデータを提供することができるように、該イメージキャプチャ装置からのデータの集約を意図し、開示している。オペレーションでは、一態様において、ユーザは、パーソナルイメージデータを格納するサービスに加入することができ、別個のイメージキャプチャ装置(または別個のイメージキャプチャ装置のグループ)からのデータでパーソナルデータを増補することができる。例えば、システムは、偶然に同一のイベント(例えば、全地球位置測定システム(GPS)または別のデータにより示されるような)を記憶した、任意の他のイメージキャプチャ装置を、パーソナルビューに追加することができるように、センサーデータの相関関係を促進することができる。
【0030】
本質的に、複数のイメージキャプチャ装置の効果によって、1つのシーンに対して複数のカメラを用いる場合と同様の表現(rendition)を作成することができる。しかしながら、原理的には、あるユーザは、長い間ある位置に興味がある可能性があり、したがって、ユーザは、常に、または指定された時間もしくは時間期間に、予め指定された場所または決められた場所にあるイメージキャプチャ装置からの全てのデータを見たい可能性もある。他の態様では、このイメージキャプチャデータを、ソーシャルネットワーク(例えば、「友達の友達」イメージキャプチャ装置)に接続することができる。したがって、これらの装置および/または関連する機能の使用を、例えば、データを共有することで価値ポイントを得ることなど、貨幣化スキーム(monetization scheme)に利用することができる。
【0031】
ここで図2を参照すると、イベント記録コンポーネント102のブロック図が示されている。図示されるように、イベント記録コンポーネント102は、センサーコンポーネント202と、イメージキャプチャを引き起こすこと、およびキャプチャされたイメージをインデックス化することを容易にする、オプションのイベント注釈コンポーネント204とを含む。本質的に、センサーコンポーネント202を使用して、イベント記録コンポーネント102からのイメージのキャプチャをトリガすることができる。
【0032】
オプションのイベント注釈コンポーネント204は、イメージストリームに注釈を付けること(または、タグを付けること)を容易にすることができる。この注釈は、容易な位置確認および再生のためのイメージのインデックスとして機能することができる。同様に、注釈は、イメージを他の状況的な基準(例えば、温度、時間、位置)関連付けることができる。理解されるように、オプションのイベント注釈は、記憶および回想のトレーニングに関するキャプチャされたイメージの有用性を向上させることができる。例えば、メタデータを使用して、イメージの周囲もしくはイメージに関係するイベント、条件、および状況に関する特定のイメージに注釈を付けることができる。このメタデータを使用して、記憶トレーニングおよび/または回想の管理に使用するためのイメージを見つけ、フィルタリングすることができる。
【0033】
図3を参照すると、センサーコンポーネント202は、生理(physiological)センサーおよび/または環境センサー(302、304)のいずれか一方または両方を含むことができる。オペレーションでは、これらセンサーを使用して、イメージキャプチャをトリガするとともに、イメージに注釈を付ける際に使用される情報およびデータを収集することができる。例えば、ある特定の閾値に達すると、あるイメージ、またはイメージのシーケンスを、自動的にキャプチャし、トリガする閾値に関係するデータを用いて注釈を付けることができる。
【0034】
一例において、イベント記録コンポーネント102は、心拍数、血圧、体温、血糖値、血中濃度/アルコール濃度などの生理学的な基準をモニタリングすることができる。動作中にあっては、ユーザまたは装着者の心拍数が、予め定められたレベルを超えると、イベント記録コンポーネントは、イメージのキャプチャを自動的に行うことができる。同様に、イベント注釈コンポーネント204を使用して、生理センサーに関係する特定のデータ(例えば、心拍数)によって、キャプチャされたイメージに注釈を付けることができる。この手法により、病状の原因となっているイベントを、より理解することができる。
【0035】
同様に、環境センサー304を使用して、イメージキャプチャをトリガし、注釈の基準を提供することができる。例えば、センサーを利用して、動き、位置、温度、明かりなどが変化すると、イメージキャプチャを自動的にトリガすることができる。これらの変化は、加速時計によってキャプチャされ得る比較的安定した期間の検出によって与えられることがある。イメージのキャプチャをトリガすることに加えて、これらの環境的な基準を使用して、再生および記憶トレーニングを助けるために、キャプチャされたイメージに注釈(またはインデックス)を付けることができる。
【0036】
この明細書によって対処される1つの主要な問題は、イベント記録コンポーネント102の適用によって、後天性脳損傷、またはアルツハイマー病等の神経変性疾患など、記憶の病気と診断された患者の記憶力の衰えを改善することである。本発明に関連して、いくつかの試験を、後天性脳損傷の患者(例えば、重度の健忘症を生じる辺縁系脳炎)および初期のアルツハイマー病の患者に実施した。その結果、記憶機能の向上が得られ、これにより、疾患および/または病気の影響が低減した。
【0037】
イベント記録コンポーネント102の値の多くは、年代順(chronological)の時間圧縮された、本人の性質についてのイメージデータであり、実際にこのデータは、意識的な努力または装着者の側の介入を全く必要とせずに収集される。さらに、イメージは、行われる活動を中断させることなくキャプチャされ、あるいは、イベントの過程において対話する人の中断によってキャプチャされることがある。
【0038】
イベント106(またはイベント106の一部)を記録するのにイベント記録コンポーネント102を使用するプロセスは、装着者の観点からは非常に容易なことである。言い換えると、装着者が行うべきことは、イベントの初め(例えば、1日の初め)にカメラを身につけて、スイッチを入れることを思い出す(または、決断する)ことだけある。上述したように、記録は、装着者側または装着者と対話する他の人々による、意識的な努力または介入を必要とせずになされ得る。例えば、イメージキャプチャを自動にすること、またはセンサー技術(上述したような)によって引き起こすことができる。同様に、粒度を、予め定めること、またはセンサー技術(302、304)を介して収集されるプリファレンスやデータに応じて定めることができる。
【0039】
装着者の視点からイメージシーケンスをキャプチャすることは、従来技術とは大きく異なり、複数の利点を有する。例えば、標準的なデジタルスチールカメラまたはビデオカメラの使用は、記録側において認識のためのオーバーヘッドを必要とする。すなわち、記録に維持するためにそれら自体を継続的に「動かない(out of the moment)」ようにしなければならない。また、これらの従来のシステムでは、記録プロセスは、しばしば人々を継続的に動かない状態にさせる他のものに対して可視である。また、イベント記録コンポーネント102により記録された定期的な静止イメージは、連続的なビデオよりプライバシーを侵害しない。さらに、後に見直すためにイベントの間の詳しい日記を書くことは、非常に不正確であり面倒であることは理解されよう。
【0040】
さらに、イベント記録コンポーネント102を介してキャプチャされたデータを見直すプロセスは、見る者にとって非常に楽しめるものである可能性がある。これは、非常に煩わしいと考えられる、書かれた日記を見直すこと、および非常に退屈であるとしばしば考えられるビデオまたは個々のデジタル静止イメージを見直すこととは対照的である。イベント記録コンポーネント102によってキャプチャされたイメージシーケンスは、イベントに関していくらかのストーリーを示し、見る者を魅了して、回想を引き起こすことが理解されよう。
【0041】
図4に移ると、イベント解析コンポーネント402およびイベント再生コンポーネント404を含む、記憶回想コンポーネント104のブロック図が示されている。本質的に、イベント解析コンポーネント402により実行される解析は、あるシーケンス内の複数のフレームについての単純な時間ベース/カウンタ解析から、複数のイメージおよび当該複数のイメージに関連する注釈についての包括的な解析までの範囲に及ぶ。簡単なシナリオでは、イベント解析コンポーネント402を利用して、キャプチャの所望の時間に基づいてイメージを探すことができる。
【0042】
例えば、記憶トレーニングのセッションが、ある日のキャプチャされたイベント内の特定のミーティングを対象とする場合、見る者はミーティングの時間を指定することができ、これにより、イベント解析コンポーネント402は、その日の中のシーケンス内のこのサブイベントの始まりを探すことができる。このサブイベントを使用して、完全なイベント(例えば、ミーティング)の記憶回想を引き起こすことができ、同様に、イメージシーケンス内でキャプチャされる必要のない詳細に関するさらなる回想を引き起こすことができる。その後、イベント再生コンポーネント404を使用して、記憶のトレーニング、回想、および/または強化の際に、見る者にイメージを表示することができる。
【0043】
上述したように、センサー技術を使用して、イメージキャプチャシーケンスに関連付けられた環境的および生理的な基準をキャプチャすることができる。例として、センサーを使用して、日時、周囲温度、外部雑音等をキャプチャすることができる。したがって、イベント解析コンポーネント402は、この情報をシーケンスから識別し、当該情報をイベント再生コンポーネント404に送信/転送することができる。その後、イベント再生コンポーネント404を利用して、回想を引き起こす際に助けとなるように、イベントの実際の環境を再現することができる。言い換えると、イベント再生コンポーネント404を使用して、回想およびトレーニングを強化するために、あるイベントの間に体験した周囲の温度および外部のノイズ(例えば、雷、電車、時計の鐘、システムをページングするオーバーヘッド)を再現することができる。
【0044】
データの再生イメージを、イベントの間に記録された他の環境データおよび生理データで強化すること(例えば注釈を付けること)により、さらなる治療上の効果が得られる。キャプチャされたデータの他の例は、(例えば、全地球測位システム(GPS)を通じた)位置である可能性があり、生理データは、心拍数などの心電図(ECG)データまたは皮膚コンダクタンスデータなどを含む可能性がある。補助的なデータおよび/または状況的なデータに関する特定の例を提供しているが、他の例も存在し、本明細書および特許請求の範囲の範囲内に含まれることは理解されたい。
【0045】
本質的には、実際の生活の再生のために使用される場合であっても、参照のために使用される場合であっても、上述した環境データおよび生理データなどの追加的なデータは、記録されたイメージシーケンスをセグメント化する際の助けとなり得る。このようなセグメント化は、特にイメージシーケンスの見直しに有効であるが、これは、見直しをより扱いやすいものとするからである。
【0046】
人間の記憶は、多くの専門家によって、別個の「チャンク」に格納されると考えられていることから、同様の手法でイメージシーケンスをチャンク化することは、本発明の有益な効果をより良く改善するであろうことが理解されよう。他の例では、チャンク化は、イベントの時間、タイプ、場所、対象などに基づくものとすることができる。本質的に、ほぼ全ての基準は、イメージシーケンスに関係するチャンクを定義するために使用され得る。チャンク化に使用されるメカニズムに関わらず、センサーデータを使用して(および、イメージデータを処理して)、より扱いやすいチャンクを生成するようにイメージシーケンスをセグメント化し、それにより患者が回想する能力を改善させる、特定の方法が存在する可能性があることを理解されたい。
【0047】
ここで図5を参照すると、例示的なイベント解析コンポーネント402のブロック図が示されている。一般に、イベント解析コンポーネント402は、チャレンジ/レスポンスコンポーネント502およびユーザクエリコンポーネント504を含むことができる。これらのコンポーネント(502、504)は、イベント解析コンポーネント402内に配置されるように示されているが、これらのコンポーネント(502、504)のそれぞれは、独立したコンポーネントであり、他方なしに存在することができる。
【0048】
操作において、イベント解析コンポーネント402は、注釈、ならびにパターン/イメージ認識技術を利用して、キャプチャされたイメージシーケンスを評価することができる。評価することで、チャンクまたはセグメントのインデックスを生成して、記憶トレーニングおよび強化を行わせるのに使用することができる。例えば、ユーザは、イベントシーケンスを介してキャプチャされた詳細について、システムに質問されることがあり、あるいはシステムに尋ねることができる。別の態様では、イメージシーケンスを手動でインデックス化することができることも理解されたい。
【0049】
チャレンジ/レスポンスコンポーネント502を使用して、あるイベント、または一連のイベントについて患者/見る者に自動的に質問することができる。例えば、自動化されたインデックス化が完了すると、システムは、ユーザに「オペラに行くのに使用した移動方法は何か?」など、詳細について質問する(すなわち、チャレンジ)ことができる。次に、患者/見る者は、適切な移動方法、例えば、電車、を返答するであろう。
【0050】
同様に、ユーザクエリコンポーネント504は、ユーザによって、イベントに関連する詳細を抽出するのに使用され得る。例えば、ユーザがオペラに行ったことを覚えているが、どのようにオペラ会場に着いたかを思い出せない場合、ユーザは、システムに照会して、電車に乗ったと究明することができる。徐々に、このチャレンジ/レスポンスおよびクエリシステムは、記憶および記憶回想機能を強化するために脳をトレーニングして「鍛える(working out)」ことを助けることができる。
【0051】
図6は、再生構成コンポーネント602および再生フィルタリンコンポーネント604を有する、イベント再生コンポーネント404のブロック図を示している。これらのコンポーネント(602、604)のそれぞれを使用して、例えば、記憶トレーニングおよび/またはセラピーの際にイメージシーケンスの再生を制御することができる。
【0052】
再生構成コンポーネント602は、あるイメージ、または一連のイメージの再生を、特定のデバイスまたはディスプレイデバイス用に構成することができる。一例では、再生構成コンポーネント602は、イメージデータを必要に応じて、携帯電話、スマートフォン、またはパーソナルデータアシスタント(PDA)などのポータブルデバイスでの表示用に修正することができる。同様に、本発明は、イメージデータを、デスクトップモニタ、ラップトップモニタ、またはテレビなどを介する表示用に構成することができる。
【0053】
フィルタリングコンポーネント604は、イベントシーケンスの一部分を、再生の前に自動的に編集し、または隠す(mask)ことができる。例えば、再生フィルタリンコンポーネント604は、例えば、浴室、シャワー室などのプライバシーが懸念される場所においてキャプチャされたイメージを隠すことができる。さらに、再生フィルタリンコンポーネント604は、記録する前または再生時においてイメージをフィルタリグするようにトレーニングされることが可能である。このトレーニングは、ルールベースとすることができ、または次の図7に示される機械学習および/または推論(MLR:machine learning and/or reasoning)コンポーネントによって達成されることが可能である。
【0054】
このような見る前(pre−view)または見た後(post−view)のフィルタリングによって、少なくとも2つの目的、すなわち、プライバシーとセラピーを達成することができる。上述したように、プライバシーが懸念されるため、プライバシーは、イメージをキャプチャする前に考慮される。センサー技術を、イメージがフィルタリングまたは隠されるべきであるかどうかを判断する際の助けとして使用することができる。
【0055】
同様に、セラピーの場合、システムは、記憶回想/トレーニングを引き起こす、または促進するために、イメージデータのセグメント(またはチャンク)を自動的にフィルタリングすることができる。このシナリオでは、システムは、特定の疾患、老化、損傷等に応じて、ある患者にとって困難であると統計的または歴史的に判断されたイベントの一部分を、自動的に隠すことができる。
【0056】
図7は、本発明にかかる、1つまたは複数の機能の自動化を容易にする機械学習および推論(MLR:machine learning and reasoning)コンポーネント702を使用するシステム700を図示している。(例えば、イメージキャプチャを引き起こすことに関して)本発明は、様々な態様を実行する様々なMLRベースのスキームを利用することができる。例えば、イベント記録コンポーネント102がキャプチャを開始することをいつトリガするか判断するプロセスは、自動分類(automatic classifier)システムおよびプロセスによって容易にされることがある。さらに、MLR技術を利用して、イベントおよび装着者に関係する、あるデータ(例えば、状況)に基づいて、イメージの再生を制御する(例えば、フィルタリング)ことができる。図示されるように、MLR機能を、イベント記録コンポーネント102および/または記憶回想コンポーネント104の一方(または両方)内に統合することができる。
【0057】
分類子(classifier)は、入力属性ベクトルx=(x1、x2、x3、x4、xn)を信頼度(confidence)にマッピングする関数であり、入力は1つのクラスに属する。すなわち、f(x)=confidence(class)である。このような分類は、確立および/または統計ベースの解析を(例えば、解析のユーティリティおよび/またはコストを考慮して)利用して、ユーザが自動的に実行されることを望むアクションを、予測または推論することができる。
【0058】
サポートベクトルマシン(SVM)が、利用され得る分類子の一例である。SVMは、可能な入力のスペースにおいて超曲面を見つけることにより動作し、超曲面は、トリガする基準をトリガしない基準から分けることを試みる。直観的に、これにより、トレーニングデータに近いが同一ではないテストデータが正しく分類される。他の有向モデルおよび無向モデルの分類方法は、例えば、ナイーブベイズ、ベイジアンネットワーク、決定木、ニューラルネットワーク、ファジー論理モデルを含み、独立の異なるパターンを提供する確立分類モデルを利用することができる。ここで使用されるような分類は、優先モデルを展開するのに使用される統計的回帰を含むものである。
【0059】
本明細書から、本発明は(一般的なトレーニングデータを介して)明示的に訓練され、(ユーザの振る舞いの観察、外部情報の受信を介して)潜在的に訓練された分類子を利用することができることが、容易に理解されるであろう。例えば、SVMは、分類子コンストラクタおよび特徴選択モジュール内の学習またはトレーニング段階を介して構成される。したがって、分類子を使用して、これらには限られないが、イメージのキャプチャをトリガするとき、イメージのキャプチャを禁止するとき、イメージを表示する方法、再生中にイメージを隠すとき、イメージをキャプチャする粒度(例えば、秒毎のフレーム数)など所定の基準に従って判断することを含め、多数の機能を自動的に学習して実行することができる。
【0060】
図8は、本発明の一態様にかかる、記憶をトレーニングする際にイベントイメージのシーケンスを利用する方法を示す。説明を簡単にするために、ここでは例としてフローチャートの形式で示されている1つまたは複数の方法を、一連のアクトとして示し、説明するが、一部のアクトは、本発明によるとここに示され説明されるものとは異なる順序で、および/または他のアクトと同時に起こり得るものであるため、本発明は、このようなアクトの順番によって限定されるものではないことを理解し、認識されたい。例えば、当業者は、方法を、状態図などの一連の相互関係のある状態またはイベントとして表すことができることを理解し、認識するであろう。さらに、図示される全てのアクトが、本発明にかかる方法を実施するのに必ずしも必要とされるわけではない。
【0061】
ステップ802において、イベントがモニタリングされる。ある例では、イベントは、時間の期間(例えば、時間、日、週、月、年)または特定の行動(例えば、友達と会う、仕事のミーティング、休暇、食料品店を訪れる)とすることができる。ほとんどの全ての時間期間または行動を、あるイベント、またはイベントのグループに定量化することができる。
【0062】
ステップ804において、イベントのイメージシーケンスがキャプチャされる。上述したように、イメージのキャプチャの粒度は、神経性の疾患、病気、および/または傷害の性質に基づくものとすることができる。したがって、粒度を、特有の疾患、病気、および/または傷害に基づいて装着者の生理的なおよび/または環境的な状況に応じて、予めプログラムし、または推論することができる。図8に点線で示されるように、代替的な例では、イベントを、(例えば、イベントシーケンスの形態で)再帰的にモニタリングし、キャプチャすることができる。言い換えると、キャプチャされたイメージの解析および/または使用を、任意の時間(例えば、イメージの全てまたは一部がキャプチャされた後)に行うことができる。
【0063】
ステップ806において、記憶回想を、シーケンス(またはシーケンスの一部分)を見ることによって引き起こすことができる。言い換えると、上述されるように、イメージシーケンスを見ることで回想を促すことができ、その後、記憶をトレーニングして、イベント、およびイベントに関連する詳細が思い出される。言い換えると、図8に示される方法を利用して、神経疾患および/または後天性頭部損傷を有する個人の脳を「鍛える」ことができる。さらに、該シナリオは、ある種の記憶機能の低下を患う個人の記憶機能を助け、向上させることに関するが、本発明のイベントイメージ(および、そのシーケンス)を利用して、なんらかの認知症を必ずしも患っていない個人の記憶機能を向上させことができる。むしろ、イメージおよびシーケンスを見ることは、「通常の」記憶機能をも向上させるのに使用することができる。
【0064】
図9を参照すると、本発明によるイメージに注釈を付ける方法が示されている。まず、ステップ902において、個人またはイベントに関する状況ファクタを検出することができる。例えば、上述したように、生理的および/または環境センサーを利用して、個人および/またはイベントに関する基準をモニタリングすることができる。
【0065】
あるイベント(またはイベントのシーケンス)に関するイメージを、ステップ904でキャプチャすることができる。これらのイメージのキャプチャを、ステップ902で収集された状況データ/ファクタに応じて、トリガすることができる。キャプチャされると、ステップ906で、イメージおよび/またはイメージのシーケンスに、状況データ(および、他のセンサーによって提供されたデータ)で注釈を付けることができる。これらの注釈によって、トレーニング/セラピーの際にイベントを記述および/または説明することを助けるためのさらなるデータが提供される。さらに、図10の方法を参照して説明されるように、この注釈を使用して、環境を再現し、イベントの間の実際の状態を模倣することができる。
【0066】
ここで図10を参照すると、本発明にかかる、特定のイベントを検索して当該イベントの環境を再現する方法が示されている。まず、ステップ1002において、クエリを生成することができる。このクエリは、イベント内のあるポイントを識別するための具体的なものとすることも、または、イベントを全体として識別するための一般的なものとすることもできる。
【0067】
ステップ1004で、所望のイメージおよび/またはイメージのシーケンスを見つけるために、検索が行われる。ある態様では、定義された質問に一致する所望のイメージおよび/またはシーケンスを検索し、見つけるために、パターンおよび音声認識メカニズムを利用することができる。同様に、これらのパターンおよび/または音声認識システムを利用して、イメージに予め注釈を付けることができ、ステップ1006で、検索およびその後の取り出しを行うことができる。例として、イベント解析コンポーネント(例えば、図4の402)に、イメージの内容に基づいて探索および/または注釈を自動化するために、これらの認識システムを備えることができる。
【0068】
取り出されると、ステップ1008でイメージを、セラピー、トレーニング、リハビリテーション、「鍛える」などの過程においてレンダリングすることができる。さらに、ステップ1010において、イメージシーケンスのキャプチャのときのイベントに関する実際のシナリオが、注釈に基づいて再現される。例えば、実際の体験を促し、それにより回想効果を強化するために、周囲温度を一致させ、補助的な音(例えば、電車、時計)などを生成することができる。
【0069】
図11を参照すると、イメージシーケンスをキャプチャし、および/または記憶トレーニングとリハビリテーションにイメージシーケンスを利用する、開示されたアーキテクチャを実行するように動作可能なコンピュータのブロック図が示されている。本発明の様々な態様に関するさらなるコンテキストを提供するために、図11および以下の説明は、本発明を実装することができる適切なコンピューティング環境1100に関する簡単で一般的な説明を提示することが意図されている。本発明を、1つまたは複数のコンピュータにおいて実行することができるコンピュータ実行可能命令に関する一般的なコンテキストで説明してきたが、当業者には、本発明を、他のプログラムモジュールと組み合わせて、および/またはハードウェアとソフトウェアの組み合わせとして実施することができることが認識されよう。
【0070】
一般に、プログラムモジュールは、特定のタスクを実行するか、特定の抽象データ型を実装するルーチン、プログラム、コンポーネント、データ構造などを含む。さらに、当業者には、本発明の方法を、それぞれが1つまたは複数の関連するデバイスに動作可能に結合され得る、単一のプロセッサまたはマルチプロセッサコンピュータシステム、ミニコンピュータ、メインフレームコンピュータ、パーソナルコンピュータ、ハンドヘルドコンピューティングデバイス、マイクロプロセッサベースまたはプログラム可能な家庭用電化製品など、他のコンピュータシステム構成で実施することができることが認識されよう。
【0071】
本発明の図示される態様を、特定のタスクが通信ネットワークを通じてリンクされたリモート処理デバイスによって実行される、分散コンピューティング環境で実施することもできる。分散コンピューティング環境では、プログラムモジュールを、ローカルおよびリモートのメモリ記憶デバイスの両方に置くことができる。
【0072】
コンピュータは、典型的に、様々なコンピュータ読み取り可能な媒体を含む。コンピュータ読み取り可能な媒体は、コンピュータがアクセス可能な任意の利用可能な媒体とすることができ、揮発性媒体および不揮発性媒体、取り外し可能な媒体および取り外し不可能な媒体を含む。限定ではなく例として、コンピュータ読み取り可能な媒体は、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ読取可能命令、データ構造、プログラムモジュール、または他のデータなど、情報の記憶のための任意の方法または手段で実装される揮発性媒体および不揮発性媒体、取り外し可能な媒体および取り外し不可能な媒体を含む。コンピュータ記憶媒体には、RAM、ROM、EEPROM、フラッシュメモリもしくは他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)もしくは他の光学ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または所望の情報を記憶するのに使用可能でありコンピュータがアクセス可能な任意の他の媒体が含まれるが、これらに限定はされない。
【0073】
通信媒体は、典型的に、搬送波または他のトランスポート機構などの変調データ信号において、コンピュータ読み取り可能命令、データ構造、プログラムモジュール、または他のデータを具現化し、さらに、任意の情報伝達媒体を含む。用語「変調データ信号」は、信号内の情報を符号化するように設定または変更された1つまたは複数の特性を有する信号を意味している。限定ではなく例として、通信媒体には、有線接続または直接有線接続等の有線媒体と、音、RF、赤外線、および他の無線媒体等の無線媒体とを含む。上記したものの任意の組み合わせもコンピュータ読み取り可能な媒体の範囲内に含まれる。
【0074】
再び図11を参照すると、本発明の様々な態様を実装するための例示的な環境1100は、コンピュータ1102を含み、当該コンピュータ1102は、処理ユニット1104、システムメモリ1106、およびシステムバス1108を含む。システムバス1108は、これには限られないがシステムメモリ1106を処理ユニット1104に結合することを含め、システムコンポーネント間を結ぶ。処理ユニット1104は、任意の様々な市販のプロセッサのいずれかとすることができる。デュアルマイクロプロセッサおよび他のマルチプロセッサアーキテクチャを、処理ユニット1104として利用することもできる。
【0075】
システムバス1108は、任意の様々な市販のバス構造を用いて、メモリバス(メモリコントローラを有していても、有していなくても)、周辺バス、およびローカルバスにさらに相互接続することができる、いくつかのタイプのバス構造のいずれかとすることができる。システムメモリ1106は、リードオンリメモリ(ROM)1110およびランダムアクセスメモリ(RAM)1112を含んでいる。基本入力/出力システム(BIOS)は、ROM、EPROM、EEPROMなどの不揮発性メモリ1110に記憶され、BIOSは、例えば起動中などに、コンピュータ1102内の要素同士の間の情報の送信を助ける基本ルーチンを含んでいる。RAM1112は、データをキャッシュするためのスタティックRAMなどの高速RAMを含むこともできる。
【0076】
コンピュータ1102は、外部使用のために適切なシャーシ(図示せず)に構成することができる内蔵ハードディスクドライブ(HDD)1114(例えば、EIDE、SATA)、(例えば、取り外し可能なディスケット1118との間で読み書きするための)磁気フロッピー(登録商標)ディスク(FDD)1116、および(例えば、CD−ROMディスク1122を読み取り、またはDVD等の他の高容量光学媒体との間で読み書きするための)光学ディスクドライブ1120をさらに含む。ハードディスクドライブ1114、磁気ディスクドライブ1116、および光学ディスクドライブ1120は、ハードディスクドライブインターフェース1124、磁気ディスクドライブインターフェース1126、および光学ドライブインターフェース1128により、システムバス1108にそれぞれ接続され得る。外部ドライブ実装のためのインターフェース1124は、ユニバーサルシリアルバス(USB)およびIEEE1394インターフェース技法の少なくとも一方または両方を含む。他の外部ドライブ接続技法も本発明の範囲内に含まれる。
【0077】
ドライブおよび関連するコンピュータ読み取り可能な媒体は、データ、データ構造、およびコンピュータ実行可能命令などの不揮発性のストレージを提供する。コンピュータ1102については、ドライブおよび媒体は、適切なデジタルフォーマットで任意のデータのストレージを提供する。上記のコンピュータ読み取り可能な媒体の記述は、HDD、取り外し可能な磁気ディスケット、およびCDもしくはDVDなどの取り外し可能な光学媒体について言及しているが、ジップドライブ、磁気カセット、フラッシュメモリカード、およびカートリッジなど、コンピュータによって読み取り可能な他のタイプの媒体も、典型的なオペレーティング環境で使用することができ、任意の上記媒体は、本発明の方法を実行するコンピュータ実行可能命令を含むことができることを、当業者であれば理解されたい。
【0078】
例えば、オペレーティングシステム1130、1つまたは複数のアプリケーションプログラム1132、他のプログラムモジュール1134、およびプログラムデータ1136を含め多数のプログラムモジュールを、ドライブおよびRAM1112に格納することができる。オペレーティングシステム、アプリケーション、モジュール、および/またはデータの全てまたは一部を、RAM1112にキャッシュすることもできる。本発明を、様々な市販の入手可能なオペレーティングシステムまたはオペレーティングシステムの組み合わせで実装することができることが理解されよう。
【0079】
ユーザは、1つまたは複数の有線/無線入力デバイス、例えば、キーボード1138、およびマウス1140等のポインティングデバイスなどを通じて、コンピュータ1102にコマンドおよび情報を入力することができる。他の入力デバイス(図示せず)には、マイク、IRリモートコントローラ、ジョイスティック、ゲームパッド、スタイラスペン、またはタッチスクリーンなどが含まれる。これらおよび他の入力デバイスはしばしば、システムバス1108に結合される入力デバイスインターフェース1142を通じて、処理ユニット1104に接続されるが、パラレルポート、IEEE1394シリアルポート、ゲームポート、USBポート、IRインターフェースなどの他のインターフェースによって接続されることもある。
【0080】
モニタ1144または他のタイプのディスプレイデバイスは、ビデオアダプタ1146等のインターフェースを介してシステムバス1108に接続される。モニタ1144に加えて、コンピュータは、典型的に、スピーカ、プリンタ等の他の周辺出力デバイス(図示せず)を含む。
【0081】
コンピュータ1102は、リモートコンピュータ1148等の1つまたは複数のリモートコンピュータへの有線および/または無線通信を介する論理接続を使用してネットワーク化された環境において動作することができる。リモートコンピュータ1148は、ワークステーション、サーバコンピュータ、ルータ、パーソナルコンピュータ、ポータブルコンピュータ、マイクロプロセッサベースのゲーム機器、ピアデバイス、または他の共通ネットワークノードとすることができ、典型的には、コンピュータ1102に関連して説明した要素の多くまたは全てを含むが、簡単性のために、メモリ/記憶デバイス1150だけを図示している。上述した論理接続は、ローカルエリアネットワーク(LAN)1152、および/または例えばワイドエリアネットワーク(WAN)1154等の大規模ネットワークへの有線/無線接続を含む。このようなLANおよびWANネットワーク環境はオフィスおよび会社において一般的であり、イントラネット等の企業規模のコンピュータネットワークを容易にし、これらの全ては、例えばインターネット等のグローバル通信ネットワークに接続することができる。
【0082】
LANネットワーク環境において使用されるとき、コンピュータ1102は、有線/無線通信ネットワークインターフェースまたはアダプタ1156を通じて、ローカルネットワーク1152に接続される。アダプタ1156は、LAN1152への有線または無線通信を容易することができ、LAN1152は、無線アダプタ1156と通信し、当該LAN1152に配置される無線アクセスポイントを含むこともできる。
【0083】
WANネットワーク環境において使用されるとき、コンピュータ1102は、モデム1158を含むことができるか、WAN1154上の通信サーバに接続されるか、または例えば、インターネットによる方法などWAN1154上で通信を確立するための他の手段を有する。内蔵もしくは外付けとすることができ、有線もしくは無線デバイスとすることができるモデム1158は、シリアルポートインターフェース1142を介してシステムバス1108に接続される。ネットワーク化された環境において、コンピュータ1102に関連して説明したプログラムモジュール、またはその一部を、リモートメモリ/記憶デバイス1150に格納することができる。示されるネットワーク接続は例示的なものであり、コンピュータ間の通信リンクを確立する他の手段を使用することができる。
【0084】
コンピュータ1102は、無線通信で動作可能に配置された任意の無線デバイスまたはエンティティと通信するように動作可能であり、当該任意の無線デバイスまたはエンティティは、例えば、プリンタ、スキャナ、デスクトップおよび/またはポータブルコンピュータ、ポータブルデータアシスタント、通信衛星、無線検出可能なタグに関連する装置または位置の任意の一部(例えば、キオスク、新聞売店、休憩室等)、および電話などである。これは、少なくともWi−Fiおよびブルートゥース(登録商標)無線技術を含んでいる。したがって、通信は、少なくとも2つのデバイスの間の従来のネットワークまたは単純なアドホック通信のような予め定められた構造とすることができる。
【0085】
Wi−Fiすなわちワイヤレスフィデリティにより、有線を必要とせずに、家のソファ、ホテルの部屋のベッド、または職場の会議室からインターネットに接続することができる。Wi−Fiは、携帯電話に使用される無線技術と同様の無線技術であり、例えばコンピュータなどの上記デバイスが、室内および外部(基地局の範囲内であればどこでも)、データを送受信することを可能にする。Wi−Fiネットワークは、IEEE802.11(a、b、g等)と呼ばれる無線技術を使用し、セキュアで信頼性があり迅速な無線接続を提供する。Wi−Fiネットワークを使用して、コンピュータを相互に、インターネット、および有線ネットワーク(IEEE802.3またはイーサネット(登録商標)を使用する)に接続することができる。Wi−Fiネットワークは、ライセンスが不要の2.4GHzおよび5GHzの無線帯域において、11Mbps(802.11a)または54Mbps(802.11b)データレートで、または例えば、両方の帯域(デュアルバンド)を有する製品とともに動作し、したがって、ネットワークは、多くのオフィスで使用される標準的な10BaseT有線イーサネット(登録商標)ネットワークと同様の実際のパフォーマンスを提供することができる。
【0086】
図12を参照すると、本発明にかかる例示的なコンピューティング環境1200の概略ブロック図が図示されている。システム1200は、1つまたは複数のクライアント1202を含む。クライアント1202は、ハードウェアおよび/またはソフトウェア(例えば、スレッド、プロセス、コンピューティングデバイス)とすることができる。クライアント1202は、例えば、本発明の利用による、クッキーおよび/または関連するコンテキスト情報を含むことができる。
【0087】
システム1200は、1つまたは複数のサーバ1204を含む。サーバ1204も、ハードウェアおよび/またはソフトウェア(例えば、スレッド、プロセス、コンピューティングデバイス)とすることができる。サーバ1204は、例えば、本発明の利用による、スレッドを含み変換を実行することができる。クライアント1202とサーバ1204との間の1つの可能な通信は、2つまたはそれ以上のコンピュータプロセスの間で送信されるように適応されたデータパケットの形式とすることができる。データパケットは、例えば、クッキーおよび/または関連するコンテキスト情報を含むことができる。システム1200は、クライアント1202とサーバ1204との間の通信を容易にするのに利用することができる通信フレームワーク1206(例えば、インターネット等のグローバル通信ネットワーク)を含む。
【0088】
通信は、有線(光ファイバを含む)および/または無線技術を介して容易にされる。クライアント1202は、クライアント1202にローカルな情報(例えば、クッキーおよび/または関連するコンテキスト情報)を格納するのに利用することができる、1つまたは複数のクライアントデータストア1208に動作可能に接続される。同様に、サーバ1204は、サーバ1204にローカルな情報を格納するのに利用することができる、1つまたは複数のサーバデータストア1210に動作可能に接続される。
【0089】
上述してきたことには、本発明の例が含まれる。もちろん、本発明を説明するために、コンポーネントまたは方法の全ての考えられる全ての組み合わせを説明することは不可能であるが、当業者には、本発明の多くのさらなる組み合わせおよび置換が可能であることが認識されよう。したがって、本発明は、添付の特許請求の範囲の精神および範囲内の全てのそのような代替、修正、および変更を含むことが意図されている。さらに、用語「含む(include)」が詳細な説明または特許請求の範囲で使用される場合、このような用語は、「備える(comprising)」が特許請求の範囲において変遷的な語として使用されるときに解釈される「含む」と同じように包括的であるように意図されている。
【特許請求の範囲】
【請求項1】
自伝的回想を容易にするシステムであって、
あるイベントに関連する複数のイメージをキャプチャするイベント記録コンポーネントと、
前記複数のイメージのサブセットの表示を介して記憶機能を促す記憶回想コンポーネントと
を備えたことを特徴とするシステム。
【請求項2】
前記イベントの一部に応じて前記イメージのサブセットを探すイベント解析コンポーネントをさらに備えたことを特徴とする請求項1に記載のシステム。
【請求項3】
システム生成されたチャレンジに対するユーザのレスポンスに応じて、前記イメージのサブセットを探すチャレンジ/レスポンスコンポーネントをさらに備えたことを特徴とする請求項2に記載のシステム。
【請求項4】
ユーザ定義されたクエリの生成を容易にするユーザクエリコンポーネントをさらに備え、前記イメージのサブセットは、前記ユーザ定義されたクエリに応じて探されることを特徴とする請求項2に記載のシステム。
【請求項5】
前記イメージのサブセットの表示を容易にするイベント再生コンポーネントをさらに備えたことを特徴とする請求項1に記載のシステム。
【請求項6】
表示のために前記イメージのサブセットをフォーマットする再生構成コンポーネントをさらに備えたことを特徴とする請求項5に記載のシステム。
【請求項7】
前記イメージ内のコンテンツに応じてイメージをフィルタリングする再生フィルタリングコンポーネントをさらに備えたことを特徴とする請求項5に記載のシステム。
【請求項8】
ユーザの代わりに前記イベントレコーダコンポーネントおよび前記記憶回想コンポーネントの少なくとも1つのアクションを自動化する、機械学習および推論コンポーネントをさらに備えたことを特徴とする請求項1に記載のシステム。
【請求項9】
前記イベントレコーダコンポーネントは、前記イベントに関連するイメージシーケンスデータの複数のチャンクの定義を可能にするセンサーコンポーネントを含み、前記複数のチャンクのそれぞれは、記憶の刺激を提供するサブシーケンスを定義することを特徴とする請求項1に記載のシステム。
【請求項10】
前記センサーコンポーネントは、環境センサーコンポーネントおよび生理センサーコンポーネントの少なくとも1つであることを特徴とする請求項9に記載のシステム。
【請求項11】
前記イメージのサブセットに自動的に注釈を付けるイベント注釈コンポーネントをさらに備え、前記注釈は前記イメージのサブセットのそれぞれに関連する状況を記述することを特徴とする請求項1に記載のシステム。
【請求項12】
前記複数のイメージはビデオクリップを形成することを特徴とする請求項1に記載のシステム。
【請求項13】
前記イベントレコーダコンポーネントは、前記複数のイメージをキャプチャし、前記複数のイメージは、装着者の視点からキャプチャされることを特徴とする請求項1に記載のシステム。
【請求項14】
前記表示は、素早く連続するスライドショーの形式による前記イメージのサブセットの表示を容易にする、時間圧縮されたフォーマットを介するものであることを特徴とする請求項1に記載のシステム。
【請求項15】
記憶機能を刺激する方法であって、
ユーザに起こったイベントの記録を選択するステップと、
前記記録の再生を介して自伝的イベントに関するユーザの記憶を刺激するステップと
を含むことを特徴とする方法。
【請求項16】
前記記録は、複数のイメージのシーケンス、またはビデオストリームの少なくとも1つであることを特徴とする請求項15に記載の方法。
【請求項17】
前記記録を少なくとも2回再生するステップをさらに含み、前記記録は、ユーザの視点からキャプチャされたイメージのシーケンスであることを特徴とする請求項15に記載の方法。
【請求項18】
前記再生するステップは、時間圧縮されたフォーマットで再生するステップを含むことを特徴とする請求項17に記載の方法。
【請求項19】
記憶の刺激を容易にするシステムであって、
イベントに関連するイメージについてユーザ視点のシーケンスをキャプチャするための手段と、
前記イメージについてユーザ視点のシーケンスのサブセットを取り出すための手段と、
ユーザの記憶を刺激するために前記ユーザ視点シーケンスの前記サブセットを再生するための手段と
を含むことを特徴とするシステム。
【請求項20】
前記再生するための手段は、前記イベントの回想を助けること、ユーザの認識能力を改善すること、またはユーザの記憶機能の低下を防止することの少なくとも1つを行う、時間圧縮されたフォーマットで再生する手段を含むことを特徴とする請求項19に記載のシステム。
【請求項1】
自伝的回想を容易にするシステムであって、
あるイベントに関連する複数のイメージをキャプチャするイベント記録コンポーネントと、
前記複数のイメージのサブセットの表示を介して記憶機能を促す記憶回想コンポーネントと
を備えたことを特徴とするシステム。
【請求項2】
前記イベントの一部に応じて前記イメージのサブセットを探すイベント解析コンポーネントをさらに備えたことを特徴とする請求項1に記載のシステム。
【請求項3】
システム生成されたチャレンジに対するユーザのレスポンスに応じて、前記イメージのサブセットを探すチャレンジ/レスポンスコンポーネントをさらに備えたことを特徴とする請求項2に記載のシステム。
【請求項4】
ユーザ定義されたクエリの生成を容易にするユーザクエリコンポーネントをさらに備え、前記イメージのサブセットは、前記ユーザ定義されたクエリに応じて探されることを特徴とする請求項2に記載のシステム。
【請求項5】
前記イメージのサブセットの表示を容易にするイベント再生コンポーネントをさらに備えたことを特徴とする請求項1に記載のシステム。
【請求項6】
表示のために前記イメージのサブセットをフォーマットする再生構成コンポーネントをさらに備えたことを特徴とする請求項5に記載のシステム。
【請求項7】
前記イメージ内のコンテンツに応じてイメージをフィルタリングする再生フィルタリングコンポーネントをさらに備えたことを特徴とする請求項5に記載のシステム。
【請求項8】
ユーザの代わりに前記イベントレコーダコンポーネントおよび前記記憶回想コンポーネントの少なくとも1つのアクションを自動化する、機械学習および推論コンポーネントをさらに備えたことを特徴とする請求項1に記載のシステム。
【請求項9】
前記イベントレコーダコンポーネントは、前記イベントに関連するイメージシーケンスデータの複数のチャンクの定義を可能にするセンサーコンポーネントを含み、前記複数のチャンクのそれぞれは、記憶の刺激を提供するサブシーケンスを定義することを特徴とする請求項1に記載のシステム。
【請求項10】
前記センサーコンポーネントは、環境センサーコンポーネントおよび生理センサーコンポーネントの少なくとも1つであることを特徴とする請求項9に記載のシステム。
【請求項11】
前記イメージのサブセットに自動的に注釈を付けるイベント注釈コンポーネントをさらに備え、前記注釈は前記イメージのサブセットのそれぞれに関連する状況を記述することを特徴とする請求項1に記載のシステム。
【請求項12】
前記複数のイメージはビデオクリップを形成することを特徴とする請求項1に記載のシステム。
【請求項13】
前記イベントレコーダコンポーネントは、前記複数のイメージをキャプチャし、前記複数のイメージは、装着者の視点からキャプチャされることを特徴とする請求項1に記載のシステム。
【請求項14】
前記表示は、素早く連続するスライドショーの形式による前記イメージのサブセットの表示を容易にする、時間圧縮されたフォーマットを介するものであることを特徴とする請求項1に記載のシステム。
【請求項15】
記憶機能を刺激する方法であって、
ユーザに起こったイベントの記録を選択するステップと、
前記記録の再生を介して自伝的イベントに関するユーザの記憶を刺激するステップと
を含むことを特徴とする方法。
【請求項16】
前記記録は、複数のイメージのシーケンス、またはビデオストリームの少なくとも1つであることを特徴とする請求項15に記載の方法。
【請求項17】
前記記録を少なくとも2回再生するステップをさらに含み、前記記録は、ユーザの視点からキャプチャされたイメージのシーケンスであることを特徴とする請求項15に記載の方法。
【請求項18】
前記再生するステップは、時間圧縮されたフォーマットで再生するステップを含むことを特徴とする請求項17に記載の方法。
【請求項19】
記憶の刺激を容易にするシステムであって、
イベントに関連するイメージについてユーザ視点のシーケンスをキャプチャするための手段と、
前記イメージについてユーザ視点のシーケンスのサブセットを取り出すための手段と、
ユーザの記憶を刺激するために前記ユーザ視点シーケンスの前記サブセットを再生するための手段と
を含むことを特徴とするシステム。
【請求項20】
前記再生するための手段は、前記イベントの回想を助けること、ユーザの認識能力を改善すること、またはユーザの記憶機能の低下を防止することの少なくとも1つを行う、時間圧縮されたフォーマットで再生する手段を含むことを特徴とする請求項19に記載のシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公表番号】特表2010−515082(P2010−515082A)
【公表日】平成22年5月6日(2010.5.6)
【国際特許分類】
【出願番号】特願2009−540481(P2009−540481)
【出願日】平成19年12月6日(2007.12.6)
【国際出願番号】PCT/US2007/086671
【国際公開番号】WO2008/070790
【国際公開日】平成20年6月12日(2008.6.12)
【出願人】(500046438)マイクロソフト コーポレーション (3,165)
【Fターム(参考)】
【公表日】平成22年5月6日(2010.5.6)
【国際特許分類】
【出願日】平成19年12月6日(2007.12.6)
【国際出願番号】PCT/US2007/086671
【国際公開番号】WO2008/070790
【国際公開日】平成20年6月12日(2008.6.12)
【出願人】(500046438)マイクロソフト コーポレーション (3,165)
【Fターム(参考)】
[ Back to top ]