非言語情報解析装置および非言語情報解析プログラム並びに非言語情報解析方法
【課題】人物が表出する非言語情報から、当該人物が自然な表情を表している度合いを示す情報あるいは他者との関わりに対する反応の大きさを示す情報を含む、当該人物によって表出されていない感情を推測する手がかりとなる情報を収集する。
【解決手段】人物が表出する非言語反応を観測するセンサ部から取得した観測データから生成された非言語情報に含まれる、人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、感情表現が人物の感情の自然な表れである可能性の高さを示す情動度を評価する。また、センサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に生成された非言語情報に含まれる少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、変動が出現したタイミングと刺激媒体から人物が刺激を受けたタイミングとの関係とに基づいて、人物の刺激媒体に対する関心の高さを示す同調度を評価する。
【解決手段】人物が表出する非言語反応を観測するセンサ部から取得した観測データから生成された非言語情報に含まれる、人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、感情表現が人物の感情の自然な表れである可能性の高さを示す情動度を評価する。また、センサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に生成された非言語情報に含まれる少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、変動が出現したタイミングと刺激媒体から人物が刺激を受けたタイミングとの関係とに基づいて、人物の刺激媒体に対する関心の高さを示す同調度を評価する。
【発明の詳細な説明】
【技術分野】
【０００１】
本件開示は、人物の表情や身振りなどを表す非言語情報を解析する非言語情報解析装置および非言語情報解析プログラム並びに非言語情報解析方法に関する。
【背景技術】
【０００２】
遠隔地に住んでいる家族の様子を見守るサービスとして、例えば、電気ポットなどの家電製品の利用状況などに基づいて、生活リズムに関する情報を収集する技術が提案されている(特許文献１参照)。
【０００３】
一方、人物を撮影した画像に含まれる特徴点の位置変化などに基づいて、当該人物の表情を判断する技術が提案されている(特許文献２参照)。また、映像コンテンツなどを視聴している人物の瞳孔が拡大あるいは縮小する反応の速度や視線の動きに基づいて、当該人物が興奮している度合いなどを含む情動の大きさを推測する技術なども提案されている(特許文献３参照)。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−０７３９６６号公報
【特許文献２】特開２０１１−０３９９３４号公報
【特許文献３】特開２０１０−０９４４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
遠隔地の家族の見守りを支援するためには、例えば、見守り対象の人物の表情や身振りなどを表す非言語情報から、当該人物が表に出していない感情を推測する手がかりとなる情報を収集することが望ましい。
【０００６】
上述した特許文献２などの技法によれば、見守り対象の人物を撮影した画像を解析することにより、当該人物が表に出した表情の種類を判断することは可能である。
【０００７】
しかしながら、見守り対象の人物は、画像の撮影の際に、例えば、笑顔など、他の家族を安心させるような種類の表情を装う可能性がある。そして、このような装われた表情と、当該人物の自然な感情から表れた表情とを、特許文献２の技法によって区別することは困難である。
【０００８】
一方、特許文献３の技法では、視線検出や瞳孔反応の観測などのために、見守り対象の人物に大掛かりな装置を装着する必要があり、見守り対象の人物の負担が大きくなってしまう。また、この技法は、視聴しているコンテンツに対して対象の人物が抱く関心の大きさを評価可能である反面、人物の穏やかな表情を判断することは困難である。
【０００９】
本件開示は、人物が表出する非言語反応から、当該人物が自然な表情を表している度合いを示す情動度あるいは当該人物の他者に対する反応の大きさを示す同調度を評価することが可能な非言語情報解析方法および非言語情報解析装置を提供することを目的とする。また、本件開示は、情動度および同調度の評価を通じて、当該人物が表出していない感情を推測するための情報を収集可能な非言語情報解析装置および非言語情報解析プログラム並びに非言語情報解析方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
一つの観点による非言語情報解析装置は、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部と、前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さをそれぞれ示す計測値を含む非言語情報を生成する生成部と、前記生成部で生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する第１評価部とを有する。
【００１１】
別の観点による非言語情報解析装置は、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部と、前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成部と、刺激媒体から前記人物へ刺激を与えたタイミングで、前記生成部に対して非言語情報を生成させる制御を行う生成制御部と、前記生成部で生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する第２評価部とを有する。
【００１２】
また、別の観点による非言語情報解析プログラムは、コンピュータに、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成させ、生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価させる。
【００１３】
更に別の観点による非言語情報解析プログラムは、コンピュータが、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する。
【００１４】
また、別の観点による非言語情報解析方法は、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する。
【００１５】
別の観点による非言語情報解析方法は、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する。
【発明の効果】
【００１６】
本件開示の非言語情報解析装置および非言語情報解析プログラム並びに非言語情報解析方法によれば、人物が表出する非言語反応から、当該人物が自然な表情を表している度合いあるいは他者に対する反応の大きさを示す情報を収集することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】非言語情報解析装置の一実施形態を示す図である。
【図２】非言語反応の強さを示す計測値の時間変動の例を示す図である。
【図３】非言語情報解析装置の別実施形態を示す図である。
【図４】非言語情報解析装置の別実施形態を示す図である。
【図５】非言語情報解析装置の別実施形態を示す図である。
【図６】非言語情報の例を示す図である。
【図７】非言語情報解析装置の別実施形態を示す図である。
【図８】アクションごとの遅延時間の例を示す図である。
【図９】非言語情報解析装置の別実施形態を示す図である。
【図１０】非言語情報解析装置の別実施形態を示す図である。
【図１１】情動度を算出する処理を説明する図である。
【図１２】非言語情報解析装置の別実施形態を示す図である。
【図１３】同調度を評価する処理を説明する図である。
【図１４】非言語情報解析装置の別実施形態を示す図である。
【図１５】非言語情報解析装置の別実施形態を示す図である。
【図１６】非言語情報解析装置の別実施形態を示す図である。
【図１７】活性度の算出処理を説明する図である。
【図１８】非言語情報解析装置の別実施形態を示す図である。
【図１９】見守り画面の例を示す図である。
【図２０】非言語情報解析装置の別実施形態を示す図である。
【図２１】非言語情報解析装置のハードウェア構成例を示す図である。
【図２２】非言語情報解析処理のフローチャートの一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
【００１９】
図１は、非言語情報解析装置の一実施形態を示している。図１に例示した非言語情報解析装置１０は、センサ部１１と、生成部１２と、第１評価部１３とを含んでいる。
【００２０】
センサ部１１は、人物Ｐ１の表情もしくは身振りを含む非言語反応を観測する。生成部１２は、センサ部１１が取得した観測データから、人物Ｐ１が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する。第１評価部１３は、生成された非言語情報に含まれる、人物Ｐ１の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、感情表現が人物Ｐ１の感情の自然な表れである可能性の高さを示す情動度を評価する。
【００２１】
センサ部１１は、人物Ｐ１の表情や身振りなどの視覚的な非言語反応の観測に用いるカメラや、音声や接触などの聴覚や触覚によって捉えられる非視覚的な非言語反応を観測する機能を有するセンサデバイスを含んでいてもよい。なお、図１では、センサ部１１に含まれるカメラや他のセンサデバイスの図示は省略している。
【００２２】
生成部１２は、例えば、人物Ｐ１をセンサ部１１に含まれるカメラによって得られた画像データに対して顔認識処理などの画像処理を適用することにより、人物Ｐ１の顔や手を含む各部位の位置および顔に含まれる各特徴点の位置を示す位置情報を取得する。また、これらの位置情報に基づいて、生成部１２は、人物Ｐ１の表情が笑顔である度合いを示す笑顔度や、手や首の動きの大きさおよび動きの頻度などを示す計測値を得ることができる。これらの計測値は、人物Ｐ１が表出した個々の非言語反応の強さを示す計測値である。
【００２３】
人物Ｐ１は、意識的な感情表現として、顔の表情や身振り、手のジェスチャーや、発話音声の抑揚など、様々な非言語反応を表出する。このような感情表現として表出された非言語反応が、人物Ｐ１の情動に由来している場合に、これらの非言語反応の強さは、人物Ｐ１の情動の変動を反映する。このため、生成部１２によって生成される非言語情報に含まれる各計測値は、急激な増大や揺らぎを伴って、時間的に不規則に変動する場合が多い。
【００２４】
一方、人物Ｐ１が笑顔を装った場合などに、この人物Ｐ１の画像を解析して得られる笑顔度は、この人物Ｐ１が自然に笑顔になった場合に比べて、緩やかに、また、規則的に上昇する場合が多い。
【００２５】
図２は、非言語反応の強さを示す計測値の時間変動の例を示している。図２において、横軸は、時間ｔを示し、縦軸は、計測値の一例である笑顔度ｓを示す。
【００２６】
図２において、符号Ｓ１(ｔ)で示したグラフは、自然な笑顔を形成している可能性の高い人物を撮影した画像に対して顔認識処理を行って得られた笑顔度の時間変化を示す。また、符号Ｓ２(ｔ)で示したグラフは、作為的な笑顔を形成している可能性の高い人物を撮影した画像に対して顔認識処理を行って得られた笑顔度の時間変化を示す。
【００２７】
図２に例示したグラフＳ１(ｔ)は、撮影された人物の笑顔度が複雑な曲線を描いて上昇していく様子を示している。このように、自然な笑顔を形成している可能性の高い人物を撮影した画像から得られた笑顔度は、時間とともに急激に上昇したり、一旦緩んだ後にまた上昇したりといった複雑な変化を示す場合が多い。これに対して、作為的な笑顔を形成している可能性の高い人物を撮影した画像から得られた笑顔度は、図２に例示したグラフＳ２(ｔ)のように、単調に上昇した後、単調に下降する場合が多い。
【００２８】
このように、人物Ｐ１の表情や動作に表れた感情表現を表す少なくとも一つの非言語反応が情動に由来している場合と、人物Ｐ１の作為に由来している場合とでは、これらの非言語反応の強さを示す計測値の時間的な変動の特徴が異なっている。
【００２９】
したがって、第１評価部１３は、例えば、非言語反応の強さを示す計測値が、時間的に不規則に変動する度合いの高さに基づいて、当該非言語反応で表される感情表現が人物Ｐ１の自然な感情表現である可能性の高さを評価することができる。第１評価部１３は、例えば、笑顔度や手のジェスチャーの大きさや頻度などの計測値の時間的な変動が不規則である度合いに応じて、大きい値となるように情動度を求めることにより、人物Ｐ１の自然な感情表現である可能性の高さを反映することができる。
【００３０】
なお、人物Ｐ１が表出した感情表現に複数種類の非言語反応が含まれている場合に、第１評価部１３は、例えば、個々の非言語反応についての評価結果の最大値を人物Ｐ１の情動度としてもよい。
【００３１】
このように、第１評価部１３を含む本件開示の非言語情報解析装置１０によれば、人物Ｐ１が表出した感情表現が、自然な感情表現である可能性の高さを示す情動度を評価することができる。そして、この情動度は、人物Ｐ１が情動に応じて豊かな表情を表出できるようなリラックスした状態である可能性の高さを示している。したがって、このようにして情動度を求めることにより、本件開示の非言語情報解析装置１０によれば、人物Ｐ１によって表出されていない感情を推測する手がかりとなる情報を収集することができる。
【００３２】
また、本件開示の非言語情報解析装置は、例えば、人物を撮影した動画像に含まれる非言語情報に基づいて、動画像に捉えられた人物についての情動度を評価することができる。そして、この評価結果は、家庭用ビデオ撮影装置などによって撮影された動画像を含む動画像を編集するための動画編集処理装置などにおいて利用することができる。
【００３３】
例えば、本件開示の非言語情報解析装置により、動画像に含まれる複数のシーンごとに、被写体として含まれている人物についての情動度を評価し、得られた評価結果を含むタグ情報を各シーンに対応付けて動画像データに付加してもよい。このようなタグ情報を利用することにより、動画像編集装置において、例えば、被写体の人物の情動度が所定の値以上となっているシーンを切り出すなどの操作を容易に実現することができる。例えば、家庭用ビデオ撮影装置を用いて子どもを撮影した動画像から、被写体となった子どもが豊かな表情を見せているシーンの候補を自動的に抽出することにより、動画像編集処理に含まれるシーンの取捨選択作業を支援することができる。
【００３４】
本件開示の非言語情報解析装置１０は、次に示すように、人物Ｐ１に刺激が与えられたときに、この刺激に応じて表出した感情表現が自然な感情表現である可能性の高さを評価する用途にも利用することができる。
【００３５】
図３は、非言語情報解析装置１０の別実施形態を示している。なお、図３に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００３６】
図３に例示した刺激媒体２は、人物Ｐ１に視覚的な刺激あるいは非視覚的な刺激を与える物体でもよいし、また、人物Ｐ１が視聴可能な映像コンテンツなどでもよい。なお、刺激媒体２が映像コンテンツである場合に、非言語情報解析装置１０は、この映像コンテンツの再生タイミングを受け取ることができ、この再生タイミングに基づいて、人物Ｐ１が刺激を受けたタイミングを正確に特定することができる。したがって、映像コンテンツなどが刺激媒体である場合に、非言語情報解析装置１０は、後述するように、センサ部１１による観測動作の開始や生成部１２による非言語情報の生成動作を、この再生タイミングによって精密に制御することができる。一方、刺激媒体２が、物体などである場合は、例えば、物体が人物Ｐ１に提示されたタイミングなどに基づいて、刺激媒体２による刺激が人物Ｐ１に作用したタイミングを推定してもよい。また、刺激媒体２は、非言語情報解析装置１０に含まれていてもよい。
【００３７】
図３に例示した非言語情報解析装置１０は、図１に例示した各部に加えて、生成制御部１４を含んでいる。この生成制御部１４は、人物Ｐ１が刺激媒体２からの刺激を受けたタイミングで、生成部１２に対して非言語情報を生成させる制御を行う。
【００３８】
これにより、生成部１２は、刺激媒体２からの刺激によって人物Ｐ１に喚起された少なくとも一つの非言語反応の強さをそれぞれ示す計測値を含む非言語情報を生成することができる。
【００３９】
ここで、例えば、刺激媒体２の種類や性質および特徴の変化によって、人物Ｐ１が表出する感情表現は様々に変化する可能性がある。そして、様々な刺激媒体２に人物Ｐ１が接した際に生成部１２が生成した非言語情報に基づいて、第１評価部１３は、人物Ｐ１が表出した様々な感情表現について情動度をそれぞれ評価することができる。
【００４０】
したがって、図３に例示した非言語情報解析装置１０によれば、多様な感情表現についての情動度を評価可能とすることにより、人物Ｐ１によって表出されていない感情を推測する手がかりとなる情報を更に多く収集することができる。
【００４１】
なお、映像コンテンツに付加されているタグ情報などを利用することにより、人物Ｐ１が映像コンテンツを視聴している際に受ける刺激の内容と、人物Ｐ１が表出した感情表現とを明確に対応付けることが可能である。また、刺激媒体２が人物Ｐ１に作用した作用タイミングが高い精度で特定できる場合には、感情表現を表す非言語反応の強さを示す計測値が大きく変動するタイミングと作用タイミングとの近さを情動度に反映してもよい。
【００４２】
また、人物Ｐ１とコミュニケーションを行う機能を有するコミュニケーションロボットを、刺激媒体２として利用することもできる。
【００４３】
図４は、非言語情報解析装置１０の別実施形態を示している。なお、図４に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００４４】
図４に例示したクマ型コミュニケーションロボットＲ１は、コミュニケーションロボットの一例である。なお、以下の説明では、このクマ型コミュニケーションロボットＲ１を、クマ型ロボットＲ１と称する。
【００４５】
図４に例示した非言語情報解析装置１０のセンサ部１１は、このクマ型ロボットＲ１に搭載されている。また、センサ部１１に含まれるカメラ１１１の光軸は、クマ型ロボットＲ１の視線方向に概ね一致している。例えば、カメラ１１１の受光部を、クマ型ロボットの鼻の部分に設けられた開口部に一致させるように、カメラ１１１を配置することにより、クマ型ロボットＲ１の視線方向とカメラ１１１の光軸方向をほぼ一致させることができる。
【００４６】
このようにカメラ１１１を配置することにより、人物Ｐ１の視線とクマ型ロボットＲ１の視線とが一致したアイコンタクト状態において、カメラ１１１から人物Ｐ１のゆがみの少ない画像を取得することが可能となる。
【００４７】
また、図４に例示した生成制御部１４は、第１検出部１４１と期間設定部１４２とを含んでいる。この第１検出部１４１は、カメラ１１１で取得されたに基づいて、クマ型ロボットＲ１の視線と人物Ｐ１の視線とが一致したタイミングを検出する。例えば、第１検出部１４１は、カメラ１１１で取得された画像の中央に正面向きの人物が捉えられたときを、人物Ｐ１とクマ型ロボットＲ１との間でアイコンタクトが成立したタイミングとして検出してもよい。
【００４８】
また、期間設定部１４２は、第１検出部１２１で検出されたタイミングを含む所定の長さの期間を設定し、この期間において、生成部１２に対して、人物Ｐ１が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる。期間設定部１４２は、例えば、上述したアイコンタクトのタイミングより１秒前から、アイコンタクトのタイミングから４秒が経過するまでの期間を、生成部１２が非言語情報を生成する期間として設定してもよい。このようにして設定された期間は、人物Ｐ１とクマ型ロボットＲ１との間にアイコンタクトが維持されている期間に対応しているので、以下の説明では、この期間をアイコンタクト区間と称する。なお、期間設定部１４２が設定するアイコンタクト区間の長さおよびこのアイコンタクト区間の始点や終点は、アイコンタクトのタイミングがこのアイコンタクト区間内に含まれるように設定されればよく、上述した例に限定されることはない。
【００４９】
上述したようにして、第１検出部１２１が検出したタイミングは、人物Ｐ１がクマ型ロボットＲ１を認知したタイミングに相当する可能性が高い。したがって、期間設定部１４２が、生成部１２に、上述したアイコンタクト区間について非言語情報を生成させることにより、人物Ｐ１がクマ型ロボットＲ１との相互作用を契機として表出した可能性の高い非言語反応についての非言語情報を収集することができる。しかも、上述したように、アイコンタクトが成立している状態においてカメラ１１１によって得られる画像はゆがみが少ないので、顔認識処理などの画像処理によって精度の高い計測値を得ることができる。つまり、図４に例示した生成制御部１４によれば、生成部１２に、精度の高い計測値を含む非言語情報を生成させることができる。
【００５０】
したがって、このようにして生成された非言語情報に基づいて、第１評価部１３が、上述した評価処理を行うことにより、人物Ｐ１の情動度について高い精度の評価結果を得ることが可能である。
【００５１】
このようにして、本件開示の非言語情報解析装置１０によれば、クマ型ロボットＲ１との相互作用を契機として表出された非言語反応に基づいて、人物Ｐ１の感情表現の自然さを示す情動度を得ることができる。このようにして得られた情動度は、人物Ｐ１が情動に従って表情を豊かに表現している度合いを示しているので、人物Ｐ１が表出していない感情を推測する手がかりとなりうる情報の一つである。
【００５２】
なお、クマ型ロボットＲ１に搭載されるセンサ部１１は、カメラ１１１に加えて、非視覚的非言語反応を観測するためのセンサデバイスを含むことができる。
【００５３】
図５は、非言語情報解析装置１０の別実施形態を示している。なお、図５に示した構成要素のうち、図４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００５４】
図５に例示したセンサ部１１は、カメラ１１１に加えて、マイク１１２および接触センサ１１３を含んでいる。マイク１１２は、例えば、クマ型ロボットＲ１の耳の付近に配置されており、人物Ｐ１の音声を表す音声データを生成する。接触センサ１１３は、例えば、クマ型ロボットＲ１の手足の先端部分や背中および頭などに配置されており、人物Ｐ１がこれらの部分に接触した際の圧力の大きさを示す接触データを生成する。
【００５５】
また、図５に例示した生成部１２は、センサデータ処理部１２１と、非言語情報蓄積部１２２と、読出処理部１２３とを含んでいる。このセンサデータ処理部１２１は、例えば、画像データ処理部１２４と、音声データ処理部１２５と、接触データ処理部１２６とを有する。
【００５６】
画像データ処理部１２４は、センサ部１１のカメラ１１１から得られる画像データに対して、顔認識処理を含む画像処理を適用することにより、視覚的な非言語反応の強さを示す計測値を生成する。画像データ処理部１２４は、例えば、人物の顔の向きや首の傾きの角度、頷き動作の大きさおよび頻度などをそれぞれ示す計測値とともに、人物の表情が笑顔である可能性の高さを示す笑顔度を計測値の一つとして生成することが望ましい。また、画像データ処理部１２４は、顔認識処理で得られた特徴点の動きに基づいて、口の開閉動作の大きさや頻度を示す計測値を取得してもよい。更に、画像データ処理部１２４は、画像データに含まれる人物Ｐ１の手の動きを追跡することにより、人物Ｐ１の手の動きによって示されるジェスチャーの大きさや、その動きの速さなどを示す計測値を取得してもよい。また、画像データ処理部１２４は、顔認識処理で得られた顔の大きさや位置の変化に基づいて、クマ型ロボットＲ１から見た人物Ｐ１の相対位置および相対位置の変化を示す計測値を取得してもよい。
【００５７】
また、音声データ処理部１２５は、マイク１１２で得られた音声データに対して音声解析処理を適用することにより、例えば、人物Ｐ１の声の抑揚や声の大きさ、発話の頻度などを、非視覚的な非言語反応の強さを示す計測値として生成する。また、音声データ処理部１２５は、音声解析処理で得られた人物Ｐ１の声色に基づいて感情を推定する技術などを利用することによって得られるパラ言語情報を、音声として捉えられる非言語反応の強さを示す計測値の一つとして取得してもよい。
【００５８】
接触データ処理部１２６は、接触センサ１１３で得られた接触データに基づいて、人物Ｐ１がクマ型ロボットＲ１に触れることで示した非言語反応の強さを示す計測値を生成する。接触データ処理部１２６は、例えば、人物Ｐ１がクマ型ロボットＲ１の部位ごとに、当該部位に触れた回数や頻度およびそれぞれの接触の強さなどを示す計測値を生成してもよい。
【００５９】
図５に例示した非言語情報蓄積部１２２は、このようにしてセンサデータ処理部１２１に含まれる各部によって生成された非言語情報を、例えば、非言語情報の種類ごとに、各計測値の生成に用いた観測データがサンプリングされた時刻に対応して蓄積する。なお、センサデータ処理部１２１は、画像データ処理部１２４、音声データ処理部１２５および接触データ処理部１２６によって得られる各計測値を非言語情報蓄積部１２２に蓄積する前に、移動平均などを適用することによって計測値を平滑化してもよい。
【００６０】
図６は、非言語情報の例を示している。図６において、符号Ｔｋ−１、Ｔｋ，Ｔｋ＋１は、それぞれサンプリング時刻を示す。また、各計測値を、計測値の種類を示す符号とサンプリング時刻を示す添え字との組み合わせで示す。
【００６１】
図６(Ａ)は、顔認識によって得られた非言語情報の一例である。図６(Ａ)に例示した非言語情報は、人物Ｐ１の顔に含まれる各特徴点の位置を示す特徴点情報Ｆ(ｋ)および笑顔度ｒｓ(ｋ)を含んでいる。
【００６２】
また、図６(Ｂ)は、手の動きを追跡する処理で得られた非言語情報の一例である。図６(Ｂ)に例示した非言語情報は、人物Ｐ１の手の位置を示す重心位置Ｇ(ｋ)、手の動きの大きさを示す振幅Ａ(ｋ)および手の動きの速さを反映する周期ν(ｋ)を含んでいる。
【００６３】
図５に示した生成制御部１４は、顔認識処理によって得られた人物Ｐ１の顔の位置および向きを示す情報を、画像データ処理部１２４から受け取ることができる。そして、生成制御部１４は、画像データ処理部１２４から受け取った情報に基づいて、アイコンタクトが成立したタイミングを検出してもよい。また、生成制御部１４は、検出したアイコンタクトのタイミングに基づいて、生成部１２に非言語情報を生成させるアイコンタクト区間を設定し、この期間の開始時刻および終了時刻を生成部１２に通知してもよい。
【００６４】
図５に例示した読出処理部１２３は、生成制御部１４から通知されたアイコンタクト区間の開始時刻および終了時刻に基づいて、このアイコンタクト区間に含まれるサンプリング時刻に対応して非言語情報蓄積部１２２に蓄積された非言語情報を読み出す。
【００６５】
このようにして読み出された非言語情報に含まれる各計測値について、第１評価部１３が、それぞれ時間変動の特徴を調べる処理を行うことにより、様々な非言語反応の強さの時間変化に基づいて、人物Ｐ１の情動度を評価することができる。
【００６６】
また、クマ型ロボットＲ１のようなコミュニケーションロボットに搭載されているアクション機能を、非言語情報解析装置１０が、人物Ｐ１が表出する非言語反応にかかる非言語情報を収集するために利用することも可能である。
【００６７】
図７は、非言語情報解析装置１０の別実施形態を示している。なお、図７に示した構成要素のうち、図４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００６８】
図７に例示したクマ型ロボットＲ１は、刺激媒体２の一例であり、センサ部１１に加えて、人物Ｐ１に様々な刺激を作用させるためのアクション部１５を含んでいる。このアクション部１５は、例えば、クマ型ロボットＲ１の首を左右に傾けたり、横に振ったりする動作や、クマ型ロボットＲ１の手足を動かす動作を実行するためのモータと、発話のためのスピーカなどを含んでもよい。なお、図５においては、モータおよびスピーカの図示は省略した。
【００６９】
図７に例示した生成制御部１４は、アクション部１５が何らかのアクションを実行した後の所定の長さの期間において、生成部１２に、人物Ｐ１が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる。生成制御部１４は、例えば、アクションを実行した旨の通知をアクション部１５から受けたときから、アクション部１５が実行したアクションの種類に対応する適切な遅延時間の経過後に、生成部１２に非言語情報を生成させる制御をしてもよい。なお、各アクションの実行タイミングからの遅延時間は、例えば、生成制御部１４内部に、各アクション種別に対応して予め記憶させておくことができる。
【００７０】
図８は、アクション種別ごとの遅延時間の例を示している。図８に例示した各遅延時間は、アクション部１５が対応するアクションの実行を開始した時刻からの遅延時間を示している。
【００７１】
図８に例示したアクション種別「退屈そうな動作」や「あくび」、「くしゃみ」および「驚かせる動作」には、３０００ミリ秒〜３５００ミリ秒の長めの遅延時間が設定されている。これは、これらのアクション種別に含まれるアクションの実行には、クマ型ロボットＲ１の首の動きや姿勢の変更を伴うため、首の向きや姿勢などが標準的な状態に戻るまでの時間を考慮した遅延時間を設定しているためである。一方、図８に例示したアクション種別「挨拶」や「注意を引く動作」のように、人物Ｐ１の反応がアクションの開始直後に現れる可能性の高いアクションについては、０秒のような短い遅延時間を設定してもよい。また、両者の中間的な遅延時間を設定することもできる。例えば、図８に例示したアクション種別「怒った動作」や「嬉しそうな動作」のように、人物Ｐ１の反応が現れるタイミングの予想が難しいものについては、１０００ミリ秒から１５００ミリ秒の中間的な遅延時間を設定してもよい。なお、図８に例示したアクション種別は、アクション部１５を有するクマ型ロボットＲ１を刺激媒体２として用いる場合に、人物Ｐ１に対して刺激として提示するアクションの一例であり、例示した種別以外のアクションを刺激として提示することもできる。また、これらのアクション種別に対応する遅延時間も、図８の例示に限定されることはない。
【００７２】
このような遅延時間に基づいて、生成制御部１４が生成部１２による非言語情報の生成を制御することにより、クマ型ロボットＲ１が行ったアクションを契機として人物Ｐ１が表出した非言語反応に対応する非言語情報を第１評価部１３に入力することができる。
【００７３】
つまり、図７に例示した非言語情報解析装置１０によれば、クマ型ロボットＲ１によるアクションが刺激として人物Ｐ１に作用したことを契機として人物Ｐ１が表出した非言語反応に基づいて、人物Ｐ１が表出した感情表現についての情動度を評価することができる。
【００７４】
クマ型ロボットＲ１は、愛らしい外見を持っているので、このクマ型ロボットＲ１が実行する愛嬌のあるアクションは、人物Ｐ１によって快い刺激として受け止められる可能性が高い。したがって、このような刺激によって喚起された人物Ｐ１の感情表現についての情動度を評価することにより、人物Ｐ１に心理的な負担をかけることなく、人物Ｐ１によって表出されていない感情の推測に利用可能な情報を得ることができる。
【００７５】
また、次に述べるように、アクションを契機として人物Ｐ１が表出した非言語反応に対応する非言語情報を生成させる制御に、上述したアイコンタクトの成立タイミングの検出を利用することもできる。
【００７６】
図９は、非言語情報解析装置１０の別実施形態を示している。なお、図９に示した構成要素のうち、図５に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００７７】
図９に例示したアクション部１５は、スピーカ１５１と、ｎ個のモータ１５２−１〜１５２−ｎと、アクション制御部１５３とを含んでいる。スピーカ１５１は、アクション制御部１５３から受け取った音声データに基づいて、音声を出力する。また、ｎ個のモータ１５２−１〜１５２−ｎは、アクション制御部１５３からの指示に応じて、それぞれの配置に応じてクマ型ロボットＲ１の各部位を動作させる。アクション制御部１５３は、実行するアクションに応じて、スピーカ１５１および各モータ１５２−１〜１５２−ｎの動作を制御する。また、アクション制御部１５３は、アクションを実行する際に、当該アクションを特定する情報を非言語情報解析装置１０の生成制御部１４に通知する。
【００７８】
図９に例示した生成制御部１４は、アクション制御部１５３からアクションを実行した旨が通知されたタイミングから、この通知で示されたアクション種別に対応する遅延時間が経過したときに、センサデータ処理部１２３に処理の開始を指示する。そして、このセンサデータ処理部１２１で得られる画像データ処理結果に基づいて、生成制御部１４は、アイコンタクトが成立したタイミングを検出する。更に、生成制御部１４は、検出したアイコンタクトのタイミングに基づいて、アイコンタクト区間を設定し、読出処理部１２３に対して、このアイコンタクト区間に対応して非言語情報蓄積部１２２に蓄積された非言語情報の読み出しを指示すればよい。
【００７９】
図９に例示した生成部１２および生成制御部１４によれば、クマ型ロボットＲ１のアクションによって喚起された人物Ｐ１による非言語反応に対応する非言語情報を生成する期間を、アイコンタクトのタイミングに基づいて設定することができる。
【００８０】
上述したように、アイコンタクトが成立した状態では、ゆがみの少ない画像に基づいて、人物Ｐ１が表出した視覚的な非言語反応の強さを示す計測値を高い精度で取得することができる。また、クマ型ロボットＲ１のアクションによって人物Ｐ１の非言語反応の表出が喚起された場合においても、クマ型ロボットＲ１と人物Ｐ１との間の相互作用が成立したタイミングとしては、アイコンタクトが成立したタイミングがより適切である。
【００８１】
したがって、図９に例示した生成部１２および生成制御部１４を有する非言語情報解析装置１０によれば、クマ型ロボットＲ１のアクションによって喚起された人物Ｐ１の非言語反応の強さを高い精度で示す非言語情報を第１評価部１３に入力することができる。したがって、図９に例示した非言語情報解析装置１０によれば、クマ型ロボットＲ１が実行可能な多彩なアクションによって喚起された人物Ｐ１の非言語反応に基づいて、人物Ｐ１の情動度を高い精度で評価することができる。
【００８２】
次に、上述した第１評価部１３により、人物Ｐ１が自然な笑顔を表出する状態である度合いを示す情動度を算出する手法について説明する。
【００８３】
図１０は、非言語情報解析装置１０の別実施形態を示している。なお、図１０に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００８４】
図１０に例示した第１評価部１３は、速度算出部１３１と、積算部１３２とを含んでいる。速度算出部１３１は、生成部１２によって生成された非言語情報に含まれる、人物Ｐ１の表情が笑顔である度合いを示す笑顔度が時間経過に応じて変化する速度を算出する。積算部１３２は、笑顔度が増大していく過程に対応して、速度算出部１３１で算出された速度の二乗和を求めることにより、人物Ｐ１の笑顔の自然さを示す情動度を求める。
【００８５】
図１１は、情動度を算出する処理を説明する図である。図１１において、横軸は時間ｔを示し、縦軸は、非言語反応の強さを示す計測値の一つである笑顔度ｓを示す。また、図１１において、符号ｓ(ｔ)で示したグラフは、笑顔度ｓの時間変化を示す。
【００８６】
また、図１１において、符号Ｔｋ−１は、ｋ−１番目のサンプリング時刻を示し、符号Ｔｋは、ｋ番目のサンプリング時刻を示す。そして、サンプリング時刻Ｔｋにおける笑顔度Ｓ(ｋ)とサンプリング時刻Ｔｋ−１における笑顔度Ｓ(ｋ−１)との差は、サンプリング時刻Ｔｋにおける笑顔度ｓ(ｔ)の変化速度を示している。
【００８７】
つまり、図１０に例示した速度算出部１３１は、各サンプリング時刻Ｔｋに対応する笑顔度Ｓ(ｋ)とその前のサンプリング時刻Ｔｋ−１に対応する笑顔度Ｓ(ｋ−１)との差分を算出することにより、笑顔度の変化速度を算出することができる。
【００８８】
また、図１１において、符号τ１および符号τ２で示した期間は、笑顔度ｓ(ｔ)が時間経過に応じて増大している期間を示す。この期間τ１および期間τ２は、図１０に例示した速度算出部１３１で算出された変化速度が正の値である期間に相当する。
【００８９】
したがって、図１０に例示した積算部１３２は、速度算出部１３１で算出された変化速度が正の値である期間について、この変化速度の二乗和を算出することにより、人物Ｐ１が表出した笑顔の自然さを反映する情動度を算出することができる。
【００９０】
図１０に例示した速度算出部１３１および積算部１３２によって人物Ｐ１が表出した笑顔の自然さを反映する情動度ＣＬを求める処理は、式(１)を計算することによって実現してもよい。
【００９１】
【数１】
【００９２】
なお、笑顔の自然さを反映する情動度ＣＬを求める処理において、各サンプリング時刻Ｔｋに対応する笑顔度Ｓ(ｋ)は、例えば、サンプリング間隔の２倍の期間についての移動平均を適用することによって平滑化した値を用いることが望ましい。
【００９３】
このように、図１０に例示した第１評価部１３によれば、笑顔度の時間変化の不規則性を情動度の大きさに反映することにより、人物Ｐ１が表出した笑顔が自然な表情である可能性の高さを示す情動度を求めることができる。このようにして得られた情動度は、人物Ｐ１が笑顔を表出する際に費やした運動エネルギーを反映しているので、人物Ｐ１が自然な情動に従って笑顔を表出している場合により高い値となる。なお、本出願人は、複数の人物を撮影した映像に基づいて、発明者の主観による判断と、図１０に例示した第１評価部１３によって得られた情動度に基づく判断とが一致するか否かを調べる実験を行っている。この実験の結果によれば、発明者の主観による判断で、自然な表情が表出されているとされた人物の映像については、図１０に例示した第１評価部１３によって、高い値を持つ情動度が高い確率で得られた。また、発明者の主観による判断で、表情が乏しいとされた人物の映像については、図１０に例示した第１評価部１３によって、低い値を持つ情動度が高い確率で得られた。
【００９４】
ここで、笑顔度は、非言語反応のひとつである「微笑する」表情の強さを示す計測値であり、そして、「笑顔」が人物Ｐ１の情動を反映している度合いが高ければ、人物Ｐ１は快い状態である可能性が高い。したがって、上述したようにして、笑顔度の時間変化に基づいて求めた情動度ＣＬには、人物Ｐ１が快い状態である度合いを示す快情動が反映されている。この快情動は、人物Ｐ１によって表出されていない感情の一面を示す情報であるので、例えば、人物Ｐ１を見守るサービスなどの分野においては、非常に有用な情報である。
【００９５】
つまり、図１０に例示した第１評価部１３を有する非言語情報解析装置１０は、人物Ｐ１の快情動を反映する情報度ＣＬを高い精度で評価することができるので、人物Ｐ１によって表出されていない感情を推測のための情報を収集する上で非常に有用である。
【００９６】
また、次に述べるように、非言語情報を別の観点から評価することにより、人物Ｐ１によって表出されていない感情を推測する手がかりとなる別の情報を引き出すことも可能である。
【００９７】
図１２は、非言語情報解析装置１０の別実施形態を示している。なお、図１２に示した構成要素のうち、図３に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００９８】
図１２に例示した非言語情報解析装置１０は、図３に例示した第１評価部１３に代えて、第２評価部１６を含んでいる。この第２評価部１６は、生成部１２で生成された非言語情報に含まれる各計測値の変動の大きさと、この変動と刺激媒体２と人物Ｐ１との相互作用との関連の強さに基づいて、人物Ｐ１の刺激媒体２に対する関心の高さを示す同調度を評価する。第２評価部１６は、例えば、各計測値について単位時間当たりの変化量の最大値をそれぞれ検出することにより、当該計測値で示される非言語反応が最も大きく変動したタイミングを特定する。さらに、第２評価部１６は、検出した単位時間当たりの変化量の最大値と、当該計測値の平均値とを比較することにより、変化量の最大値の大きさを評価してもよい。そして、第２評価部１６は、各非言語反応について特定したタイミングと、人物Ｐ１に刺激媒体２が作用したタイミングとの近さと、当該非言語反応について検出した最大の変化量に基づいて、個々の非言語反応と刺激媒体２との同調度を求めてもよい。また、第２評価部１６は、各非言語反応について求めた同調度の中の最大値を、人物Ｐ１が刺激媒体２に対して示した関心の高さを示す同調度としてもよい。
【００９９】
図１３は、同調度の評価を説明する図である。図１３において、横軸は時間ｔを示し、縦軸は、それぞれ異なる非言語反応の強さを示す計測値ｒａ，ｒｂを示す。また、図１３において、符号ｒａ(ｔ)で示したグラフは、計測値ｒａの時間変化を示し、符号ｒｂ(ｔ)で示したグラフは、計測値ｒｂの時間変化を示す。
【０１００】
また、図１３において、符号Ｔｃは、刺激媒体２が人物Ｐ１に作用したタイミングを示す。なお、刺激媒体２が映像コンテンツである場合は、映像コンテンツの再生開始時刻を、人物Ｐ１に刺激媒体２が作用した作用タイミングＴｃとして用いることができる。
【０１０１】
また、図１２に例示した第２評価部１６は、作用タイミングＴｃとの関連性の強さを、例えば、計測値ｒａ(ｔ)，ｒｂ(ｔ)の最大変化量を検出したタイミングが、作用タイミングＴｃを含む所定の長さの期間τｓに含まれるか否かかに基づいて判定してもよい。
【０１０２】
図１３に例示した期間τｓは、作用タイミングＴｃと人物Ｐ１が刺激媒体２による刺激を受けたタイミングとのズレを考慮して、作用タイミングＴｃを含むように設定した例である。上述したように、映像コンテンツを刺激媒体２として人物Ｐ１に作用させる場合には、再生開始時刻に対応する作用タイミングＴｃと人物Ｐ１が映像コンテンツによる刺激を受けるタイミングとが一致する。したがって、刺激媒体２が映像コンテンツである場合は、上述した期間τｓの開始時刻を作用タイミングＴｃに一致させてもよい。
【０１０３】
図１３に例示した計測値ｒｂ(ｔ)から単位時間当たりの変化量の最大値が検出されるタイミングは、上述した期間τに含まれており、また、検出された変化量の最大値も計測値ｒｂ(ｔ)の変化量の平均値に比べて大きい。したがって、第１評価部１６がこの計測値ｒｂ(ｔ)で強さが示される非言語反応について、刺激媒体２の作用に対して求めた同調度は高い値を示す。
【０１０４】
これに対して、図１３に例示した計測値ｒａ(ｔ)は、なだらかな起伏を繰り返しており、上述した期間τの範囲内に目立ったピークはない。このような計測値ｒａ(ｔ)について、図１２に例示した第２評価部１６が、上述した期間τに含まれるタイミングにおいて最大の変化量を検出したとしても、その変化量は、計測値ｒａ(ｔ)の変化量の平均値と同程度である。したがって、第１評価部１６がこの計測値ｒａ(ｔ)で強さが示される非言語反応について、刺激媒体２の作用に対して求めた同調度は低い値を示す。
【０１０５】
このようにして、第２評価部１６は、個々の非言語反応の強さを示す計測値の変動の大きさと刺激媒体２の作用タイミングとの関係に基づいて、各非言語反応についての同調度を求めることができる。
【０１０６】
そして、第２評価部１６は、このようにして得られた複数の非言語反応についての同調度の最大値を、人物Ｐ１の刺激媒体２に対する同調度とする。これにより、少なくとも一つの非言語反応について得られた高い値を持つ同調度を、人物Ｐ１の刺激媒体２に対する同調度に反映することができる。
【０１０７】
このように、図１２に例示した非言語情報解析装置１０によれば、刺激媒体２の作用に応じて人物Ｐ１が表出した非言語反応に基づいて、人物Ｐ１の刺激媒体２に対する同調度を評価することができる。
【０１０８】
このようにして評価される同調度は、人物Ｐ１の社会的な反応の活発さを示している点で、上述した情動度とは別の観点から人物Ｐ１によって表出されていない感情を推測する手がかりとして有用な情報である。したがって、図１２に例示した第２評価部１６を有する非言語情報解析装置１０は、人物Ｐ１の社会的な反応の活発さを示す同調度を評価することができるので、人物Ｐ１によって表出されていない感情を推測するための情報を収集する上で非常に有用である。
【０１０９】
また、人物Ｐ１とコミュニケーションを行う機能を有するコミュニケーションロボットを、刺激媒体２として利用することにより、明確な対象に対する社会的な反応の活発さを評価することもできる。
【０１１０】
図１４は、非言語情報解析装置１０の別実施形態を示している。なお、図１４に示した構成要素のうち、図１２に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１１１】
図１４に例示した非言語情報解析装置１０は、図４に例示した非言語情報解析装置１０と同様に、カメラ１１１を含むセンサ部１１を搭載したクマ型ロボットＲ１を、刺激媒体２として人物Ｐ１に作用させる。
【０１１２】
図１４に例示したカメラ１１１の光軸方向は、クマ型ロボットＲ１の視線Ｑの方向とほぼ一致しているので、人物Ｐ１の視線とクマ型ロボットＲ１の視線Ｑとが一致したときに、カメラ１１１によって人物Ｐ１を正面から捉えた画像データを得ることができる。
【０１１３】
図１４に例示した生成制御部１４の第１検出部１４１は、図４を用いて説明したようにして、カメラ１１１で得られる画像データに基づいて、クマ型ロボットＲ１と人物Ｐ１とのアイコンタクトが成立したタイミングを検出する。そして、期間設定部１４２は、図４を用いて説明したようにして、アイコンタクトのタイミングを含むアイコンタクト区間において、生成部１２に、センサ部１１で得られる観測データから非言語情報を生成させる。
【０１１４】
クマ型ロボットＲ１は愛らしい外見を持っているので、人物Ｐ１とクマ型ロボットＲ１とがアイコンタクト状態となったときに、人物Ｐ１が同調的な非言語反応を表出する可能性は高い。そして、上述した期間設定部１４２で設定されるアイコンタクト区間において、人物Ｐ１が表出する同調的な非言語反応は、クマ型ロボットＲ１との接触を契機として表出された非言語反応である可能性が高い。
【０１１５】
したがって、図１４に例示した生成制御部１４による制御に従って生成部１２が生成した非言語情報について、第２評価部１６が、上述したようにして同調度を求めることにより、人物Ｐ１のクマ型ロボットＲ１に対する同調度を高い精度で取得することができる。
【０１１６】
このように、図１４に例示した非言語情報解析装置１０によれば、社会的な反応を反映した同調度を高い精度で求めることができる。
【０１１７】
なお、図１４に例示したセンサ部１１は、図５に例示したセンサ部１１と同様に、カメラ１１１に加えてマイクや接触センサなどの他のセンサデバイスを含んでいる。したがって、図１４に例示した第２評価部１６は、これらのセンサデバイスによって得られる多様な観測データに基づいて、生成部１２によって生成される非言語情報を、同調度の評価に用いることができる。
【０１１８】
また、クマ型ロボットＲ１のようなコミュニケーションロボットに搭載されているアクション機能を、非言語情報解析装置１０が、人物Ｐ１が表出する非言語反応にかかる非言語情報の収集するために利用することも可能である。
【０１１９】
図１５は、非言語情報解析装置１０の別実施形態を示している。なお、図１５に示した構成要素のうち、図１４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１２０】
図１５に例示したクマ型ロボットＲ１は、センサ部１１に加えて、アクション部１５を含んでいる。また、図１５に例示した生成部１２は、図９に例示した生成部１２と同様に、センサデータ処理部１２１と、非言語情報蓄積部１２２と、読出処理部１２３とを含んでいる。
【０１２１】
上述したアクション部１５は、アクションを実行する際に、その旨を生成制御部１４に通知する。この通知とセンサデータ処理部１２１で得られる情報とに基づいて、生成制御部１４は、図９を用いて説明したようにして、読出処理部１２３に対して、非言語情報蓄積部１２２から読み出す非言語情報の範囲を指定する。
【０１２２】
このようにして、生成制御部１４は、クマ型ロボットＲ１によって任意のアクションが実行された後に、クマ型ロボットＲ１と人物Ｐ１とのアイコンタクトが成立する前後に人物Ｐ１が表出した非言語反応を示す非言語情報を生成部１２に生成させることができる。
【０１２３】
このようにして生成された非言語情報は、クマ型ロボットＲ１のアクションを契機として人物Ｐ１が表出した同調的な非言語反応に関する情報を多く含んでいる。そして、クマ型ロボットＲ１は、図８に例示したように、様々な種別のアクションを実行可能であり、また、種別の異なるアクションに応じて、人物Ｐ１は異なる種類の非言語反応を返す可能性がある。
【０１２４】
したがって、図１５に例示した第２評価部１６は、アクションによって喚起された人物Ｐ１の非言語反応に対応して、上述したようにして生成された非言語情報の入力を受けることができる。そして、これらの非言語情報の入力に応じて、図１３を用いて説明したような処理を行うことにより、第２評価部１６は、例えば、実行されたアクションごとに、人物Ｐ１が表出した非言語反応で示される同調度を評価することができる。このようにして得られたアクションの種別ごとの同調度は、様々な場面における人物Ｐ１の社会的な反応の活発さを反映している。
【０１２５】
つまり、図１５に例示した非言語情報解析装置１０によれば、多様な角度から、人物Ｐ１の社会的な反応度を示す同調度を求めることができる。
【０１２６】
また、クマ型ロボットＲ１のアクションによって人物Ｐ１の非言語反応を引き出すことができれば、第２評価部１６によって人物Ｐ１の同調度を評価する機会を増加させることができる。したがって、個々のアクションの実行に応じて得られた同調度の評価結果の精度が必ずしも高くなくても、多数回の評価を行うことにより、精度の向上を図ることができる。
【０１２７】
次に、上述した第２評価部１６により、人物Ｐ１がクマ型ロボットＲ１に対して同調的な反応を示している度合いを示す同調度を算出する手法について説明する。
【０１２８】
図１６は、非言語情報解析装置１０の別実施形態を示している。なお、図１６に示した構成要素のうち、図１５に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１２９】
図１６に例示した第２評価部１６は、第２検出部１６１と、集計部１６２と、補正部１６３と、推定部１６４と、割合算出部１６５と、乗算部１６６とを含んでいる。
【０１３０】
図１６に例示した第２検出部１６１は、生成部１２によって生成された非言語情報に含まれる同調的な非言語反応の強さを示す計測値の単位時間当たりの最大変化幅をそれぞれ検出することにより、同調的な非言語反応それぞれの同調度を求める。
【０１３１】
第２検出部１６１は、例えば、まず、生成部１２で得られた非言語情報から、例えば、笑顔度、口の開閉動作の頻度、頷き動作の頻度、ジェスチャの頻度およびクマ型ロボットＲ１への接触頻度を示す計測値を更に生成する。そして、これらの計測値に基づいて、第２検出部１６１は、図１３を用いて説明したようにして、同調的な種類の非言語反応それぞれの強さを示す計測値の最大の変化幅を、個々の非言語反応の同調度としてそれぞれ検出する。
【０１３２】
例えば、ｎ種類の同調的な非言語反応に含まれるｊ番目の非言語反応についての同調度ＳＬｊは、この非言語反応の強さをサンプリングして得られたｋ番目の計測値の移動平均ｂｊ(ｋ)を用いて、式(２)のように表すことができる。なお、式(２)において、定数Ｎは、アイコンタクト区間τの開始から終了までのサンプル数である。また、式(２)に含まれる正規化パラメータｐｊは、ｎ種類の同調的な非言語反応の強さを同一の尺度で比較するためのパラメータである。この正規化パラメータｐｊには、例えば、同調的な非言語反応についての計測値ｂｊについて想定される最大値などに基づいて予め決定した値を設定することができる。
【０１３３】
【数２】
【０１３４】
図１６に例示した集計部１６２は、生成部１２によって生成された非言語情報に基いて、個々の非言語反応の強さを示す計測値の最大値を非言語反応の種類ごとに集計することにより、これらの非言語反応の表出に人物Ｐ１が費やした活動量を示す活性度を求める。
【０１３５】
図１７は、活性度の算出処理を説明する図である。図１７において、横軸は時間ｔを示し、縦軸は、各非言語反応の強さを示す計測値ｒを示す。また、図１７において、符号τで示した期間は、図１６に示した生成部１２によって非言語情報が生成されるアイコンタクト区間を示す。また、図１７において、符号ｒ１(ｔ)，ｒ２(ｔ)，ｒ３(ｔ)で示したグラフは、それぞれ計測値ｒ１，ｒ２，ｒ３の時間変化の例を示す。
【０１３６】
図１６に例示した集計部１６２は、まず、アイコンタクト区間τの範囲において、各計測値ｒ１(ｔ)，ｒ２(ｔ)，ｒ３(ｔ)の最大値ａ１，ａ２，ａ３をそれぞれ検出する。次に、集計部１６２は、最大値ａ１，ａ２，ａ３に、それぞれの非言語反応についてあらかじめ設定した重みを乗じることにより、個々の非言語反応の活性度を求める。このとき、集計部１６２は、個々の非言語反応の活性度を、当該非言語反応について予め設定した最大値以下の値となるように抑制してもよい。このようにして得られた個々の非言語反応の活性度を集計することにより、集計部１６２は、人物Ｐ１が活動的である度合いを示す活性度を算出する。集計部１６２は、個々の非言語反応の活性度を集計することで得られた活性度の値を、予め設定した最大値以下となるように抑制してもよい。
【０１３７】
例えば、ｍ種類の非言語反応に含まれるｉ番目の非言語反応についての活性度ＡＬｉは、この非言語反応の強さをサンプリングして得られた計測値の最大値ａｉと、この非言語反応について設定した重みｗｉを用いて、式(３)のように表すことができる。なお、式(３)において、定数ＭａｘＡＬｉは、ｉ番目の非言語反応についての活性度ＡＬｉについて設定された最大値である。各非言語反応に対応する各定数ＭａｘＡＬｉは、複数の非言語反応に対応する活性度を人物Ｐ１の活性度に反映するために、例えば、値０．４程度に設定することが望ましい。
ＡＬｉ＝ｍａｘ（ｗｉ・ａｉ，ＭａｘＡＬｉ） ・・・（３）
また、上述したようにして算出した活性度ＡＬｉと活性度について予め設定された最大値ＭａｘＡＬを用いて、活性度ＡＬは、式(４)のように表すことができる。なお、最大値ＭＡｘＡＬは、例えば、値１に設定してもよい。
【０１３８】
【数３】
【０１３９】
図１６に例示した補正部１６３は、人物Ｐ１と刺激媒体２の一例であるクマ型ロボットＲ１との距離に基づいて、上述したようにして求めた活性度ＡＬを補正することにより、人物Ｐ１がクマ型ロボットＲ１に向けた活動量を示す同調的な活性度ＡＬｓを求める。
【０１４０】
補正部１６３は、例えば、集計部１６２によって得られた活性度ＡＬに、人物Ｐ１とクマ型ロボットＲ１との距離ｄに応じた係数εを乗じた値を、クマ型ロボットＲ１に向けられている活動量を示す同調的な活性度ＡＬｓとしてもよい。
【０１４１】
ここで、人物Ｐ１とクマ型ロボットＲ１との距離ｄが、両者が近接していると判断できる距離Ｄｎ以下である場合に、活性度ＡＬで示される活動量が、クマ型ロボットＲ１に向けられている可能性は高い。逆に、距離ｄが両者が離れていると判断される距離Ｄｄ以上である場合に、活性度ＡＬで示される活動量が、クマ型ロボットＲ１に向けられている可能性は低い。そこで、距離ｄが上述した距離Ｄｎ以下である場合に、活性度ＡＬで示される活動量がクマ型ロボットＲ１に向けられている可能性を示す係数ｅｎとする。また、距離ｄが上述した距離Ｄｄ以上である場合に、活性度ＡＬで示される活動量がクマ型ロボットＲ１に向けられている可能性を示す係数ｅｄとする。これらの係数ｅｎ，ｅｄを用いると、上述した係数εおよびクマ型ロボットＲ１に向けられている活動量を示す同調的な活性度ＡＬｓは、それぞれ式(５)、式(６)のように表すことができる。なお、上述した距離Ｄｎおよび距離Ｄｄは、クマ型ロボットＲ１が人物Ｐ１に作用する環境などを考慮して決定することができる。例えば、クマ型ロボットＲ１が室内に配置されている場合には、１メートル程度の値を距離Ｄｎに設定し、２メートル程度の距離を距離Ｄｄに設定することが望ましい。
【０１４２】
【数４】
【０１４３】
このように、補正部１６３は、集計部１６２で得られた活性度ＡＬと式(６)を用いることにより、クマ型ロボットＲ１に向けられている活動量を示す同調的な活性度ＡＬｓを算出してもよい。
【０１４４】
図１６に例示した推定部１６４は、上述した同調的な活性度ＡＬｓと第２検出部で得られた同調的な非言語反応ごとの同調度ＳＬｊとに基づいて、人物Ｐ１が刺激媒体２に向けて表出した可能性の高い非言語反応の強さを推定する。なお、図１６に例示したクマ型ロボットＲ１は、刺激媒体２の一例である。
【０１４５】
推定部１６４は、例えば、同調的な非言語反応ごとの同調度ＳＬｊおよび上述した同調的な活性度ＡＬｓの中の最大値を、人物Ｐ１が表出した非言語反応のうちクマ型ロボットＲ１に向けられた非言語反応の強さの推定値ＳＬｐとしてもよい。なお、推定部１６４は、クマ型ロボットＲ１に向けられた非言語反応の強さの推定値ＳＬｐを、この推定値について予め設定した最大値ＭａｘＳＬ以下の値となるように抑制してもよい。
【０１４６】
このような抑制を適用する場合に、推定部１６４によって求められるクマ型ロボットＲ１に向けられた非言語反応の強さの推定値ＳＬｐは、式(７)のように表される。
SLp＝min(max(max(SL１，・・・，SLn)，ALs))，MaxSL) ・・・(７)
図１６に例示した割合算出部１６５は、例えば、アイコンタクト区間τのうち、人物Ｐ１がクマ型ロボットＲ１を見ている期間の割合を求めることにより、人物Ｐ１がクマ型ロボットＲ１に視線を向けていた確率Ｃｐを求める。割合算出部１６５は、例えば、アイコンタクト区間τに含まれる画像データの枚数Ｍｔに対して、人物Ｐ１の顔が正面向きで捉えられている画像データの枚数Ｍｐが占める割合を、人物Ｐ１がクマ型ロボットＲ１に視線を向けていた確率Ｃｐとしてもよい。
【０１４７】
そして、図１６に例示した乗算部１６６は、割合算出部１６５で算出された確率Ｃｐを、推定部１６４で求められた推定値ＳＬｐに乗算することにより、人物Ｐ１がクマ型ロボットＲ１に対して示している同調度ＳＬを求める。
【０１４８】
したがって、この同調度ＳＬは、例えば、上述した式(７)と確率Ｃｐとを用いて、式(８)のように表される。
SL＝min(max(max(SL１，・・・，SLn)，ALs))，MaxSL)・Cp ・・・(８)
このように、図１６に例示した第２評価部１６によれば、同調的な非言語反応に限らず、人物Ｐ１が表出したあらゆる非言語反応がクマ型ロボットＲ１に対して向けられた可能性を考慮することにより、人物Ｐ１の同調度をより精密に評価することができる。
【０１４９】
なお、本出願人は、複数の人物を撮影した映像に基づいて、発明者の主観による活性度および同調度の評価と、図１６に例示した第２評価部１６によって得られる活性度および同調度とが一致するか否かを調べる実験を行っている。この実験の結果によれば、発明者の主観による活性度および同調度の評価と、図１６に例示した第２評価部１６によって得られた活性度および同調度の評価結果との間には、高い相関関係が見られた。
【０１５０】
また、上述したようにして人物Ｐ１が表出した非言語反応に基づいて算出した各種の指標値を、時系列に従って出力することにより、人物Ｐ１の様子を遠隔地に居住する家族が見守るサービスを支援することも可能である。
【０１５１】
図１８は、非言語情報解析装置の別実施形態を示している。なお、図１８に示した構成要素のうち、図３又は図１２に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１５２】
図１８に例示した非言語情報解析装置１０は、センサ部１１、生成部１２、第１評価部１３、生成制御部１４および第２評価部１６に加えて、評価情報蓄積部１７と、出力部１８とを含んでいる。評価情報蓄積部１７は、第１評価部１３によって得られた情動度を示す情報および第２評価部１６によって得られた活性度および同調度を示す情報を、時系列に従って蓄積する。出力部１８は、評価情報蓄積部１７に蓄積された情報に基づいて、人物Ｐ１について得られた情動度と活性度および同調度とを対比させて出力する。この出力部１８は、例えば、遠隔地に居住する家族のパーソナルコンピュータなどの情報機器に、人物Ｐ１について得られた情動度と活性度および同調度を時系列に従って提示する見守り画面を表示させてもよい。
【０１５３】
図１９は、見守り画面の一例を示している。図１９において、符号Ｐｉｃは、人物Ｐ１を撮影して得られた画像の例である。また、符号Ｂａｒは、図１８に例示した第１評価部１３および第２評価部１６によって最近に得られた情動度、活性度および同調度の大きさを、それぞれ対応する棒グラフの長さで示している。
【０１５４】
また、図１９に例示した見守り画面は、日付に対応する帯状の領域に設けた時刻ごとの区画を含んでいる。そして、図１８に例示した出力部１８は、例えば、対応する時間帯において第１評価部１３および第２評価部１６で得られた情動度、活性度および同調度を集計することにより、図１９において符号ｈ１、ｈ２、ｈ３、ｈ４、ｈ５、ｈ６、ｈ７で示した棒グラフを表示させてもよい。
【０１５５】
なお、図１９に例示した棒グラフｈ１〜ｈ７に含まれる各バーは、左から順に、インタラクション頻度、活性度および快適度を示している。出力部１８は、例えば、各時間帯において第２評価部１６で得られた同調度が所定の閾値以上の状態で刺激媒体２との間の相互作用があった回数を集計することにより、インタラクション頻度を求めてもよい。また、出力部１８は、各時間帯に対応して蓄積された活性度および快情動を示す情動度について、あらかじめ設定した統計処理を行うことにより、個々の時間帯の活性度および快適度を求めてもよい。出力部１８は、各時間帯に対応して蓄積された活性度のサンプルに対して、上述した統計処理として、最大値を取得する処理や平均値を取得する処理および上位ｘ個の平均を取得する処理を実行することによって、当該時間帯の活性度を算出してもよい。同様に、出力部１８は、各時間帯に対応して蓄積された快情動を示す情動度のサンプルに対して、上述した統計処理のいずれかを実行することによって、当該時間帯の快適度を算出してもよい。
【０１５６】
なお、出力部１８は、複数の日付に対応する帯状の領域を含む見守り画面を生成することもできる。また、出力部１８は、図１９に例示した棒グラフｈ１〜ｈ７の代わりに、インタラクション頻度をバーの長さで示し、活性度および快適度を色調で表現するようにした見守り画面を生成してもよい。出力部１８は、例えば、各時間帯に対応して蓄積された活性度の最大値を、インタラクション頻度を示すバーの表示色の明度あるいは彩度の高さで示す見守り画面を生成してもよい。また、出力部１８は、例えば、各時間帯に対応して蓄積された快適度の最大値を、インタラクション頻度を示すバーの表示色の色相が基本の色相から隔たっている度合いで示す見守り画面を生成してもよい。
【０１５７】
上述したように、第１評価部１３で得られる情動度および第２評価部１６で得られる同調度は、いずれも、人物Ｐ１によって表出されていない感情を推測する手がかりとなる情報である。また、同調度を算出する過程において、第２評価部１６で求められる活性度もまた、人物Ｐ１によって表出されていない感情を推測する手がかりとなる情報である。
【０１５８】
したがって、図１９に例示したような見守り画面において、上述した複数の指標を対比して提示することにより、明確には表出されにくい見守り対象の人物Ｐ１の気分などを推測する手がかりを得ることができる。
【０１５９】
例えば、本件開示の非言語情報解析装置１０によって得られた活性度および快適度をラッセルの感情円環モデルなどの感情モデルに当てはめることにより、見守り対象の人物Ｐ１によって表出されていない感情を推測することも可能である。
【０１６０】
また、クマ型ロボットＲ１を刺激媒体２として用いることにより、クマ型ロボットＲ１に搭載されているアクション機能を、非言語情報解析装置１０が、人物Ｐ１が表出する非言語反応にかかる非言語情報の収集に利用することも可能である。
【０１６１】
図２０は、非言語情報解析装置１０の別実施形態を示している。なお、図２０に示した構成要素のうち、図１８に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１６２】
クマ型ロボットＲ１を刺激媒体２として利用することによる利点は、以上に述べた非言語情報解析装置１０の実施形態の説明において述べたとおりである。なお、本件開示の非言語情報解析装置１０を、見守りサービスの支援に適用した場合には、クマ型ロボットＲ１のように、日常生活に溶け込む外見を持つ刺激媒体２を利用することにより、見守り対象の人物Ｐ１の負担を軽減することができる。また、クマ型ロボットＲ１の持つ愛らしい外見や愛嬌のあるしぐさにより、見守り対象の人物Ｐ１の同調性や自然な情動が引き出される可能性も高いので、クマ型ロボットＲ１を非言語情報解析装置１０と組み合わせて利用することは有用である。
【０１６３】
本件開示の非言語情報解析装置１０は、例えば、パーソナルコンピュータなどのコンピュータ装置を用いて実現することができる。
図２１は、非言語情報解析装置のハードウェア構成例を示している。
【０１６４】
図２１に例示したコンピュータ装置２０は、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、表示装置２４と、入力装置２５と、光学ドライブ装置２６と、ロボットインタフェース２８とを含んでいる。図２１に例示したプロセッサ２１と、メモリ２２と、ハードディスク装置２３と、表示装置２４と、入力装置２５と、光学ドライブ装置２６と、ロボットインタフェース２８とは、バスを介して互いに接続されている。図２１に例示した光学ドライブ装置２６は、光ディスクなどのリムーバブルディスク２７を装着可能であり、装着したリムーバブルディスク２７に記録された情報の読出および記録を行う。また、図２１に例示した非言語情報解析装置１０は、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、表示装置２４と、ロボットインタフェース２８とを含んでいる。
【０１６５】
図２１に例示したコンピュータ装置２０は、ロボットインタフェース２８を介して、クマ型ロボットＲ１に接続されている。そして、プロセッサ２１は、ロボットインタフェース２８を介して、このクマ型ロボットＲ１に搭載されたセンサ部１１およびアクション部１５からの情報を受け取ることができる。
【０１６６】
図２１に例示した入力装置２５は、例えば、キーボードやマウスなどである。非言語情報解析装置１０の操作者は、入力装置２５を操作することにより、非言語情報解析装置１０に含まれる各部に対して、例えば、人物Ｐ１の見守りを開始させる旨の指示などを入力することができる。
【０１６７】
メモリ２２は、コンピュータ装置２０のオペレーティングシステムとともに、プロセッサ２１が上述した非言語情報解析処理を実行するためのアプリケーションプログラムを格納している。なお、上述した非言語情報解析処理を実行するためのアプリケーションプログラムは、例えば、光ディスクなどのリムーバブルディスク２７に記録して頒布することができる。そして、このリムーバブルディスク２７を光学ドライブ装置２６に装着して読み込み処理を行うことにより、非言語情報解析処理を実行するためのアプリケーションプログラムを、メモリ２２およびハードディスク装置２３に格納させてもよい。また、インターネットなどのネットワークに接続する通信装置(図示せず)を介して、非言語情報解析処理を実行するためのアプリケーションプログラムをメモリ２２およびハードディスク装置２３に読み込ませることもできる。
【０１６８】
また、プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムを実行することにより、図１に例示した生成部１２、第１評価部１３の機能を果たしてもよい。また、プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムを実行することにより、図３に例示した生成制御部１４の機能を果たしてもよい。更に、プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムを実行することにより、図１２に例示した第２評価部１６および図１８に例示した出力部１８の機能を果たしてもよい。
【０１６９】
図２２は、非言語情報解析処理のフローチャートの一例を示している。図２２に示したステップＳ３０１〜ステップＳ３１１の各処理は、上述した非言語情報解析処理のためのアプリケーションプログラムに含まれる処理の一例である。また、これらのステップＳ３０１〜ステップＳ３１１の各処理は、図２１に例示したプロセッサ２１によって実行される。
【０１７０】
プロセッサ２１は、ロボットインタフェース２８を介して、クマ型ロボットＲ１に含まれるアクション部１５からアクションを実行する旨の通知を受信したときに（ステップＳ３０１）、ステップＳ３０２以降の非言語反応の生成および解析処理を開始する。
【０１７１】
プロセッサ２１は、上述した通知で示されたアクション種別に対応する遅延時間が経過するまで待機する(ステップＳ３０２)。例えば、プロセッサ２１は、各アクション種別に対応して図８に例示した遅延時間の経過を待機すればよい。
【０１７２】
その後、プロセッサ２１は、ロボットインタフェース２８を介して、クマ型ロボットＲ１に含まれるセンサ部１１に含まれるカメラなどの各センサデバイスからのセンサデータの受信を開始する(ステップＳ３０３)。
【０１７３】
ついで、プロセッサ２１は、受信したセンサデータから非言語反応の強さを示す計測値を生成する処理を実行する(ステップＳ３０４)。プロセッサ２１は、ステップＳ３０４において、例えば、画像データに対する顔認識処理や音声データの解析処理を実行し、人物Ｐ１の顔の位置や大きさ、向きを示す計測値を生成する。また、プロセッサ２１は、生成した計測値を、例えば、当該計測値に対応するセンサデータの取得時刻などに対応してハードディスク装置２３に蓄積する。
【０１７４】
次に、プロセッサ２１は、ステップＳ３０４で得られた人物Ｐ１の顔の画像内における位置および顔の向きを示す計測値に基づいて、クマ型ロボットＲ１と人物Ｐ１との間のアイコンタクトが成立したか否かを判定する(ステップＳ３０５)。
【０１７５】
例えば、人物Ｐ１の顔が画像の一方の端に近いことや、顔の向きが横向きであることが顔認識処理で得られた計測値によって示された場合に、プロセッサ２１は、ステップＳ３０５の否定判定ルートに従って、ステップＳ３０４の処理に戻る。
【０１７６】
一方、人物Ｐ１の顔が画像の中央に位置し、かつ、顔の向きが正面であることが顔認識処理で得られた計測値によって示された場合に、プロセッサ２１は、ステップＳ３０５の肯定判定ルートに従って、ステップＳ３０６の処理に進む。
【０１７７】
ステップＳ３０６において、プロセッサ２１は、上述したアイコンタクト区間の終了まで、センサデータを受信する処理およびセンサデータから計測値を生成する処理および生成した計測値を蓄積する処理を実行する。プロセッサ２１は、例えば、ステップＳ３０５の処理でアイコンタクトが成立したと判定した時刻から、予め設定した時間(例えば４秒)が経過するまでに受信したセンサデータから、非言語反応の強さを示す計測値を生成する処理を実行する。そして、プロセッサ２１は、この間に生成された計測値を、例えば、当該計測値に対応するセンサデータの取得時刻などに対応してハードディスク装置２３に蓄積する。
【０１７８】
アイコンタクト区間の終了後に、プロセッサ２１は、ハードディスク装置２３にアイコンタクト区間に含まれる時刻に対応して蓄積された計測値を含む非言語情報を抽出する(ステップＳ３０７)。
【０１７９】
次いで、プロセッサ２１は、ステップＳ３０７の処理で抽出された非言語情報に含まれる人物Ｐ１の感情表現を表す非言語反応の強さを示す計測値の時間変化の特徴に基づいて、人物Ｐ１の情動度を算出する(ステップＳ３０８)。なお、人物Ｐ１の情動度を算出する手法は、図２および図１１を用いて説明したとおりである。
【０１８０】
また、プロセッサ２１は、ステップＳ３０７の処理で抽出された少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、当該変動が出現したタイミングに基づいて、人物Ｐ１の同調度および活性度を算出する(ステップＳ３０９)。なお、人物Ｐ１の同調度を算出する手法は、図１３を用いて説明したとおりである。また、人物Ｐ１の活性度を算出する手法は、図１７を用いて説明したとおりである。更に、プロセッサ２１は、ステップＳ３０９の処理において、図１６を用いて説明したように、人物Ｐ１の活性度の影響を同調度に加味して算出する手法を用いてもよい。
【０１８１】
次いで、プロセッサ２１は、ステップＳ３０８，Ｓ３０９の処理で算出した情動度、活性度および同調度について、所定の統計処理を実行する(ステップＳ３１０)。プロセッサ２１は、例えば、情動度、活性度および同調度それぞれについて、日付および時間帯ごとに集計し、また、平均値を算出するなどの処理を、所定の統計処理として実行することができる。
【０１８２】
その後、プロセッサ２１は、ステップＳ３１０の処理で得られた統計処理結果およびステップＳ３０９で算出した情動度、活性度および同調度をハードディスク装置２３に保存し(ステップＳ３１１)、処理を終了する。
【０１８３】
上述した処理を、クマ型ロボットＲ１がアクションを実行するごとに繰り返すことにより、人物Ｐ１が様々なタイミングで表出した非言語反応を示す非言語情報について解析を行った結果をハードディスク装置２３に蓄積することができる。
【０１８４】
また、このようにしてハードディスク装置２３に蓄積された情報に基づいて、プロセッサ２１は、図１９に例示したような見守り画面を生成し、表示装置２４を介して操作者に提示することも可能である。更に、コンピュータ装置２０を通信装置(図示せず)を介してネットワークに接続することにより、このような見守り画面を、ネットワーク経由で、遠隔地の家族に対して提示することもできる。
【０１８５】
このように、図２１に例示した非言語情報解析装置１０によれば、人物Ｐ１が表出した非言語反応を解析することで得られた情動度および同調度を含む人物Ｐ１によって表出されていない感情を推測するための情報を時系列的に蓄積することができる。
【０１８６】
なお、人物Ｐ１が表出する非言語反応を検出する処理は、上述したようにクマ型ロボットＲ１のアクションの実行を契機とする場合に限られない。例えば、クマ型ロボットＲ１に含まれるカメラなどのセンサにより、クマ型ロボットＲ１が配置された部屋に人物Ｐ１が入室したことを感知し、これを非言語反応の検出動作の契機とすることも可能である。
【０１８７】
また、非言語情報を収集する期間は、上述したアイコンタクト区間に限定されず、人物Ｐ１がクマ型ロボットＲ１に搭載されたセンサ部１１で観測可能な非言語反応を表出する可能性のある期間に亘って継続することもできる。例えば、人物Ｐ１が入室してから退室するまでの期間に亘って、非言語反応の検出動作を継続することもできる。
【０１８８】
以上の説明に関して、更に、以下の各項を開示する。
(付記１)
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部と、
前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さをそれぞれ示す計測値を含む非言語情報を生成する生成部と、
前記生成部で生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する第１評価部と
を備える非言語情報解析装置。
(付記２)
付記１に記載の非言語情報解析装置において、
刺激媒体から前記人物へ刺激を与えたタイミングで、前記生成部に対して非言語情報を生成させる制御を行う生成制御部と
を備えたことを特徴とする非言語情報解析装置。
(付記３)
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部と、
前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成部と、
刺激媒体から前記人物へ刺激を与えたタイミングで、前記生成部に対して非言語情報を生成させる制御を行う生成制御部と、
前記生成部で生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する第２評価部と
を備える非言語情報解析装置。
(付記４)
付記２又は付記３に記載の非言語情報解析装置において、
前記刺激媒体はロボットであり、
前記センサ部は、前記ロボットの視線方向に対応して光軸が設定されたカメラを有し、
前記生成制御部は、
前記カメラで取得された画像に基づいて、前記ロボットの視線と前記人物の視線とが一致したタイミングを検出する第１検出部と、
前記第１検出部で検出されたタイミングを含む所定の長さの期間を設定し、当該期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる期間設定部とを有する
ことを特徴とする非言語情報解析装置。
(付記５)
付記２又は付記３に記載の非言語情報解析装置において、
前記刺激媒体はロボットであり、
前記ロボットは、前記刺激として、発話および身体動作の少なくとも一方を含むアクションを前記人物に対して行うアクション部を有し、
前記生成制御部は、
前記ロボットの前記アクション部が前記アクションを実行した後の所定の長さの期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる
ことを特徴とする非言語情報解析装置。
(付記６)
付記１又は付記２に記載の非言語情報解析装置において、
前記第１評価部は、
前記生成部によって生成された非言語情報に含まれる、前記人物の表情が笑顔である度合いを示す笑顔度が時間経過に応じて変化する速度を算出する速度算出部と、
前記笑顔度が増大していく過程に対応して、前記速度算出部で算出された速度の二乗和を求めることにより、前記人物の笑顔の自然さを示す情動度を求める積算部とを有する
ことを特徴とする非言語情報解析装置。
(付記７)
付記３に記載の非言語情報解析装置において、
前記第２評価部は、
前記生成部によって生成された前記非言語情報に含まれる同調的な非言語反応の強さを示す計測値の単位時間当たりの最大変化幅をそれぞれ検出することにより、前記同調的な非言語反応それぞれの同調度を求める第２検出部と、
前記生成部によって生成された前記非言語情報に基いて、個々の非言語反応の強さを示す計測値の最大値を前記非言語反応の種類ごとに集計することにより、前記非言語反応の表出に前記人物が費やした活動量を示す活性度を求める集計部と、
前記人物と前記刺激媒体との距離に基づいて、前記活性度を補正することにより、前記人物が前記刺激媒体に向けた活動量を示す指標を求める補正部と、
前記人物が前記刺激媒体に向けた活動量を示す指標と前記第２検出部で検出された前記同調的な非言語反応それぞれの同調度とに基づいて、前記人物が前記刺激媒体に向けて表出した可能性の高い非言語反応の強さを推定する推定部と、
前記人物が前記刺激媒体に視線を向けていた可能性の高さと前記推定部によって推定された非言語反応の強さを乗算することにより、前記同調度を算出する乗算部とを有する
ことを特徴とする非言語情報解析装置。
(付記８)
付記３に記載の非言語情報解析装置において、
前記生成部で生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する第１評価部と、
前記第１評価部によって得られた情動度と前記第２評価部によって得られた同調度とを含む情報を対比させて出力する出力部と
を備えたことを特徴とする非言語情報解析装置。
(付記９)
付記８に記載の非言語情報解析装置において、
前記刺激媒体はロボットであり、
前記センサ部は、前記ロボットの視線方向に対応して光軸が設定されたカメラを有し、
前記生成制御部は、
前記カメラで取得された画像に基づいて、前記ロボットの視線と前記人物の視線とが一致したタイミングを検出する第１検出部と、
前記第１検出部で検出されたタイミングを含む所定の長さの期間を設定し、当該期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる期間設定部とを有し、
前記出力部は、前記第１検出部が検出したタイミングを示す情報とともに、前記情動度および前記同調度とを含む情報を対比させて出力する
ことを特徴とする非言語情報解析装置。
(付記１０)
付記８に記載の非言語情報解析装置において、
前記刺激媒体はロボットであり、
前記ロボットは、前記刺激として、発話および身体動作の少なくとも一方を含むアクションを前記人物に対して行うアクション部を有し、
前記生成制御部は、
前記ロボットの前記アクション部が前記アクションを実行した後の所定の長さの期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させ、
前記出力部は、前記アクションが実行された時刻を示す情報とともに、前記第１評価部によって得られる評価結果をと前記第２評価部によって得られる評価結果とを含む情報を対比させて出力する
ことを特徴とする非言語情報解析装置。
(付記１１)
コンピュータに、
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成させ、
生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価させる
ことを特徴とする非言語情報解析プログラム。
(付記１２)
コンピュータが、
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、
生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する
ことを特徴とする非言語情報解析プログラム。
(付記１３)
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、
生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する
ことを特徴とする非言語情報解析方法。
(付記１４)
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、
生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する
ことを特徴とする非言語情報解析方法。
【符号の説明】
【０１８９】
２…刺激媒体；１０…非言語情報解析装置；１１…センサ部；１２…生成部；１３…第１評価部；１４…生成制御部；１５…アクション部；１６…第２評価部；１７…評価情報蓄積部；１８…出力部；１１１…カメラ；１１２…マイク；１１３…接触センサ；１２１…センサデータ処理部；１２２…非言語情報蓄積部；１２３…読出処理部；１２４…画像データ処理部；１２５…音声データ処理部；１２６…接触データ処理部；１３１…速度算出部；１３２…積算部；１４１…第１検出部；１４２…期間設定部；１５１…スピーカ；１５２−１〜１５２−ｍ…モータ；１５３…アクション制御部；１６１…第２検出部；１６２…集計部；１６３…補正部；１６４…推定部；１６５…割合算出部；１６６…乗算部；２１…プロセッサ；２２…メモリ；２３…ハードディスク装置(ＨＤＤ)；２４…表示装置；２５…入力装置；２６…光学ドライブ装置；２７…リムーバブルディスク；２８…ロボットインタフェース；Ｐ１…人物；Ｒ１…クマ型ロボット
【技術分野】
【０００１】
本件開示は、人物の表情や身振りなどを表す非言語情報を解析する非言語情報解析装置および非言語情報解析プログラム並びに非言語情報解析方法に関する。
【背景技術】
【０００２】
遠隔地に住んでいる家族の様子を見守るサービスとして、例えば、電気ポットなどの家電製品の利用状況などに基づいて、生活リズムに関する情報を収集する技術が提案されている(特許文献１参照)。
【０００３】
一方、人物を撮影した画像に含まれる特徴点の位置変化などに基づいて、当該人物の表情を判断する技術が提案されている(特許文献２参照)。また、映像コンテンツなどを視聴している人物の瞳孔が拡大あるいは縮小する反応の速度や視線の動きに基づいて、当該人物が興奮している度合いなどを含む情動の大きさを推測する技術なども提案されている(特許文献３参照)。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−０７３９６６号公報
【特許文献２】特開２０１１−０３９９３４号公報
【特許文献３】特開２０１０−０９４４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
遠隔地の家族の見守りを支援するためには、例えば、見守り対象の人物の表情や身振りなどを表す非言語情報から、当該人物が表に出していない感情を推測する手がかりとなる情報を収集することが望ましい。
【０００６】
上述した特許文献２などの技法によれば、見守り対象の人物を撮影した画像を解析することにより、当該人物が表に出した表情の種類を判断することは可能である。
【０００７】
しかしながら、見守り対象の人物は、画像の撮影の際に、例えば、笑顔など、他の家族を安心させるような種類の表情を装う可能性がある。そして、このような装われた表情と、当該人物の自然な感情から表れた表情とを、特許文献２の技法によって区別することは困難である。
【０００８】
一方、特許文献３の技法では、視線検出や瞳孔反応の観測などのために、見守り対象の人物に大掛かりな装置を装着する必要があり、見守り対象の人物の負担が大きくなってしまう。また、この技法は、視聴しているコンテンツに対して対象の人物が抱く関心の大きさを評価可能である反面、人物の穏やかな表情を判断することは困難である。
【０００９】
本件開示は、人物が表出する非言語反応から、当該人物が自然な表情を表している度合いを示す情動度あるいは当該人物の他者に対する反応の大きさを示す同調度を評価することが可能な非言語情報解析方法および非言語情報解析装置を提供することを目的とする。また、本件開示は、情動度および同調度の評価を通じて、当該人物が表出していない感情を推測するための情報を収集可能な非言語情報解析装置および非言語情報解析プログラム並びに非言語情報解析方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
一つの観点による非言語情報解析装置は、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部と、前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さをそれぞれ示す計測値を含む非言語情報を生成する生成部と、前記生成部で生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する第１評価部とを有する。
【００１１】
別の観点による非言語情報解析装置は、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部と、前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成部と、刺激媒体から前記人物へ刺激を与えたタイミングで、前記生成部に対して非言語情報を生成させる制御を行う生成制御部と、前記生成部で生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する第２評価部とを有する。
【００１２】
また、別の観点による非言語情報解析プログラムは、コンピュータに、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成させ、生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価させる。
【００１３】
更に別の観点による非言語情報解析プログラムは、コンピュータが、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する。
【００１４】
また、別の観点による非言語情報解析方法は、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する。
【００１５】
別の観点による非言語情報解析方法は、人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する。
【発明の効果】
【００１６】
本件開示の非言語情報解析装置および非言語情報解析プログラム並びに非言語情報解析方法によれば、人物が表出する非言語反応から、当該人物が自然な表情を表している度合いあるいは他者に対する反応の大きさを示す情報を収集することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】非言語情報解析装置の一実施形態を示す図である。
【図２】非言語反応の強さを示す計測値の時間変動の例を示す図である。
【図３】非言語情報解析装置の別実施形態を示す図である。
【図４】非言語情報解析装置の別実施形態を示す図である。
【図５】非言語情報解析装置の別実施形態を示す図である。
【図６】非言語情報の例を示す図である。
【図７】非言語情報解析装置の別実施形態を示す図である。
【図８】アクションごとの遅延時間の例を示す図である。
【図９】非言語情報解析装置の別実施形態を示す図である。
【図１０】非言語情報解析装置の別実施形態を示す図である。
【図１１】情動度を算出する処理を説明する図である。
【図１２】非言語情報解析装置の別実施形態を示す図である。
【図１３】同調度を評価する処理を説明する図である。
【図１４】非言語情報解析装置の別実施形態を示す図である。
【図１５】非言語情報解析装置の別実施形態を示す図である。
【図１６】非言語情報解析装置の別実施形態を示す図である。
【図１７】活性度の算出処理を説明する図である。
【図１８】非言語情報解析装置の別実施形態を示す図である。
【図１９】見守り画面の例を示す図である。
【図２０】非言語情報解析装置の別実施形態を示す図である。
【図２１】非言語情報解析装置のハードウェア構成例を示す図である。
【図２２】非言語情報解析処理のフローチャートの一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
【００１９】
図１は、非言語情報解析装置の一実施形態を示している。図１に例示した非言語情報解析装置１０は、センサ部１１と、生成部１２と、第１評価部１３とを含んでいる。
【００２０】
センサ部１１は、人物Ｐ１の表情もしくは身振りを含む非言語反応を観測する。生成部１２は、センサ部１１が取得した観測データから、人物Ｐ１が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する。第１評価部１３は、生成された非言語情報に含まれる、人物Ｐ１の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、感情表現が人物Ｐ１の感情の自然な表れである可能性の高さを示す情動度を評価する。
【００２１】
センサ部１１は、人物Ｐ１の表情や身振りなどの視覚的な非言語反応の観測に用いるカメラや、音声や接触などの聴覚や触覚によって捉えられる非視覚的な非言語反応を観測する機能を有するセンサデバイスを含んでいてもよい。なお、図１では、センサ部１１に含まれるカメラや他のセンサデバイスの図示は省略している。
【００２２】
生成部１２は、例えば、人物Ｐ１をセンサ部１１に含まれるカメラによって得られた画像データに対して顔認識処理などの画像処理を適用することにより、人物Ｐ１の顔や手を含む各部位の位置および顔に含まれる各特徴点の位置を示す位置情報を取得する。また、これらの位置情報に基づいて、生成部１２は、人物Ｐ１の表情が笑顔である度合いを示す笑顔度や、手や首の動きの大きさおよび動きの頻度などを示す計測値を得ることができる。これらの計測値は、人物Ｐ１が表出した個々の非言語反応の強さを示す計測値である。
【００２３】
人物Ｐ１は、意識的な感情表現として、顔の表情や身振り、手のジェスチャーや、発話音声の抑揚など、様々な非言語反応を表出する。このような感情表現として表出された非言語反応が、人物Ｐ１の情動に由来している場合に、これらの非言語反応の強さは、人物Ｐ１の情動の変動を反映する。このため、生成部１２によって生成される非言語情報に含まれる各計測値は、急激な増大や揺らぎを伴って、時間的に不規則に変動する場合が多い。
【００２４】
一方、人物Ｐ１が笑顔を装った場合などに、この人物Ｐ１の画像を解析して得られる笑顔度は、この人物Ｐ１が自然に笑顔になった場合に比べて、緩やかに、また、規則的に上昇する場合が多い。
【００２５】
図２は、非言語反応の強さを示す計測値の時間変動の例を示している。図２において、横軸は、時間ｔを示し、縦軸は、計測値の一例である笑顔度ｓを示す。
【００２６】
図２において、符号Ｓ１(ｔ)で示したグラフは、自然な笑顔を形成している可能性の高い人物を撮影した画像に対して顔認識処理を行って得られた笑顔度の時間変化を示す。また、符号Ｓ２(ｔ)で示したグラフは、作為的な笑顔を形成している可能性の高い人物を撮影した画像に対して顔認識処理を行って得られた笑顔度の時間変化を示す。
【００２７】
図２に例示したグラフＳ１(ｔ)は、撮影された人物の笑顔度が複雑な曲線を描いて上昇していく様子を示している。このように、自然な笑顔を形成している可能性の高い人物を撮影した画像から得られた笑顔度は、時間とともに急激に上昇したり、一旦緩んだ後にまた上昇したりといった複雑な変化を示す場合が多い。これに対して、作為的な笑顔を形成している可能性の高い人物を撮影した画像から得られた笑顔度は、図２に例示したグラフＳ２(ｔ)のように、単調に上昇した後、単調に下降する場合が多い。
【００２８】
このように、人物Ｐ１の表情や動作に表れた感情表現を表す少なくとも一つの非言語反応が情動に由来している場合と、人物Ｐ１の作為に由来している場合とでは、これらの非言語反応の強さを示す計測値の時間的な変動の特徴が異なっている。
【００２９】
したがって、第１評価部１３は、例えば、非言語反応の強さを示す計測値が、時間的に不規則に変動する度合いの高さに基づいて、当該非言語反応で表される感情表現が人物Ｐ１の自然な感情表現である可能性の高さを評価することができる。第１評価部１３は、例えば、笑顔度や手のジェスチャーの大きさや頻度などの計測値の時間的な変動が不規則である度合いに応じて、大きい値となるように情動度を求めることにより、人物Ｐ１の自然な感情表現である可能性の高さを反映することができる。
【００３０】
なお、人物Ｐ１が表出した感情表現に複数種類の非言語反応が含まれている場合に、第１評価部１３は、例えば、個々の非言語反応についての評価結果の最大値を人物Ｐ１の情動度としてもよい。
【００３１】
このように、第１評価部１３を含む本件開示の非言語情報解析装置１０によれば、人物Ｐ１が表出した感情表現が、自然な感情表現である可能性の高さを示す情動度を評価することができる。そして、この情動度は、人物Ｐ１が情動に応じて豊かな表情を表出できるようなリラックスした状態である可能性の高さを示している。したがって、このようにして情動度を求めることにより、本件開示の非言語情報解析装置１０によれば、人物Ｐ１によって表出されていない感情を推測する手がかりとなる情報を収集することができる。
【００３２】
また、本件開示の非言語情報解析装置は、例えば、人物を撮影した動画像に含まれる非言語情報に基づいて、動画像に捉えられた人物についての情動度を評価することができる。そして、この評価結果は、家庭用ビデオ撮影装置などによって撮影された動画像を含む動画像を編集するための動画編集処理装置などにおいて利用することができる。
【００３３】
例えば、本件開示の非言語情報解析装置により、動画像に含まれる複数のシーンごとに、被写体として含まれている人物についての情動度を評価し、得られた評価結果を含むタグ情報を各シーンに対応付けて動画像データに付加してもよい。このようなタグ情報を利用することにより、動画像編集装置において、例えば、被写体の人物の情動度が所定の値以上となっているシーンを切り出すなどの操作を容易に実現することができる。例えば、家庭用ビデオ撮影装置を用いて子どもを撮影した動画像から、被写体となった子どもが豊かな表情を見せているシーンの候補を自動的に抽出することにより、動画像編集処理に含まれるシーンの取捨選択作業を支援することができる。
【００３４】
本件開示の非言語情報解析装置１０は、次に示すように、人物Ｐ１に刺激が与えられたときに、この刺激に応じて表出した感情表現が自然な感情表現である可能性の高さを評価する用途にも利用することができる。
【００３５】
図３は、非言語情報解析装置１０の別実施形態を示している。なお、図３に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００３６】
図３に例示した刺激媒体２は、人物Ｐ１に視覚的な刺激あるいは非視覚的な刺激を与える物体でもよいし、また、人物Ｐ１が視聴可能な映像コンテンツなどでもよい。なお、刺激媒体２が映像コンテンツである場合に、非言語情報解析装置１０は、この映像コンテンツの再生タイミングを受け取ることができ、この再生タイミングに基づいて、人物Ｐ１が刺激を受けたタイミングを正確に特定することができる。したがって、映像コンテンツなどが刺激媒体である場合に、非言語情報解析装置１０は、後述するように、センサ部１１による観測動作の開始や生成部１２による非言語情報の生成動作を、この再生タイミングによって精密に制御することができる。一方、刺激媒体２が、物体などである場合は、例えば、物体が人物Ｐ１に提示されたタイミングなどに基づいて、刺激媒体２による刺激が人物Ｐ１に作用したタイミングを推定してもよい。また、刺激媒体２は、非言語情報解析装置１０に含まれていてもよい。
【００３７】
図３に例示した非言語情報解析装置１０は、図１に例示した各部に加えて、生成制御部１４を含んでいる。この生成制御部１４は、人物Ｐ１が刺激媒体２からの刺激を受けたタイミングで、生成部１２に対して非言語情報を生成させる制御を行う。
【００３８】
これにより、生成部１２は、刺激媒体２からの刺激によって人物Ｐ１に喚起された少なくとも一つの非言語反応の強さをそれぞれ示す計測値を含む非言語情報を生成することができる。
【００３９】
ここで、例えば、刺激媒体２の種類や性質および特徴の変化によって、人物Ｐ１が表出する感情表現は様々に変化する可能性がある。そして、様々な刺激媒体２に人物Ｐ１が接した際に生成部１２が生成した非言語情報に基づいて、第１評価部１３は、人物Ｐ１が表出した様々な感情表現について情動度をそれぞれ評価することができる。
【００４０】
したがって、図３に例示した非言語情報解析装置１０によれば、多様な感情表現についての情動度を評価可能とすることにより、人物Ｐ１によって表出されていない感情を推測する手がかりとなる情報を更に多く収集することができる。
【００４１】
なお、映像コンテンツに付加されているタグ情報などを利用することにより、人物Ｐ１が映像コンテンツを視聴している際に受ける刺激の内容と、人物Ｐ１が表出した感情表現とを明確に対応付けることが可能である。また、刺激媒体２が人物Ｐ１に作用した作用タイミングが高い精度で特定できる場合には、感情表現を表す非言語反応の強さを示す計測値が大きく変動するタイミングと作用タイミングとの近さを情動度に反映してもよい。
【００４２】
また、人物Ｐ１とコミュニケーションを行う機能を有するコミュニケーションロボットを、刺激媒体２として利用することもできる。
【００４３】
図４は、非言語情報解析装置１０の別実施形態を示している。なお、図４に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００４４】
図４に例示したクマ型コミュニケーションロボットＲ１は、コミュニケーションロボットの一例である。なお、以下の説明では、このクマ型コミュニケーションロボットＲ１を、クマ型ロボットＲ１と称する。
【００４５】
図４に例示した非言語情報解析装置１０のセンサ部１１は、このクマ型ロボットＲ１に搭載されている。また、センサ部１１に含まれるカメラ１１１の光軸は、クマ型ロボットＲ１の視線方向に概ね一致している。例えば、カメラ１１１の受光部を、クマ型ロボットの鼻の部分に設けられた開口部に一致させるように、カメラ１１１を配置することにより、クマ型ロボットＲ１の視線方向とカメラ１１１の光軸方向をほぼ一致させることができる。
【００４６】
このようにカメラ１１１を配置することにより、人物Ｐ１の視線とクマ型ロボットＲ１の視線とが一致したアイコンタクト状態において、カメラ１１１から人物Ｐ１のゆがみの少ない画像を取得することが可能となる。
【００４７】
また、図４に例示した生成制御部１４は、第１検出部１４１と期間設定部１４２とを含んでいる。この第１検出部１４１は、カメラ１１１で取得されたに基づいて、クマ型ロボットＲ１の視線と人物Ｐ１の視線とが一致したタイミングを検出する。例えば、第１検出部１４１は、カメラ１１１で取得された画像の中央に正面向きの人物が捉えられたときを、人物Ｐ１とクマ型ロボットＲ１との間でアイコンタクトが成立したタイミングとして検出してもよい。
【００４８】
また、期間設定部１４２は、第１検出部１２１で検出されたタイミングを含む所定の長さの期間を設定し、この期間において、生成部１２に対して、人物Ｐ１が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる。期間設定部１４２は、例えば、上述したアイコンタクトのタイミングより１秒前から、アイコンタクトのタイミングから４秒が経過するまでの期間を、生成部１２が非言語情報を生成する期間として設定してもよい。このようにして設定された期間は、人物Ｐ１とクマ型ロボットＲ１との間にアイコンタクトが維持されている期間に対応しているので、以下の説明では、この期間をアイコンタクト区間と称する。なお、期間設定部１４２が設定するアイコンタクト区間の長さおよびこのアイコンタクト区間の始点や終点は、アイコンタクトのタイミングがこのアイコンタクト区間内に含まれるように設定されればよく、上述した例に限定されることはない。
【００４９】
上述したようにして、第１検出部１２１が検出したタイミングは、人物Ｐ１がクマ型ロボットＲ１を認知したタイミングに相当する可能性が高い。したがって、期間設定部１４２が、生成部１２に、上述したアイコンタクト区間について非言語情報を生成させることにより、人物Ｐ１がクマ型ロボットＲ１との相互作用を契機として表出した可能性の高い非言語反応についての非言語情報を収集することができる。しかも、上述したように、アイコンタクトが成立している状態においてカメラ１１１によって得られる画像はゆがみが少ないので、顔認識処理などの画像処理によって精度の高い計測値を得ることができる。つまり、図４に例示した生成制御部１４によれば、生成部１２に、精度の高い計測値を含む非言語情報を生成させることができる。
【００５０】
したがって、このようにして生成された非言語情報に基づいて、第１評価部１３が、上述した評価処理を行うことにより、人物Ｐ１の情動度について高い精度の評価結果を得ることが可能である。
【００５１】
このようにして、本件開示の非言語情報解析装置１０によれば、クマ型ロボットＲ１との相互作用を契機として表出された非言語反応に基づいて、人物Ｐ１の感情表現の自然さを示す情動度を得ることができる。このようにして得られた情動度は、人物Ｐ１が情動に従って表情を豊かに表現している度合いを示しているので、人物Ｐ１が表出していない感情を推測する手がかりとなりうる情報の一つである。
【００５２】
なお、クマ型ロボットＲ１に搭載されるセンサ部１１は、カメラ１１１に加えて、非視覚的非言語反応を観測するためのセンサデバイスを含むことができる。
【００５３】
図５は、非言語情報解析装置１０の別実施形態を示している。なお、図５に示した構成要素のうち、図４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００５４】
図５に例示したセンサ部１１は、カメラ１１１に加えて、マイク１１２および接触センサ１１３を含んでいる。マイク１１２は、例えば、クマ型ロボットＲ１の耳の付近に配置されており、人物Ｐ１の音声を表す音声データを生成する。接触センサ１１３は、例えば、クマ型ロボットＲ１の手足の先端部分や背中および頭などに配置されており、人物Ｐ１がこれらの部分に接触した際の圧力の大きさを示す接触データを生成する。
【００５５】
また、図５に例示した生成部１２は、センサデータ処理部１２１と、非言語情報蓄積部１２２と、読出処理部１２３とを含んでいる。このセンサデータ処理部１２１は、例えば、画像データ処理部１２４と、音声データ処理部１２５と、接触データ処理部１２６とを有する。
【００５６】
画像データ処理部１２４は、センサ部１１のカメラ１１１から得られる画像データに対して、顔認識処理を含む画像処理を適用することにより、視覚的な非言語反応の強さを示す計測値を生成する。画像データ処理部１２４は、例えば、人物の顔の向きや首の傾きの角度、頷き動作の大きさおよび頻度などをそれぞれ示す計測値とともに、人物の表情が笑顔である可能性の高さを示す笑顔度を計測値の一つとして生成することが望ましい。また、画像データ処理部１２４は、顔認識処理で得られた特徴点の動きに基づいて、口の開閉動作の大きさや頻度を示す計測値を取得してもよい。更に、画像データ処理部１２４は、画像データに含まれる人物Ｐ１の手の動きを追跡することにより、人物Ｐ１の手の動きによって示されるジェスチャーの大きさや、その動きの速さなどを示す計測値を取得してもよい。また、画像データ処理部１２４は、顔認識処理で得られた顔の大きさや位置の変化に基づいて、クマ型ロボットＲ１から見た人物Ｐ１の相対位置および相対位置の変化を示す計測値を取得してもよい。
【００５７】
また、音声データ処理部１２５は、マイク１１２で得られた音声データに対して音声解析処理を適用することにより、例えば、人物Ｐ１の声の抑揚や声の大きさ、発話の頻度などを、非視覚的な非言語反応の強さを示す計測値として生成する。また、音声データ処理部１２５は、音声解析処理で得られた人物Ｐ１の声色に基づいて感情を推定する技術などを利用することによって得られるパラ言語情報を、音声として捉えられる非言語反応の強さを示す計測値の一つとして取得してもよい。
【００５８】
接触データ処理部１２６は、接触センサ１１３で得られた接触データに基づいて、人物Ｐ１がクマ型ロボットＲ１に触れることで示した非言語反応の強さを示す計測値を生成する。接触データ処理部１２６は、例えば、人物Ｐ１がクマ型ロボットＲ１の部位ごとに、当該部位に触れた回数や頻度およびそれぞれの接触の強さなどを示す計測値を生成してもよい。
【００５９】
図５に例示した非言語情報蓄積部１２２は、このようにしてセンサデータ処理部１２１に含まれる各部によって生成された非言語情報を、例えば、非言語情報の種類ごとに、各計測値の生成に用いた観測データがサンプリングされた時刻に対応して蓄積する。なお、センサデータ処理部１２１は、画像データ処理部１２４、音声データ処理部１２５および接触データ処理部１２６によって得られる各計測値を非言語情報蓄積部１２２に蓄積する前に、移動平均などを適用することによって計測値を平滑化してもよい。
【００６０】
図６は、非言語情報の例を示している。図６において、符号Ｔｋ−１、Ｔｋ，Ｔｋ＋１は、それぞれサンプリング時刻を示す。また、各計測値を、計測値の種類を示す符号とサンプリング時刻を示す添え字との組み合わせで示す。
【００６１】
図６(Ａ)は、顔認識によって得られた非言語情報の一例である。図６(Ａ)に例示した非言語情報は、人物Ｐ１の顔に含まれる各特徴点の位置を示す特徴点情報Ｆ(ｋ)および笑顔度ｒｓ(ｋ)を含んでいる。
【００６２】
また、図６(Ｂ)は、手の動きを追跡する処理で得られた非言語情報の一例である。図６(Ｂ)に例示した非言語情報は、人物Ｐ１の手の位置を示す重心位置Ｇ(ｋ)、手の動きの大きさを示す振幅Ａ(ｋ)および手の動きの速さを反映する周期ν(ｋ)を含んでいる。
【００６３】
図５に示した生成制御部１４は、顔認識処理によって得られた人物Ｐ１の顔の位置および向きを示す情報を、画像データ処理部１２４から受け取ることができる。そして、生成制御部１４は、画像データ処理部１２４から受け取った情報に基づいて、アイコンタクトが成立したタイミングを検出してもよい。また、生成制御部１４は、検出したアイコンタクトのタイミングに基づいて、生成部１２に非言語情報を生成させるアイコンタクト区間を設定し、この期間の開始時刻および終了時刻を生成部１２に通知してもよい。
【００６４】
図５に例示した読出処理部１２３は、生成制御部１４から通知されたアイコンタクト区間の開始時刻および終了時刻に基づいて、このアイコンタクト区間に含まれるサンプリング時刻に対応して非言語情報蓄積部１２２に蓄積された非言語情報を読み出す。
【００６５】
このようにして読み出された非言語情報に含まれる各計測値について、第１評価部１３が、それぞれ時間変動の特徴を調べる処理を行うことにより、様々な非言語反応の強さの時間変化に基づいて、人物Ｐ１の情動度を評価することができる。
【００６６】
また、クマ型ロボットＲ１のようなコミュニケーションロボットに搭載されているアクション機能を、非言語情報解析装置１０が、人物Ｐ１が表出する非言語反応にかかる非言語情報を収集するために利用することも可能である。
【００６７】
図７は、非言語情報解析装置１０の別実施形態を示している。なお、図７に示した構成要素のうち、図４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００６８】
図７に例示したクマ型ロボットＲ１は、刺激媒体２の一例であり、センサ部１１に加えて、人物Ｐ１に様々な刺激を作用させるためのアクション部１５を含んでいる。このアクション部１５は、例えば、クマ型ロボットＲ１の首を左右に傾けたり、横に振ったりする動作や、クマ型ロボットＲ１の手足を動かす動作を実行するためのモータと、発話のためのスピーカなどを含んでもよい。なお、図５においては、モータおよびスピーカの図示は省略した。
【００６９】
図７に例示した生成制御部１４は、アクション部１５が何らかのアクションを実行した後の所定の長さの期間において、生成部１２に、人物Ｐ１が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる。生成制御部１４は、例えば、アクションを実行した旨の通知をアクション部１５から受けたときから、アクション部１５が実行したアクションの種類に対応する適切な遅延時間の経過後に、生成部１２に非言語情報を生成させる制御をしてもよい。なお、各アクションの実行タイミングからの遅延時間は、例えば、生成制御部１４内部に、各アクション種別に対応して予め記憶させておくことができる。
【００７０】
図８は、アクション種別ごとの遅延時間の例を示している。図８に例示した各遅延時間は、アクション部１５が対応するアクションの実行を開始した時刻からの遅延時間を示している。
【００７１】
図８に例示したアクション種別「退屈そうな動作」や「あくび」、「くしゃみ」および「驚かせる動作」には、３０００ミリ秒〜３５００ミリ秒の長めの遅延時間が設定されている。これは、これらのアクション種別に含まれるアクションの実行には、クマ型ロボットＲ１の首の動きや姿勢の変更を伴うため、首の向きや姿勢などが標準的な状態に戻るまでの時間を考慮した遅延時間を設定しているためである。一方、図８に例示したアクション種別「挨拶」や「注意を引く動作」のように、人物Ｐ１の反応がアクションの開始直後に現れる可能性の高いアクションについては、０秒のような短い遅延時間を設定してもよい。また、両者の中間的な遅延時間を設定することもできる。例えば、図８に例示したアクション種別「怒った動作」や「嬉しそうな動作」のように、人物Ｐ１の反応が現れるタイミングの予想が難しいものについては、１０００ミリ秒から１５００ミリ秒の中間的な遅延時間を設定してもよい。なお、図８に例示したアクション種別は、アクション部１５を有するクマ型ロボットＲ１を刺激媒体２として用いる場合に、人物Ｐ１に対して刺激として提示するアクションの一例であり、例示した種別以外のアクションを刺激として提示することもできる。また、これらのアクション種別に対応する遅延時間も、図８の例示に限定されることはない。
【００７２】
このような遅延時間に基づいて、生成制御部１４が生成部１２による非言語情報の生成を制御することにより、クマ型ロボットＲ１が行ったアクションを契機として人物Ｐ１が表出した非言語反応に対応する非言語情報を第１評価部１３に入力することができる。
【００７３】
つまり、図７に例示した非言語情報解析装置１０によれば、クマ型ロボットＲ１によるアクションが刺激として人物Ｐ１に作用したことを契機として人物Ｐ１が表出した非言語反応に基づいて、人物Ｐ１が表出した感情表現についての情動度を評価することができる。
【００７４】
クマ型ロボットＲ１は、愛らしい外見を持っているので、このクマ型ロボットＲ１が実行する愛嬌のあるアクションは、人物Ｐ１によって快い刺激として受け止められる可能性が高い。したがって、このような刺激によって喚起された人物Ｐ１の感情表現についての情動度を評価することにより、人物Ｐ１に心理的な負担をかけることなく、人物Ｐ１によって表出されていない感情の推測に利用可能な情報を得ることができる。
【００７５】
また、次に述べるように、アクションを契機として人物Ｐ１が表出した非言語反応に対応する非言語情報を生成させる制御に、上述したアイコンタクトの成立タイミングの検出を利用することもできる。
【００７６】
図９は、非言語情報解析装置１０の別実施形態を示している。なお、図９に示した構成要素のうち、図５に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００７７】
図９に例示したアクション部１５は、スピーカ１５１と、ｎ個のモータ１５２−１〜１５２−ｎと、アクション制御部１５３とを含んでいる。スピーカ１５１は、アクション制御部１５３から受け取った音声データに基づいて、音声を出力する。また、ｎ個のモータ１５２−１〜１５２−ｎは、アクション制御部１５３からの指示に応じて、それぞれの配置に応じてクマ型ロボットＲ１の各部位を動作させる。アクション制御部１５３は、実行するアクションに応じて、スピーカ１５１および各モータ１５２−１〜１５２−ｎの動作を制御する。また、アクション制御部１５３は、アクションを実行する際に、当該アクションを特定する情報を非言語情報解析装置１０の生成制御部１４に通知する。
【００７８】
図９に例示した生成制御部１４は、アクション制御部１５３からアクションを実行した旨が通知されたタイミングから、この通知で示されたアクション種別に対応する遅延時間が経過したときに、センサデータ処理部１２３に処理の開始を指示する。そして、このセンサデータ処理部１２１で得られる画像データ処理結果に基づいて、生成制御部１４は、アイコンタクトが成立したタイミングを検出する。更に、生成制御部１４は、検出したアイコンタクトのタイミングに基づいて、アイコンタクト区間を設定し、読出処理部１２３に対して、このアイコンタクト区間に対応して非言語情報蓄積部１２２に蓄積された非言語情報の読み出しを指示すればよい。
【００７９】
図９に例示した生成部１２および生成制御部１４によれば、クマ型ロボットＲ１のアクションによって喚起された人物Ｐ１による非言語反応に対応する非言語情報を生成する期間を、アイコンタクトのタイミングに基づいて設定することができる。
【００８０】
上述したように、アイコンタクトが成立した状態では、ゆがみの少ない画像に基づいて、人物Ｐ１が表出した視覚的な非言語反応の強さを示す計測値を高い精度で取得することができる。また、クマ型ロボットＲ１のアクションによって人物Ｐ１の非言語反応の表出が喚起された場合においても、クマ型ロボットＲ１と人物Ｐ１との間の相互作用が成立したタイミングとしては、アイコンタクトが成立したタイミングがより適切である。
【００８１】
したがって、図９に例示した生成部１２および生成制御部１４を有する非言語情報解析装置１０によれば、クマ型ロボットＲ１のアクションによって喚起された人物Ｐ１の非言語反応の強さを高い精度で示す非言語情報を第１評価部１３に入力することができる。したがって、図９に例示した非言語情報解析装置１０によれば、クマ型ロボットＲ１が実行可能な多彩なアクションによって喚起された人物Ｐ１の非言語反応に基づいて、人物Ｐ１の情動度を高い精度で評価することができる。
【００８２】
次に、上述した第１評価部１３により、人物Ｐ１が自然な笑顔を表出する状態である度合いを示す情動度を算出する手法について説明する。
【００８３】
図１０は、非言語情報解析装置１０の別実施形態を示している。なお、図１０に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００８４】
図１０に例示した第１評価部１３は、速度算出部１３１と、積算部１３２とを含んでいる。速度算出部１３１は、生成部１２によって生成された非言語情報に含まれる、人物Ｐ１の表情が笑顔である度合いを示す笑顔度が時間経過に応じて変化する速度を算出する。積算部１３２は、笑顔度が増大していく過程に対応して、速度算出部１３１で算出された速度の二乗和を求めることにより、人物Ｐ１の笑顔の自然さを示す情動度を求める。
【００８５】
図１１は、情動度を算出する処理を説明する図である。図１１において、横軸は時間ｔを示し、縦軸は、非言語反応の強さを示す計測値の一つである笑顔度ｓを示す。また、図１１において、符号ｓ(ｔ)で示したグラフは、笑顔度ｓの時間変化を示す。
【００８６】
また、図１１において、符号Ｔｋ−１は、ｋ−１番目のサンプリング時刻を示し、符号Ｔｋは、ｋ番目のサンプリング時刻を示す。そして、サンプリング時刻Ｔｋにおける笑顔度Ｓ(ｋ)とサンプリング時刻Ｔｋ−１における笑顔度Ｓ(ｋ−１)との差は、サンプリング時刻Ｔｋにおける笑顔度ｓ(ｔ)の変化速度を示している。
【００８７】
つまり、図１０に例示した速度算出部１３１は、各サンプリング時刻Ｔｋに対応する笑顔度Ｓ(ｋ)とその前のサンプリング時刻Ｔｋ−１に対応する笑顔度Ｓ(ｋ−１)との差分を算出することにより、笑顔度の変化速度を算出することができる。
【００８８】
また、図１１において、符号τ１および符号τ２で示した期間は、笑顔度ｓ(ｔ)が時間経過に応じて増大している期間を示す。この期間τ１および期間τ２は、図１０に例示した速度算出部１３１で算出された変化速度が正の値である期間に相当する。
【００８９】
したがって、図１０に例示した積算部１３２は、速度算出部１３１で算出された変化速度が正の値である期間について、この変化速度の二乗和を算出することにより、人物Ｐ１が表出した笑顔の自然さを反映する情動度を算出することができる。
【００９０】
図１０に例示した速度算出部１３１および積算部１３２によって人物Ｐ１が表出した笑顔の自然さを反映する情動度ＣＬを求める処理は、式(１)を計算することによって実現してもよい。
【００９１】
【数１】
【００９２】
なお、笑顔の自然さを反映する情動度ＣＬを求める処理において、各サンプリング時刻Ｔｋに対応する笑顔度Ｓ(ｋ)は、例えば、サンプリング間隔の２倍の期間についての移動平均を適用することによって平滑化した値を用いることが望ましい。
【００９３】
このように、図１０に例示した第１評価部１３によれば、笑顔度の時間変化の不規則性を情動度の大きさに反映することにより、人物Ｐ１が表出した笑顔が自然な表情である可能性の高さを示す情動度を求めることができる。このようにして得られた情動度は、人物Ｐ１が笑顔を表出する際に費やした運動エネルギーを反映しているので、人物Ｐ１が自然な情動に従って笑顔を表出している場合により高い値となる。なお、本出願人は、複数の人物を撮影した映像に基づいて、発明者の主観による判断と、図１０に例示した第１評価部１３によって得られた情動度に基づく判断とが一致するか否かを調べる実験を行っている。この実験の結果によれば、発明者の主観による判断で、自然な表情が表出されているとされた人物の映像については、図１０に例示した第１評価部１３によって、高い値を持つ情動度が高い確率で得られた。また、発明者の主観による判断で、表情が乏しいとされた人物の映像については、図１０に例示した第１評価部１３によって、低い値を持つ情動度が高い確率で得られた。
【００９４】
ここで、笑顔度は、非言語反応のひとつである「微笑する」表情の強さを示す計測値であり、そして、「笑顔」が人物Ｐ１の情動を反映している度合いが高ければ、人物Ｐ１は快い状態である可能性が高い。したがって、上述したようにして、笑顔度の時間変化に基づいて求めた情動度ＣＬには、人物Ｐ１が快い状態である度合いを示す快情動が反映されている。この快情動は、人物Ｐ１によって表出されていない感情の一面を示す情報であるので、例えば、人物Ｐ１を見守るサービスなどの分野においては、非常に有用な情報である。
【００９５】
つまり、図１０に例示した第１評価部１３を有する非言語情報解析装置１０は、人物Ｐ１の快情動を反映する情報度ＣＬを高い精度で評価することができるので、人物Ｐ１によって表出されていない感情を推測のための情報を収集する上で非常に有用である。
【００９６】
また、次に述べるように、非言語情報を別の観点から評価することにより、人物Ｐ１によって表出されていない感情を推測する手がかりとなる別の情報を引き出すことも可能である。
【００９７】
図１２は、非言語情報解析装置１０の別実施形態を示している。なお、図１２に示した構成要素のうち、図３に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【００９８】
図１２に例示した非言語情報解析装置１０は、図３に例示した第１評価部１３に代えて、第２評価部１６を含んでいる。この第２評価部１６は、生成部１２で生成された非言語情報に含まれる各計測値の変動の大きさと、この変動と刺激媒体２と人物Ｐ１との相互作用との関連の強さに基づいて、人物Ｐ１の刺激媒体２に対する関心の高さを示す同調度を評価する。第２評価部１６は、例えば、各計測値について単位時間当たりの変化量の最大値をそれぞれ検出することにより、当該計測値で示される非言語反応が最も大きく変動したタイミングを特定する。さらに、第２評価部１６は、検出した単位時間当たりの変化量の最大値と、当該計測値の平均値とを比較することにより、変化量の最大値の大きさを評価してもよい。そして、第２評価部１６は、各非言語反応について特定したタイミングと、人物Ｐ１に刺激媒体２が作用したタイミングとの近さと、当該非言語反応について検出した最大の変化量に基づいて、個々の非言語反応と刺激媒体２との同調度を求めてもよい。また、第２評価部１６は、各非言語反応について求めた同調度の中の最大値を、人物Ｐ１が刺激媒体２に対して示した関心の高さを示す同調度としてもよい。
【００９９】
図１３は、同調度の評価を説明する図である。図１３において、横軸は時間ｔを示し、縦軸は、それぞれ異なる非言語反応の強さを示す計測値ｒａ，ｒｂを示す。また、図１３において、符号ｒａ(ｔ)で示したグラフは、計測値ｒａの時間変化を示し、符号ｒｂ(ｔ)で示したグラフは、計測値ｒｂの時間変化を示す。
【０１００】
また、図１３において、符号Ｔｃは、刺激媒体２が人物Ｐ１に作用したタイミングを示す。なお、刺激媒体２が映像コンテンツである場合は、映像コンテンツの再生開始時刻を、人物Ｐ１に刺激媒体２が作用した作用タイミングＴｃとして用いることができる。
【０１０１】
また、図１２に例示した第２評価部１６は、作用タイミングＴｃとの関連性の強さを、例えば、計測値ｒａ(ｔ)，ｒｂ(ｔ)の最大変化量を検出したタイミングが、作用タイミングＴｃを含む所定の長さの期間τｓに含まれるか否かかに基づいて判定してもよい。
【０１０２】
図１３に例示した期間τｓは、作用タイミングＴｃと人物Ｐ１が刺激媒体２による刺激を受けたタイミングとのズレを考慮して、作用タイミングＴｃを含むように設定した例である。上述したように、映像コンテンツを刺激媒体２として人物Ｐ１に作用させる場合には、再生開始時刻に対応する作用タイミングＴｃと人物Ｐ１が映像コンテンツによる刺激を受けるタイミングとが一致する。したがって、刺激媒体２が映像コンテンツである場合は、上述した期間τｓの開始時刻を作用タイミングＴｃに一致させてもよい。
【０１０３】
図１３に例示した計測値ｒｂ(ｔ)から単位時間当たりの変化量の最大値が検出されるタイミングは、上述した期間τに含まれており、また、検出された変化量の最大値も計測値ｒｂ(ｔ)の変化量の平均値に比べて大きい。したがって、第１評価部１６がこの計測値ｒｂ(ｔ)で強さが示される非言語反応について、刺激媒体２の作用に対して求めた同調度は高い値を示す。
【０１０４】
これに対して、図１３に例示した計測値ｒａ(ｔ)は、なだらかな起伏を繰り返しており、上述した期間τの範囲内に目立ったピークはない。このような計測値ｒａ(ｔ)について、図１２に例示した第２評価部１６が、上述した期間τに含まれるタイミングにおいて最大の変化量を検出したとしても、その変化量は、計測値ｒａ(ｔ)の変化量の平均値と同程度である。したがって、第１評価部１６がこの計測値ｒａ(ｔ)で強さが示される非言語反応について、刺激媒体２の作用に対して求めた同調度は低い値を示す。
【０１０５】
このようにして、第２評価部１６は、個々の非言語反応の強さを示す計測値の変動の大きさと刺激媒体２の作用タイミングとの関係に基づいて、各非言語反応についての同調度を求めることができる。
【０１０６】
そして、第２評価部１６は、このようにして得られた複数の非言語反応についての同調度の最大値を、人物Ｐ１の刺激媒体２に対する同調度とする。これにより、少なくとも一つの非言語反応について得られた高い値を持つ同調度を、人物Ｐ１の刺激媒体２に対する同調度に反映することができる。
【０１０７】
このように、図１２に例示した非言語情報解析装置１０によれば、刺激媒体２の作用に応じて人物Ｐ１が表出した非言語反応に基づいて、人物Ｐ１の刺激媒体２に対する同調度を評価することができる。
【０１０８】
このようにして評価される同調度は、人物Ｐ１の社会的な反応の活発さを示している点で、上述した情動度とは別の観点から人物Ｐ１によって表出されていない感情を推測する手がかりとして有用な情報である。したがって、図１２に例示した第２評価部１６を有する非言語情報解析装置１０は、人物Ｐ１の社会的な反応の活発さを示す同調度を評価することができるので、人物Ｐ１によって表出されていない感情を推測するための情報を収集する上で非常に有用である。
【０１０９】
また、人物Ｐ１とコミュニケーションを行う機能を有するコミュニケーションロボットを、刺激媒体２として利用することにより、明確な対象に対する社会的な反応の活発さを評価することもできる。
【０１１０】
図１４は、非言語情報解析装置１０の別実施形態を示している。なお、図１４に示した構成要素のうち、図１２に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１１１】
図１４に例示した非言語情報解析装置１０は、図４に例示した非言語情報解析装置１０と同様に、カメラ１１１を含むセンサ部１１を搭載したクマ型ロボットＲ１を、刺激媒体２として人物Ｐ１に作用させる。
【０１１２】
図１４に例示したカメラ１１１の光軸方向は、クマ型ロボットＲ１の視線Ｑの方向とほぼ一致しているので、人物Ｐ１の視線とクマ型ロボットＲ１の視線Ｑとが一致したときに、カメラ１１１によって人物Ｐ１を正面から捉えた画像データを得ることができる。
【０１１３】
図１４に例示した生成制御部１４の第１検出部１４１は、図４を用いて説明したようにして、カメラ１１１で得られる画像データに基づいて、クマ型ロボットＲ１と人物Ｐ１とのアイコンタクトが成立したタイミングを検出する。そして、期間設定部１４２は、図４を用いて説明したようにして、アイコンタクトのタイミングを含むアイコンタクト区間において、生成部１２に、センサ部１１で得られる観測データから非言語情報を生成させる。
【０１１４】
クマ型ロボットＲ１は愛らしい外見を持っているので、人物Ｐ１とクマ型ロボットＲ１とがアイコンタクト状態となったときに、人物Ｐ１が同調的な非言語反応を表出する可能性は高い。そして、上述した期間設定部１４２で設定されるアイコンタクト区間において、人物Ｐ１が表出する同調的な非言語反応は、クマ型ロボットＲ１との接触を契機として表出された非言語反応である可能性が高い。
【０１１５】
したがって、図１４に例示した生成制御部１４による制御に従って生成部１２が生成した非言語情報について、第２評価部１６が、上述したようにして同調度を求めることにより、人物Ｐ１のクマ型ロボットＲ１に対する同調度を高い精度で取得することができる。
【０１１６】
このように、図１４に例示した非言語情報解析装置１０によれば、社会的な反応を反映した同調度を高い精度で求めることができる。
【０１１７】
なお、図１４に例示したセンサ部１１は、図５に例示したセンサ部１１と同様に、カメラ１１１に加えてマイクや接触センサなどの他のセンサデバイスを含んでいる。したがって、図１４に例示した第２評価部１６は、これらのセンサデバイスによって得られる多様な観測データに基づいて、生成部１２によって生成される非言語情報を、同調度の評価に用いることができる。
【０１１８】
また、クマ型ロボットＲ１のようなコミュニケーションロボットに搭載されているアクション機能を、非言語情報解析装置１０が、人物Ｐ１が表出する非言語反応にかかる非言語情報の収集するために利用することも可能である。
【０１１９】
図１５は、非言語情報解析装置１０の別実施形態を示している。なお、図１５に示した構成要素のうち、図１４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１２０】
図１５に例示したクマ型ロボットＲ１は、センサ部１１に加えて、アクション部１５を含んでいる。また、図１５に例示した生成部１２は、図９に例示した生成部１２と同様に、センサデータ処理部１２１と、非言語情報蓄積部１２２と、読出処理部１２３とを含んでいる。
【０１２１】
上述したアクション部１５は、アクションを実行する際に、その旨を生成制御部１４に通知する。この通知とセンサデータ処理部１２１で得られる情報とに基づいて、生成制御部１４は、図９を用いて説明したようにして、読出処理部１２３に対して、非言語情報蓄積部１２２から読み出す非言語情報の範囲を指定する。
【０１２２】
このようにして、生成制御部１４は、クマ型ロボットＲ１によって任意のアクションが実行された後に、クマ型ロボットＲ１と人物Ｐ１とのアイコンタクトが成立する前後に人物Ｐ１が表出した非言語反応を示す非言語情報を生成部１２に生成させることができる。
【０１２３】
このようにして生成された非言語情報は、クマ型ロボットＲ１のアクションを契機として人物Ｐ１が表出した同調的な非言語反応に関する情報を多く含んでいる。そして、クマ型ロボットＲ１は、図８に例示したように、様々な種別のアクションを実行可能であり、また、種別の異なるアクションに応じて、人物Ｐ１は異なる種類の非言語反応を返す可能性がある。
【０１２４】
したがって、図１５に例示した第２評価部１６は、アクションによって喚起された人物Ｐ１の非言語反応に対応して、上述したようにして生成された非言語情報の入力を受けることができる。そして、これらの非言語情報の入力に応じて、図１３を用いて説明したような処理を行うことにより、第２評価部１６は、例えば、実行されたアクションごとに、人物Ｐ１が表出した非言語反応で示される同調度を評価することができる。このようにして得られたアクションの種別ごとの同調度は、様々な場面における人物Ｐ１の社会的な反応の活発さを反映している。
【０１２５】
つまり、図１５に例示した非言語情報解析装置１０によれば、多様な角度から、人物Ｐ１の社会的な反応度を示す同調度を求めることができる。
【０１２６】
また、クマ型ロボットＲ１のアクションによって人物Ｐ１の非言語反応を引き出すことができれば、第２評価部１６によって人物Ｐ１の同調度を評価する機会を増加させることができる。したがって、個々のアクションの実行に応じて得られた同調度の評価結果の精度が必ずしも高くなくても、多数回の評価を行うことにより、精度の向上を図ることができる。
【０１２７】
次に、上述した第２評価部１６により、人物Ｐ１がクマ型ロボットＲ１に対して同調的な反応を示している度合いを示す同調度を算出する手法について説明する。
【０１２８】
図１６は、非言語情報解析装置１０の別実施形態を示している。なお、図１６に示した構成要素のうち、図１５に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１２９】
図１６に例示した第２評価部１６は、第２検出部１６１と、集計部１６２と、補正部１６３と、推定部１６４と、割合算出部１６５と、乗算部１６６とを含んでいる。
【０１３０】
図１６に例示した第２検出部１６１は、生成部１２によって生成された非言語情報に含まれる同調的な非言語反応の強さを示す計測値の単位時間当たりの最大変化幅をそれぞれ検出することにより、同調的な非言語反応それぞれの同調度を求める。
【０１３１】
第２検出部１６１は、例えば、まず、生成部１２で得られた非言語情報から、例えば、笑顔度、口の開閉動作の頻度、頷き動作の頻度、ジェスチャの頻度およびクマ型ロボットＲ１への接触頻度を示す計測値を更に生成する。そして、これらの計測値に基づいて、第２検出部１６１は、図１３を用いて説明したようにして、同調的な種類の非言語反応それぞれの強さを示す計測値の最大の変化幅を、個々の非言語反応の同調度としてそれぞれ検出する。
【０１３２】
例えば、ｎ種類の同調的な非言語反応に含まれるｊ番目の非言語反応についての同調度ＳＬｊは、この非言語反応の強さをサンプリングして得られたｋ番目の計測値の移動平均ｂｊ(ｋ)を用いて、式(２)のように表すことができる。なお、式(２)において、定数Ｎは、アイコンタクト区間τの開始から終了までのサンプル数である。また、式(２)に含まれる正規化パラメータｐｊは、ｎ種類の同調的な非言語反応の強さを同一の尺度で比較するためのパラメータである。この正規化パラメータｐｊには、例えば、同調的な非言語反応についての計測値ｂｊについて想定される最大値などに基づいて予め決定した値を設定することができる。
【０１３３】
【数２】
【０１３４】
図１６に例示した集計部１６２は、生成部１２によって生成された非言語情報に基いて、個々の非言語反応の強さを示す計測値の最大値を非言語反応の種類ごとに集計することにより、これらの非言語反応の表出に人物Ｐ１が費やした活動量を示す活性度を求める。
【０１３５】
図１７は、活性度の算出処理を説明する図である。図１７において、横軸は時間ｔを示し、縦軸は、各非言語反応の強さを示す計測値ｒを示す。また、図１７において、符号τで示した期間は、図１６に示した生成部１２によって非言語情報が生成されるアイコンタクト区間を示す。また、図１７において、符号ｒ１(ｔ)，ｒ２(ｔ)，ｒ３(ｔ)で示したグラフは、それぞれ計測値ｒ１，ｒ２，ｒ３の時間変化の例を示す。
【０１３６】
図１６に例示した集計部１６２は、まず、アイコンタクト区間τの範囲において、各計測値ｒ１(ｔ)，ｒ２(ｔ)，ｒ３(ｔ)の最大値ａ１，ａ２，ａ３をそれぞれ検出する。次に、集計部１６２は、最大値ａ１，ａ２，ａ３に、それぞれの非言語反応についてあらかじめ設定した重みを乗じることにより、個々の非言語反応の活性度を求める。このとき、集計部１６２は、個々の非言語反応の活性度を、当該非言語反応について予め設定した最大値以下の値となるように抑制してもよい。このようにして得られた個々の非言語反応の活性度を集計することにより、集計部１６２は、人物Ｐ１が活動的である度合いを示す活性度を算出する。集計部１６２は、個々の非言語反応の活性度を集計することで得られた活性度の値を、予め設定した最大値以下となるように抑制してもよい。
【０１３７】
例えば、ｍ種類の非言語反応に含まれるｉ番目の非言語反応についての活性度ＡＬｉは、この非言語反応の強さをサンプリングして得られた計測値の最大値ａｉと、この非言語反応について設定した重みｗｉを用いて、式(３)のように表すことができる。なお、式(３)において、定数ＭａｘＡＬｉは、ｉ番目の非言語反応についての活性度ＡＬｉについて設定された最大値である。各非言語反応に対応する各定数ＭａｘＡＬｉは、複数の非言語反応に対応する活性度を人物Ｐ１の活性度に反映するために、例えば、値０．４程度に設定することが望ましい。
ＡＬｉ＝ｍａｘ（ｗｉ・ａｉ，ＭａｘＡＬｉ） ・・・（３）
また、上述したようにして算出した活性度ＡＬｉと活性度について予め設定された最大値ＭａｘＡＬを用いて、活性度ＡＬは、式(４)のように表すことができる。なお、最大値ＭＡｘＡＬは、例えば、値１に設定してもよい。
【０１３８】
【数３】
【０１３９】
図１６に例示した補正部１６３は、人物Ｐ１と刺激媒体２の一例であるクマ型ロボットＲ１との距離に基づいて、上述したようにして求めた活性度ＡＬを補正することにより、人物Ｐ１がクマ型ロボットＲ１に向けた活動量を示す同調的な活性度ＡＬｓを求める。
【０１４０】
補正部１６３は、例えば、集計部１６２によって得られた活性度ＡＬに、人物Ｐ１とクマ型ロボットＲ１との距離ｄに応じた係数εを乗じた値を、クマ型ロボットＲ１に向けられている活動量を示す同調的な活性度ＡＬｓとしてもよい。
【０１４１】
ここで、人物Ｐ１とクマ型ロボットＲ１との距離ｄが、両者が近接していると判断できる距離Ｄｎ以下である場合に、活性度ＡＬで示される活動量が、クマ型ロボットＲ１に向けられている可能性は高い。逆に、距離ｄが両者が離れていると判断される距離Ｄｄ以上である場合に、活性度ＡＬで示される活動量が、クマ型ロボットＲ１に向けられている可能性は低い。そこで、距離ｄが上述した距離Ｄｎ以下である場合に、活性度ＡＬで示される活動量がクマ型ロボットＲ１に向けられている可能性を示す係数ｅｎとする。また、距離ｄが上述した距離Ｄｄ以上である場合に、活性度ＡＬで示される活動量がクマ型ロボットＲ１に向けられている可能性を示す係数ｅｄとする。これらの係数ｅｎ，ｅｄを用いると、上述した係数εおよびクマ型ロボットＲ１に向けられている活動量を示す同調的な活性度ＡＬｓは、それぞれ式(５)、式(６)のように表すことができる。なお、上述した距離Ｄｎおよび距離Ｄｄは、クマ型ロボットＲ１が人物Ｐ１に作用する環境などを考慮して決定することができる。例えば、クマ型ロボットＲ１が室内に配置されている場合には、１メートル程度の値を距離Ｄｎに設定し、２メートル程度の距離を距離Ｄｄに設定することが望ましい。
【０１４２】
【数４】
【０１４３】
このように、補正部１６３は、集計部１６２で得られた活性度ＡＬと式(６)を用いることにより、クマ型ロボットＲ１に向けられている活動量を示す同調的な活性度ＡＬｓを算出してもよい。
【０１４４】
図１６に例示した推定部１６４は、上述した同調的な活性度ＡＬｓと第２検出部で得られた同調的な非言語反応ごとの同調度ＳＬｊとに基づいて、人物Ｐ１が刺激媒体２に向けて表出した可能性の高い非言語反応の強さを推定する。なお、図１６に例示したクマ型ロボットＲ１は、刺激媒体２の一例である。
【０１４５】
推定部１６４は、例えば、同調的な非言語反応ごとの同調度ＳＬｊおよび上述した同調的な活性度ＡＬｓの中の最大値を、人物Ｐ１が表出した非言語反応のうちクマ型ロボットＲ１に向けられた非言語反応の強さの推定値ＳＬｐとしてもよい。なお、推定部１６４は、クマ型ロボットＲ１に向けられた非言語反応の強さの推定値ＳＬｐを、この推定値について予め設定した最大値ＭａｘＳＬ以下の値となるように抑制してもよい。
【０１４６】
このような抑制を適用する場合に、推定部１６４によって求められるクマ型ロボットＲ１に向けられた非言語反応の強さの推定値ＳＬｐは、式(７)のように表される。
SLp＝min(max(max(SL１，・・・，SLn)，ALs))，MaxSL) ・・・(７)
図１６に例示した割合算出部１６５は、例えば、アイコンタクト区間τのうち、人物Ｐ１がクマ型ロボットＲ１を見ている期間の割合を求めることにより、人物Ｐ１がクマ型ロボットＲ１に視線を向けていた確率Ｃｐを求める。割合算出部１６５は、例えば、アイコンタクト区間τに含まれる画像データの枚数Ｍｔに対して、人物Ｐ１の顔が正面向きで捉えられている画像データの枚数Ｍｐが占める割合を、人物Ｐ１がクマ型ロボットＲ１に視線を向けていた確率Ｃｐとしてもよい。
【０１４７】
そして、図１６に例示した乗算部１６６は、割合算出部１６５で算出された確率Ｃｐを、推定部１６４で求められた推定値ＳＬｐに乗算することにより、人物Ｐ１がクマ型ロボットＲ１に対して示している同調度ＳＬを求める。
【０１４８】
したがって、この同調度ＳＬは、例えば、上述した式(７)と確率Ｃｐとを用いて、式(８)のように表される。
SL＝min(max(max(SL１，・・・，SLn)，ALs))，MaxSL)・Cp ・・・(８)
このように、図１６に例示した第２評価部１６によれば、同調的な非言語反応に限らず、人物Ｐ１が表出したあらゆる非言語反応がクマ型ロボットＲ１に対して向けられた可能性を考慮することにより、人物Ｐ１の同調度をより精密に評価することができる。
【０１４９】
なお、本出願人は、複数の人物を撮影した映像に基づいて、発明者の主観による活性度および同調度の評価と、図１６に例示した第２評価部１６によって得られる活性度および同調度とが一致するか否かを調べる実験を行っている。この実験の結果によれば、発明者の主観による活性度および同調度の評価と、図１６に例示した第２評価部１６によって得られた活性度および同調度の評価結果との間には、高い相関関係が見られた。
【０１５０】
また、上述したようにして人物Ｐ１が表出した非言語反応に基づいて算出した各種の指標値を、時系列に従って出力することにより、人物Ｐ１の様子を遠隔地に居住する家族が見守るサービスを支援することも可能である。
【０１５１】
図１８は、非言語情報解析装置の別実施形態を示している。なお、図１８に示した構成要素のうち、図３又は図１２に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１５２】
図１８に例示した非言語情報解析装置１０は、センサ部１１、生成部１２、第１評価部１３、生成制御部１４および第２評価部１６に加えて、評価情報蓄積部１７と、出力部１８とを含んでいる。評価情報蓄積部１７は、第１評価部１３によって得られた情動度を示す情報および第２評価部１６によって得られた活性度および同調度を示す情報を、時系列に従って蓄積する。出力部１８は、評価情報蓄積部１７に蓄積された情報に基づいて、人物Ｐ１について得られた情動度と活性度および同調度とを対比させて出力する。この出力部１８は、例えば、遠隔地に居住する家族のパーソナルコンピュータなどの情報機器に、人物Ｐ１について得られた情動度と活性度および同調度を時系列に従って提示する見守り画面を表示させてもよい。
【０１５３】
図１９は、見守り画面の一例を示している。図１９において、符号Ｐｉｃは、人物Ｐ１を撮影して得られた画像の例である。また、符号Ｂａｒは、図１８に例示した第１評価部１３および第２評価部１６によって最近に得られた情動度、活性度および同調度の大きさを、それぞれ対応する棒グラフの長さで示している。
【０１５４】
また、図１９に例示した見守り画面は、日付に対応する帯状の領域に設けた時刻ごとの区画を含んでいる。そして、図１８に例示した出力部１８は、例えば、対応する時間帯において第１評価部１３および第２評価部１６で得られた情動度、活性度および同調度を集計することにより、図１９において符号ｈ１、ｈ２、ｈ３、ｈ４、ｈ５、ｈ６、ｈ７で示した棒グラフを表示させてもよい。
【０１５５】
なお、図１９に例示した棒グラフｈ１〜ｈ７に含まれる各バーは、左から順に、インタラクション頻度、活性度および快適度を示している。出力部１８は、例えば、各時間帯において第２評価部１６で得られた同調度が所定の閾値以上の状態で刺激媒体２との間の相互作用があった回数を集計することにより、インタラクション頻度を求めてもよい。また、出力部１８は、各時間帯に対応して蓄積された活性度および快情動を示す情動度について、あらかじめ設定した統計処理を行うことにより、個々の時間帯の活性度および快適度を求めてもよい。出力部１８は、各時間帯に対応して蓄積された活性度のサンプルに対して、上述した統計処理として、最大値を取得する処理や平均値を取得する処理および上位ｘ個の平均を取得する処理を実行することによって、当該時間帯の活性度を算出してもよい。同様に、出力部１８は、各時間帯に対応して蓄積された快情動を示す情動度のサンプルに対して、上述した統計処理のいずれかを実行することによって、当該時間帯の快適度を算出してもよい。
【０１５６】
なお、出力部１８は、複数の日付に対応する帯状の領域を含む見守り画面を生成することもできる。また、出力部１８は、図１９に例示した棒グラフｈ１〜ｈ７の代わりに、インタラクション頻度をバーの長さで示し、活性度および快適度を色調で表現するようにした見守り画面を生成してもよい。出力部１８は、例えば、各時間帯に対応して蓄積された活性度の最大値を、インタラクション頻度を示すバーの表示色の明度あるいは彩度の高さで示す見守り画面を生成してもよい。また、出力部１８は、例えば、各時間帯に対応して蓄積された快適度の最大値を、インタラクション頻度を示すバーの表示色の色相が基本の色相から隔たっている度合いで示す見守り画面を生成してもよい。
【０１５７】
上述したように、第１評価部１３で得られる情動度および第２評価部１６で得られる同調度は、いずれも、人物Ｐ１によって表出されていない感情を推測する手がかりとなる情報である。また、同調度を算出する過程において、第２評価部１６で求められる活性度もまた、人物Ｐ１によって表出されていない感情を推測する手がかりとなる情報である。
【０１５８】
したがって、図１９に例示したような見守り画面において、上述した複数の指標を対比して提示することにより、明確には表出されにくい見守り対象の人物Ｐ１の気分などを推測する手がかりを得ることができる。
【０１５９】
例えば、本件開示の非言語情報解析装置１０によって得られた活性度および快適度をラッセルの感情円環モデルなどの感情モデルに当てはめることにより、見守り対象の人物Ｐ１によって表出されていない感情を推測することも可能である。
【０１６０】
また、クマ型ロボットＲ１を刺激媒体２として用いることにより、クマ型ロボットＲ１に搭載されているアクション機能を、非言語情報解析装置１０が、人物Ｐ１が表出する非言語反応にかかる非言語情報の収集に利用することも可能である。
【０１６１】
図２０は、非言語情報解析装置１０の別実施形態を示している。なお、図２０に示した構成要素のうち、図１８に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
【０１６２】
クマ型ロボットＲ１を刺激媒体２として利用することによる利点は、以上に述べた非言語情報解析装置１０の実施形態の説明において述べたとおりである。なお、本件開示の非言語情報解析装置１０を、見守りサービスの支援に適用した場合には、クマ型ロボットＲ１のように、日常生活に溶け込む外見を持つ刺激媒体２を利用することにより、見守り対象の人物Ｐ１の負担を軽減することができる。また、クマ型ロボットＲ１の持つ愛らしい外見や愛嬌のあるしぐさにより、見守り対象の人物Ｐ１の同調性や自然な情動が引き出される可能性も高いので、クマ型ロボットＲ１を非言語情報解析装置１０と組み合わせて利用することは有用である。
【０１６３】
本件開示の非言語情報解析装置１０は、例えば、パーソナルコンピュータなどのコンピュータ装置を用いて実現することができる。
図２１は、非言語情報解析装置のハードウェア構成例を示している。
【０１６４】
図２１に例示したコンピュータ装置２０は、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、表示装置２４と、入力装置２５と、光学ドライブ装置２６と、ロボットインタフェース２８とを含んでいる。図２１に例示したプロセッサ２１と、メモリ２２と、ハードディスク装置２３と、表示装置２４と、入力装置２５と、光学ドライブ装置２６と、ロボットインタフェース２８とは、バスを介して互いに接続されている。図２１に例示した光学ドライブ装置２６は、光ディスクなどのリムーバブルディスク２７を装着可能であり、装着したリムーバブルディスク２７に記録された情報の読出および記録を行う。また、図２１に例示した非言語情報解析装置１０は、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、表示装置２４と、ロボットインタフェース２８とを含んでいる。
【０１６５】
図２１に例示したコンピュータ装置２０は、ロボットインタフェース２８を介して、クマ型ロボットＲ１に接続されている。そして、プロセッサ２１は、ロボットインタフェース２８を介して、このクマ型ロボットＲ１に搭載されたセンサ部１１およびアクション部１５からの情報を受け取ることができる。
【０１６６】
図２１に例示した入力装置２５は、例えば、キーボードやマウスなどである。非言語情報解析装置１０の操作者は、入力装置２５を操作することにより、非言語情報解析装置１０に含まれる各部に対して、例えば、人物Ｐ１の見守りを開始させる旨の指示などを入力することができる。
【０１６７】
メモリ２２は、コンピュータ装置２０のオペレーティングシステムとともに、プロセッサ２１が上述した非言語情報解析処理を実行するためのアプリケーションプログラムを格納している。なお、上述した非言語情報解析処理を実行するためのアプリケーションプログラムは、例えば、光ディスクなどのリムーバブルディスク２７に記録して頒布することができる。そして、このリムーバブルディスク２７を光学ドライブ装置２６に装着して読み込み処理を行うことにより、非言語情報解析処理を実行するためのアプリケーションプログラムを、メモリ２２およびハードディスク装置２３に格納させてもよい。また、インターネットなどのネットワークに接続する通信装置(図示せず)を介して、非言語情報解析処理を実行するためのアプリケーションプログラムをメモリ２２およびハードディスク装置２３に読み込ませることもできる。
【０１６８】
また、プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムを実行することにより、図１に例示した生成部１２、第１評価部１３の機能を果たしてもよい。また、プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムを実行することにより、図３に例示した生成制御部１４の機能を果たしてもよい。更に、プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムを実行することにより、図１２に例示した第２評価部１６および図１８に例示した出力部１８の機能を果たしてもよい。
【０１６９】
図２２は、非言語情報解析処理のフローチャートの一例を示している。図２２に示したステップＳ３０１〜ステップＳ３１１の各処理は、上述した非言語情報解析処理のためのアプリケーションプログラムに含まれる処理の一例である。また、これらのステップＳ３０１〜ステップＳ３１１の各処理は、図２１に例示したプロセッサ２１によって実行される。
【０１７０】
プロセッサ２１は、ロボットインタフェース２８を介して、クマ型ロボットＲ１に含まれるアクション部１５からアクションを実行する旨の通知を受信したときに（ステップＳ３０１）、ステップＳ３０２以降の非言語反応の生成および解析処理を開始する。
【０１７１】
プロセッサ２１は、上述した通知で示されたアクション種別に対応する遅延時間が経過するまで待機する(ステップＳ３０２)。例えば、プロセッサ２１は、各アクション種別に対応して図８に例示した遅延時間の経過を待機すればよい。
【０１７２】
その後、プロセッサ２１は、ロボットインタフェース２８を介して、クマ型ロボットＲ１に含まれるセンサ部１１に含まれるカメラなどの各センサデバイスからのセンサデータの受信を開始する(ステップＳ３０３)。
【０１７３】
ついで、プロセッサ２１は、受信したセンサデータから非言語反応の強さを示す計測値を生成する処理を実行する(ステップＳ３０４)。プロセッサ２１は、ステップＳ３０４において、例えば、画像データに対する顔認識処理や音声データの解析処理を実行し、人物Ｐ１の顔の位置や大きさ、向きを示す計測値を生成する。また、プロセッサ２１は、生成した計測値を、例えば、当該計測値に対応するセンサデータの取得時刻などに対応してハードディスク装置２３に蓄積する。
【０１７４】
次に、プロセッサ２１は、ステップＳ３０４で得られた人物Ｐ１の顔の画像内における位置および顔の向きを示す計測値に基づいて、クマ型ロボットＲ１と人物Ｐ１との間のアイコンタクトが成立したか否かを判定する(ステップＳ３０５)。
【０１７５】
例えば、人物Ｐ１の顔が画像の一方の端に近いことや、顔の向きが横向きであることが顔認識処理で得られた計測値によって示された場合に、プロセッサ２１は、ステップＳ３０５の否定判定ルートに従って、ステップＳ３０４の処理に戻る。
【０１７６】
一方、人物Ｐ１の顔が画像の中央に位置し、かつ、顔の向きが正面であることが顔認識処理で得られた計測値によって示された場合に、プロセッサ２１は、ステップＳ３０５の肯定判定ルートに従って、ステップＳ３０６の処理に進む。
【０１７７】
ステップＳ３０６において、プロセッサ２１は、上述したアイコンタクト区間の終了まで、センサデータを受信する処理およびセンサデータから計測値を生成する処理および生成した計測値を蓄積する処理を実行する。プロセッサ２１は、例えば、ステップＳ３０５の処理でアイコンタクトが成立したと判定した時刻から、予め設定した時間(例えば４秒)が経過するまでに受信したセンサデータから、非言語反応の強さを示す計測値を生成する処理を実行する。そして、プロセッサ２１は、この間に生成された計測値を、例えば、当該計測値に対応するセンサデータの取得時刻などに対応してハードディスク装置２３に蓄積する。
【０１７８】
アイコンタクト区間の終了後に、プロセッサ２１は、ハードディスク装置２３にアイコンタクト区間に含まれる時刻に対応して蓄積された計測値を含む非言語情報を抽出する(ステップＳ３０７)。
【０１７９】
次いで、プロセッサ２１は、ステップＳ３０７の処理で抽出された非言語情報に含まれる人物Ｐ１の感情表現を表す非言語反応の強さを示す計測値の時間変化の特徴に基づいて、人物Ｐ１の情動度を算出する(ステップＳ３０８)。なお、人物Ｐ１の情動度を算出する手法は、図２および図１１を用いて説明したとおりである。
【０１８０】
また、プロセッサ２１は、ステップＳ３０７の処理で抽出された少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、当該変動が出現したタイミングに基づいて、人物Ｐ１の同調度および活性度を算出する(ステップＳ３０９)。なお、人物Ｐ１の同調度を算出する手法は、図１３を用いて説明したとおりである。また、人物Ｐ１の活性度を算出する手法は、図１７を用いて説明したとおりである。更に、プロセッサ２１は、ステップＳ３０９の処理において、図１６を用いて説明したように、人物Ｐ１の活性度の影響を同調度に加味して算出する手法を用いてもよい。
【０１８１】
次いで、プロセッサ２１は、ステップＳ３０８，Ｓ３０９の処理で算出した情動度、活性度および同調度について、所定の統計処理を実行する(ステップＳ３１０)。プロセッサ２１は、例えば、情動度、活性度および同調度それぞれについて、日付および時間帯ごとに集計し、また、平均値を算出するなどの処理を、所定の統計処理として実行することができる。
【０１８２】
その後、プロセッサ２１は、ステップＳ３１０の処理で得られた統計処理結果およびステップＳ３０９で算出した情動度、活性度および同調度をハードディスク装置２３に保存し(ステップＳ３１１)、処理を終了する。
【０１８３】
上述した処理を、クマ型ロボットＲ１がアクションを実行するごとに繰り返すことにより、人物Ｐ１が様々なタイミングで表出した非言語反応を示す非言語情報について解析を行った結果をハードディスク装置２３に蓄積することができる。
【０１８４】
また、このようにしてハードディスク装置２３に蓄積された情報に基づいて、プロセッサ２１は、図１９に例示したような見守り画面を生成し、表示装置２４を介して操作者に提示することも可能である。更に、コンピュータ装置２０を通信装置(図示せず)を介してネットワークに接続することにより、このような見守り画面を、ネットワーク経由で、遠隔地の家族に対して提示することもできる。
【０１８５】
このように、図２１に例示した非言語情報解析装置１０によれば、人物Ｐ１が表出した非言語反応を解析することで得られた情動度および同調度を含む人物Ｐ１によって表出されていない感情を推測するための情報を時系列的に蓄積することができる。
【０１８６】
なお、人物Ｐ１が表出する非言語反応を検出する処理は、上述したようにクマ型ロボットＲ１のアクションの実行を契機とする場合に限られない。例えば、クマ型ロボットＲ１に含まれるカメラなどのセンサにより、クマ型ロボットＲ１が配置された部屋に人物Ｐ１が入室したことを感知し、これを非言語反応の検出動作の契機とすることも可能である。
【０１８７】
また、非言語情報を収集する期間は、上述したアイコンタクト区間に限定されず、人物Ｐ１がクマ型ロボットＲ１に搭載されたセンサ部１１で観測可能な非言語反応を表出する可能性のある期間に亘って継続することもできる。例えば、人物Ｐ１が入室してから退室するまでの期間に亘って、非言語反応の検出動作を継続することもできる。
【０１８８】
以上の説明に関して、更に、以下の各項を開示する。
(付記１)
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部と、
前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さをそれぞれ示す計測値を含む非言語情報を生成する生成部と、
前記生成部で生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する第１評価部と
を備える非言語情報解析装置。
(付記２)
付記１に記載の非言語情報解析装置において、
刺激媒体から前記人物へ刺激を与えたタイミングで、前記生成部に対して非言語情報を生成させる制御を行う生成制御部と
を備えたことを特徴とする非言語情報解析装置。
(付記３)
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部と、
前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成部と、
刺激媒体から前記人物へ刺激を与えたタイミングで、前記生成部に対して非言語情報を生成させる制御を行う生成制御部と、
前記生成部で生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する第２評価部と
を備える非言語情報解析装置。
(付記４)
付記２又は付記３に記載の非言語情報解析装置において、
前記刺激媒体はロボットであり、
前記センサ部は、前記ロボットの視線方向に対応して光軸が設定されたカメラを有し、
前記生成制御部は、
前記カメラで取得された画像に基づいて、前記ロボットの視線と前記人物の視線とが一致したタイミングを検出する第１検出部と、
前記第１検出部で検出されたタイミングを含む所定の長さの期間を設定し、当該期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる期間設定部とを有する
ことを特徴とする非言語情報解析装置。
(付記５)
付記２又は付記３に記載の非言語情報解析装置において、
前記刺激媒体はロボットであり、
前記ロボットは、前記刺激として、発話および身体動作の少なくとも一方を含むアクションを前記人物に対して行うアクション部を有し、
前記生成制御部は、
前記ロボットの前記アクション部が前記アクションを実行した後の所定の長さの期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる
ことを特徴とする非言語情報解析装置。
(付記６)
付記１又は付記２に記載の非言語情報解析装置において、
前記第１評価部は、
前記生成部によって生成された非言語情報に含まれる、前記人物の表情が笑顔である度合いを示す笑顔度が時間経過に応じて変化する速度を算出する速度算出部と、
前記笑顔度が増大していく過程に対応して、前記速度算出部で算出された速度の二乗和を求めることにより、前記人物の笑顔の自然さを示す情動度を求める積算部とを有する
ことを特徴とする非言語情報解析装置。
(付記７)
付記３に記載の非言語情報解析装置において、
前記第２評価部は、
前記生成部によって生成された前記非言語情報に含まれる同調的な非言語反応の強さを示す計測値の単位時間当たりの最大変化幅をそれぞれ検出することにより、前記同調的な非言語反応それぞれの同調度を求める第２検出部と、
前記生成部によって生成された前記非言語情報に基いて、個々の非言語反応の強さを示す計測値の最大値を前記非言語反応の種類ごとに集計することにより、前記非言語反応の表出に前記人物が費やした活動量を示す活性度を求める集計部と、
前記人物と前記刺激媒体との距離に基づいて、前記活性度を補正することにより、前記人物が前記刺激媒体に向けた活動量を示す指標を求める補正部と、
前記人物が前記刺激媒体に向けた活動量を示す指標と前記第２検出部で検出された前記同調的な非言語反応それぞれの同調度とに基づいて、前記人物が前記刺激媒体に向けて表出した可能性の高い非言語反応の強さを推定する推定部と、
前記人物が前記刺激媒体に視線を向けていた可能性の高さと前記推定部によって推定された非言語反応の強さを乗算することにより、前記同調度を算出する乗算部とを有する
ことを特徴とする非言語情報解析装置。
(付記８)
付記３に記載の非言語情報解析装置において、
前記生成部で生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する第１評価部と、
前記第１評価部によって得られた情動度と前記第２評価部によって得られた同調度とを含む情報を対比させて出力する出力部と
を備えたことを特徴とする非言語情報解析装置。
(付記９)
付記８に記載の非言語情報解析装置において、
前記刺激媒体はロボットであり、
前記センサ部は、前記ロボットの視線方向に対応して光軸が設定されたカメラを有し、
前記生成制御部は、
前記カメラで取得された画像に基づいて、前記ロボットの視線と前記人物の視線とが一致したタイミングを検出する第１検出部と、
前記第１検出部で検出されたタイミングを含む所定の長さの期間を設定し、当該期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる期間設定部とを有し、
前記出力部は、前記第１検出部が検出したタイミングを示す情報とともに、前記情動度および前記同調度とを含む情報を対比させて出力する
ことを特徴とする非言語情報解析装置。
(付記１０)
付記８に記載の非言語情報解析装置において、
前記刺激媒体はロボットであり、
前記ロボットは、前記刺激として、発話および身体動作の少なくとも一方を含むアクションを前記人物に対して行うアクション部を有し、
前記生成制御部は、
前記ロボットの前記アクション部が前記アクションを実行した後の所定の長さの期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させ、
前記出力部は、前記アクションが実行された時刻を示す情報とともに、前記第１評価部によって得られる評価結果をと前記第２評価部によって得られる評価結果とを含む情報を対比させて出力する
ことを特徴とする非言語情報解析装置。
(付記１１)
コンピュータに、
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成させ、
生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価させる
ことを特徴とする非言語情報解析プログラム。
(付記１２)
コンピュータが、
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、
生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する
ことを特徴とする非言語情報解析プログラム。
(付記１３)
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、
生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する
ことを特徴とする非言語情報解析方法。
(付記１４)
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、
生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する
ことを特徴とする非言語情報解析方法。
【符号の説明】
【０１８９】
２…刺激媒体；１０…非言語情報解析装置；１１…センサ部；１２…生成部；１３…第１評価部；１４…生成制御部；１５…アクション部；１６…第２評価部；１７…評価情報蓄積部；１８…出力部；１１１…カメラ；１１２…マイク；１１３…接触センサ；１２１…センサデータ処理部；１２２…非言語情報蓄積部；１２３…読出処理部；１２４…画像データ処理部；１２５…音声データ処理部；１２６…接触データ処理部；１３１…速度算出部；１３２…積算部；１４１…第１検出部；１４２…期間設定部；１５１…スピーカ；１５２−１〜１５２−ｍ…モータ；１５３…アクション制御部；１６１…第２検出部；１６２…集計部；１６３…補正部；１６４…推定部；１６５…割合算出部；１６６…乗算部；２１…プロセッサ；２２…メモリ；２３…ハードディスク装置(ＨＤＤ)；２４…表示装置；２５…入力装置；２６…光学ドライブ装置；２７…リムーバブルディスク；２８…ロボットインタフェース；Ｐ１…人物；Ｒ１…クマ型ロボット
【特許請求の範囲】
【請求項１】
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部と、
前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成部と、
前記生成部で生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する第１評価部と
を備える非言語情報解析装置。
【請求項２】
請求項１に記載の非言語情報解析装置において、
刺激媒体から前記人物へ刺激を与えたタイミングで、前記生成部に対して非言語情報を生成させる制御を行う生成制御部と
を備えたことを特徴とする非言語情報解析装置。
【請求項３】
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部と、
前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成部と、
刺激媒体から前記人物へ刺激を与えたタイミングで、前記生成部に対して非言語情報を生成させる制御を行う生成制御部と、
前記生成部で生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する第２評価部と
を備える非言語情報解析装置。
【請求項４】
請求項２又は請求項３に記載の非言語情報解析装置において、
前記刺激媒体はロボットであり、
前記センサ部は、前記ロボットの視線方向に対応して光軸が設定されたカメラを有し、
前記生成制御部は、
前記カメラで取得された画像に基づいて、前記ロボットの視線と前記人物の視線とが一致したタイミングを検出する第１検出部と、
前記第１検出部で検出されたタイミングを含む所定の長さの期間を設定し、当該期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる期間設定部とを有する
ことを特徴とする非言語情報解析装置。
【請求項５】
請求項２又は請求項３に記載の非言語情報解析装置において、
前記刺激媒体はロボットであり、
前記ロボットは、前記刺激として、発話および身体動作の少なくとも一方を含むアクションを前記人物に対して行うアクション部を有し、
前記生成制御部は、
前記ロボットの前記アクション部が前記アクションを実行した後の所定の長さの期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる
ことを特徴とする非言語情報解析装置。
【請求項６】
コンピュータに、
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成させ、
生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価させる
ことを特徴とする非言語情報解析プログラム。
【請求項７】
コンピュータが、
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、
生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する
ことを特徴とする非言語情報解析プログラム。
【請求項８】
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、
生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する
ことを特徴とする非言語情報解析方法。
【請求項９】
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、
生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物に刺激を与えたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する
ことを特徴とする非言語情報解析方法。
【請求項１】
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部と、
前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成部と、
前記生成部で生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する第１評価部と
を備える非言語情報解析装置。
【請求項２】
請求項１に記載の非言語情報解析装置において、
刺激媒体から前記人物へ刺激を与えたタイミングで、前記生成部に対して非言語情報を生成させる制御を行う生成制御部と
を備えたことを特徴とする非言語情報解析装置。
【請求項３】
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部と、
前記センサ部が取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成する生成部と、
刺激媒体から前記人物へ刺激を与えたタイミングで、前記生成部に対して非言語情報を生成させる制御を行う生成制御部と、
前記生成部で生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する第２評価部と
を備える非言語情報解析装置。
【請求項４】
請求項２又は請求項３に記載の非言語情報解析装置において、
前記刺激媒体はロボットであり、
前記センサ部は、前記ロボットの視線方向に対応して光軸が設定されたカメラを有し、
前記生成制御部は、
前記カメラで取得された画像に基づいて、前記ロボットの視線と前記人物の視線とが一致したタイミングを検出する第１検出部と、
前記第１検出部で検出されたタイミングを含む所定の長さの期間を設定し、当該期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる期間設定部とを有する
ことを特徴とする非言語情報解析装置。
【請求項５】
請求項２又は請求項３に記載の非言語情報解析装置において、
前記刺激媒体はロボットであり、
前記ロボットは、前記刺激として、発話および身体動作の少なくとも一方を含むアクションを前記人物に対して行うアクション部を有し、
前記生成制御部は、
前記ロボットの前記アクション部が前記アクションを実行した後の所定の長さの期間において、前記生成部に、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を生成させる
ことを特徴とする非言語情報解析装置。
【請求項６】
コンピュータに、
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成させ、
生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価させる
ことを特徴とする非言語情報解析プログラム。
【請求項７】
コンピュータが、
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、
生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物が刺激を受けたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する
ことを特徴とする非言語情報解析プログラム。
【請求項８】
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、
生成された前記非言語情報に含まれる、前記人物の感情表現を表す非言語反応の強さを示す計測値の時間的な変動の特徴に基づいて、前記感情表現が前記人物の感情の自然な表れである可能性の高さを示す情動度を評価する
ことを特徴とする非言語情報解析方法。
【請求項９】
人物の表情もしくは身振りを含む非言語反応を観測するセンサ部から取得した観測データから、前記人物が刺激媒体から刺激を受けた際に表出した少なくとも一つの非言語反応の強さを示す計測値を含む非言語情報を生成し、
生成された前記非言語情報に含まれる前記少なくとも一つの非言語反応の強さを示す計測値の変動の大きさと、前記変動が出現したタイミングと前記刺激媒体から前記人物に刺激を与えたタイミングとの関係とに基づいて、前記人物の前記刺激媒体に対する関心の高さを示す同調度を評価する
ことを特徴とする非言語情報解析方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１３−９９３７３（Ｐ２０１３−９９３７３Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４３５７３（Ｐ２０１１−２４３５７３）
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]