ハンドパペットマニピュレーションシステム
【課題】従来ハンドパペットを人の手で操っていた方法を自動化制御システムで代替するハンドパペットマニピュレーションシステムを提供する。
【解決手段】ハンドパペットマニピュレーションシステム１００は、制御モジュール１１０とパペット操作装置１２０とを備える。パペット操作装置１２０は、ベース１２２と、ベース１２２上に設けられ、第１のハンドパペットの胴体と接続され、制御信号を基にベースに対して胴体を制御する身体制御機構１２１と、身体制御機構１２１に配置され、第１のハンドパペットの頭部に接続され、制御信号を基に胴体に対して頭部を曲げ、ベースと結ぶ線が胴体の延伸方向である頭部制御機構１２３と、身体制御機構１２１に設けられ、頭部制御機構１２３の両側にそれぞれ配置され、第１のハンドパペットの手部にそれぞれ接続され、制御信号を基に手部を制御し、胴体に対して回転させる１対の手部制御機構とを含む。
【解決手段】ハンドパペットマニピュレーションシステム１００は、制御モジュール１１０とパペット操作装置１２０とを備える。パペット操作装置１２０は、ベース１２２と、ベース１２２上に設けられ、第１のハンドパペットの胴体と接続され、制御信号を基にベースに対して胴体を制御する身体制御機構１２１と、身体制御機構１２１に配置され、第１のハンドパペットの頭部に接続され、制御信号を基に胴体に対して頭部を曲げ、ベースと結ぶ線が胴体の延伸方向である頭部制御機構１２３と、身体制御機構１２１に設けられ、頭部制御機構１２３の両側にそれぞれ配置され、第１のハンドパペットの手部にそれぞれ接続され、制御信号を基に手部を制御し、胴体に対して回転させる１対の手部制御機構とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自動化制御システムに関し、特にハンドパペットの操作に用いる自動化制御システムに関する。
【背景技術】
【０００２】
パペット劇（「布袋劇」とも呼ぶ）は、台湾で非常に人気のある伝統芸能である。パペット劇では、操り人形師が手をハンドパペットの中に入れて操り、ハンドパペットに様々な動作を行わせるとともに、台詞および効果音を組合わせて躍動感溢れる演出を行う。さらに近年のデジタル技術の発展により、デジタル画像舞台の音と光の効果をパペット劇に組合せて変化に富んだ演出を行うことができるようなってきた。
【０００３】
従来、ハンドパペットの操作は、ハンドパペットを操る操り人形師の手に負う部分が大きく、同じ劇に多数のハンドパペットが同時に登場する場合、操り人形師が多人数必要となり、劇を行うために必要な空間が狭くなり、舞台効果に対して悪い影響を与えることがあった。
【０００４】
現在の自動化制御技術は日増しに成熟しており、自動化制御の技術によりハンドパペットを制御するには、上述のハンドパペットの制限を突破することができるだけでなく、ハンドパペットの新たな表現方法を創造し、伝統芸能をさらに発展させることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、自動化制御または半自動化制御により機械を制御し、ハンドパペットを制御することが可能なハンドパペットマニピュレーションシステムを提供することにある。
本発明のもう一つの目的は、従来ハンドパペットを人の手で操っていた方法を自動化制御システムで代替するハンドパペットマニピュレーションシステムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の第１の形態によれば人の手の運動状態を基に複数の制御信号を生成させる制御モジュールと、第１のハンドパペットの中に装着し、前記制御モジュールと電気的に接続されたパペット操作装置と、を備えるハンドパペットマニピュレーションシステムであって、前記パペット操作装置は、ベースと、前記ベース上に設けられ、前記第１のハンドパペットの胴体と接続され、前記制御信号を基に前記ベースに対して前記胴体を制御する身体制御機構と、前記身体制御機構に配置され、前記第１のハンドパペットの頭部に接続され、前記制御信号を基に前記胴体に対して前記頭部を曲げ、前記ベースと結ぶ線が前記胴体の延伸方向である頭部制御機構と、前記身体制御機構に設けられ、前記頭部制御機構の両側にそれぞれ配置され、前記第１のハンドパペットの手部にそれぞれ接続され、前記制御信号を基に前記手部を制御し、前記胴体に対して回転させる１対の手部制御機構と、を含むハンドパペットマニピュレーションシステムが提供される。
【０００７】
また、前記身体制御機構は、前記制御信号を基に前記ベースに対して前記胴体を回転させ、前記ベースに接続された腰捻りモータを有することが好ましい。
【０００８】
また、前記身体制御機構は、前記制御信号を基に前記胴体を回転させ、前記胴体と前記ベースとのなす角度を変化させ、前記ベースと前記頭部制御機構との間に配置された腰曲用モータをさらに備えることが好ましい。
【０００９】
また、前記頭部制御機構は、前記制御信号を基に前記頭部を回転させ、前記頭部と前記胴体とのなす角度を変化させ、前記身体制御機構と接続された頭部モータを有することが好ましい。
【００１０】
また、各前記手部制御機構は、前記制御信号を基に前記胴体に対して前記手部を回転させ、前記身体制御機構と接続された第１の肩部モータを有することが好ましい。
【００１１】
また、前記手部制御機構は、前記制御信号を基に前記手部制御機構を回転させ、前記手部と前記胴体とのなす角度を変化させ、前記身体制御機構と接続された第２の肩部モータをさらに備えることが好ましい。
【００１２】
また、各前記手部制御機構は、リンク部材により前記手部に当接された肘部回転部材と、前記第２の肩部モータに接続され、肘部回転軸を有し、前記肘部回転軸により前記肘部回転部材と枢着され、前記制御信号を基に前記肘部回転部材を回転させ、前記肘部回転部材とのなす角度を変化させる肘部モータと、を有する肘部回転機構をさらに備えることが好ましい。
【００１３】
また、弾性構造部は、前記リンク部材と前記肘部回転部材との間に固定された弾性構造部をさらに有することが好ましい。
【００１４】
また、前記制御モジュールはデータグローブであり、前記データグローブは、３つの指サックを有し、手を入れることが可能なグローブ体と、前記指サックにそれぞれ配置され、手の指が曲がるときの前記指サックの複数の屈曲角度を検出することが可能な５つのセンサと、前記グローブ体に配置され、腕が回転されるときに前記グローブ体の傾斜角度を検出する傾斜センサと、前記グローブ体に配置され、腕が回転されるときに前記グローブ体の回転角度を検出する回転センサと、前記センサ、前記傾斜センサおよび前記回転センサと電気的に接続され、前記屈曲角度、前記傾斜角度および前記回転角度を前記制御信号に変換する変換モジュールと、を含むことが好ましい。
【００１５】
また、前記指サックのそれぞれは、指の隣接した２つの指関節にそれぞれ嵌める第１の領域および第２の領域を有し、前記指サックは、親指サック、人差し指サックおよび中指サックであり、前記センサは、それぞれ前記親指サックの前記第１の領域、前記親指サックの第２の領域、前記人差し指サックの前記第１の領域、前記中指サックの前記第１の領域および前記中指サックの前記第２の領域にそれぞれ配置されることが好ましい。
【００１６】
また、前記センサは、抵抗センサ、光ファイバセンサまたは圧電センサであることが好ましい。
【００１７】
また、前記回転センサはジャイロであることが好ましい。
【００１８】
また、前記制御モジュールは、人の手により制御された第２のハンドパペットの複数の画像をキャプチャする撮影装置と、前記画像中の前記第２のハンドパペットの頭部および両手の相対位置を検出する位置決めモジュールと、前記画像の前記相対位置を基に、各指の少なくとも１つの変異を演算する移動平均演算モジュールと、前記変異を基に前記制御信号を演算する逆演算モジュールと、を有することが好ましい。
【００１９】
また、前記制御モジュールは、前記制御信号を複数の動作パケットとして記録する記録モジュールと、前記記録モジュールと電気的に接続し、前記動作パケットを編集する編集モジュールと、前記編集モジュールおよび前記パペット操作装置と電気的に接続され、編集した後の前記動作パケットを前記パペット操作装置へ伝送する出力モジュールと、をさらに有することが好ましい。
【００２０】
また、前記編集モジュールは、前記動作パケットの時間順序を編集する複数の動作トラックを有するタイミング編集装置を含むことが好ましい。
【００２１】
また、前記タイミング編集装置は、少なくとも１つの音声信号を編集する音声トラックを有することが好ましい。
【００２２】
また、本発明の第２の形態によれば、データグローブと、ハンドパペット中に装着し、変換モジュールと電気的に接続されたパペット操作装置と、を備えるハンドパペットマニピュレーションシステムであって、前記データグローブは、第１の領域および第２の領域をそれぞれ有し、指の隣接した２つの指関節に嵌める複数の指サックを有するグローブ体と、前記指サックの前記第１の領域および前記第２の領域にそれぞれ配置され、前記指サックの複数の屈曲角度を検出することが可能な多くとも５つのセンサと、前記グローブ体に配置され、前記グローブ体の回転角度を検出する回転センサと、前記センサおよび前記回転センサと電気的に接続され、前記屈曲角度を頭部制御信号、複数の左手制御信号および複数の右手制御信号に変換し、前記回転角度を腰捻用制御信号に変換する変換モジュールと、を含み、前記パペット操作装置は、前記ハンドパペットの胴体に接続され、前記腰捻用制御信号を基に、前記ベースに対して前記胴体を回転させ、ベース上に配置される身体制御機構と、前記身体制御機構上に設けられ、前記ハンドパペットの頭部と接続され、前記頭部制御信号を基に、前記胴体に対して前記頭部を曲げる頭部制御機構と、前記ハンドパペットの左手と接続され、前記左手制御信号を基に制御し、前記胴体に対して前記左手を回転させる左手制御機構と、前記ハンドパペットの右手と接続され、前記右手制御信号を基に制御し、前記胴体に対して前記右手を回転させる右手制御機構と、を含み、前記左手制御機構および前記右手制御機構は、前記身体制御機構にそれぞれ配置され、前記頭部制御機構の両側にそれぞれ配置されるハンドパペットマニピュレーションシステムが提供される。
【００２３】
また、前記指サックは、親指サック、人差し指サックおよび中指サックを含み、前記センサは、前記親指サックの前記第１の領域および前記第２の領域と、前記人差し指サックの前記第１の領域と、前記中指サックの前記第１の領域および前記第２の領域とにそれぞれ配置されることが好ましい。
【００２４】
また、制御モジュールは、前記グローブ体の傾斜角度を検出することが可能な前記グローブ体に配置された傾斜センサをさらに備え、前記変換モジュールは、前記傾斜角度を腰曲用制御信号に変換することが好ましい。
【００２５】
また、前記制御モジュールは、前記グローブ体の移動加速度を検出することが可能な前記グローブ体に配置された加速度センサをさらに備えることが好ましい。
【００２６】
また、本発明の第３の形態によれば、モーションキャプチャモジュールと、変異を基に制御信号を演算する逆演算モジュールと、第２のハンドパペットの中に装着され、前記モーションキャプチャモジュールと電気的に接続されたパペット操作装置と、を備えるハンドパペットマニピュレーションシステムにおいて、前記モーションキャプチャモジュールは、人の手により制御される第１のハンドパペットの複数の画像をキャプチャする撮影装置と、前記画像の前記第１のハンドパペットの頭部と両手との間の複数の相対位置を検出することが可能な位置決めモジュールと、前記相対位置を基に指の変異を演算する移動平均演算モジュールと、を含み、前記パペット操作装置は、前記第２のハンドパペットの胴体と接続され、前記ベースに対して前記胴体を回転させ、ベース上に配置された身体制御機構と、前記身体制御機構に配置され、前記第２のハンドパペットの頭部に接続され、前記制御信号を基に制御して前記胴体に対して前記頭部を曲げる頭部制御機構と、前記第２のハンドパペットの左手と接続され、前記制御信号を基に前記胴体に対して前記左手を回転させる左手制御機構と、前記第２のハンドパペットの右手と接続され、前記制御信号を基に前記胴体に対して前記右手を回転させる右手制御機構と、を含み、前記左手制御機構および前記右手制御機構は、前記身体制御機構にそれぞれ配置され、前記頭部制御機構の両側にそれぞれ配置されるハンドパペットマニピュレーションシステムが提供される。
【００２７】
また、前記相対位置は、各前記画像それぞれの親指、人差し指、中指の間の相対位置であることが好ましい。
【００２８】
また、変換モジュールは、前記親指の屈曲角度を少なくとも１つの左手制御信号に変換し、前記中指の屈曲角度を少なくとも１つの右手制御信号に変換し、前記人差し指の屈曲角度を頭部制御信号に変換することが好ましい。
【発明の効果】
【００２９】
以上の説明から明らかなように、本発明によれば、ユーザは制御モジュールを利用してパペット操作装置を遠隔制御し、データグローブのグローブ体または指サックを曲げたり回転させたりすることにより、パペット操作装置を制御し、パペットに所定の動作（例えば、頷く、振り返る、手を組む、お辞儀などの動作）を行わせることができる。そのため、本発明のハンドパペットマニピュレーションシステムは、操り人形師が現場でハンドパペットの中に手を入れて操作する替わりに、パペット操作装置をハンドパペットの中に装着して操作することにより、自動化制御を行うことができる。
【発明を実施するための形態】
【００３０】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００３１】
図１および図２を参照する。図１は、本発明の一実施形態によるハンドパペットマニピュレーションシステム１００を示すブロック図である。図２は、本発明の一実施形態によるハンドパペット１３０およびパペット操作装置１２０を示す斜視図である。ハンドパペットマニピュレーションシステム１００は、互いに電気的に接続された制御モジュール１１０およびパペット操作装置１２０を含む。制御モジュール１１０は、手の動きまたは手により制御されたハンドパペット１３０のポーズに基づいて制御信号を生成し、この制御信号をパペット操作装置１２０に送信する。このパペット操作装置１２０は、ハンドパペット１３０の中に装着させることができる。また、パペット操作装置１２０は、制御信号に基づいてその上にある関節を駆動し、手の運動状態をシミュレーションし、ハンドパペット１３０の操作により、人の手で操るような様々なポーズを演出することができる。
【００３２】
ハンドパペットマニピュレーションシステム１００の制御モジュール１１０は、主に操り人形師の手の動きをパペット操作装置１２０の制御信号に変換し、パペット操作装置１２０へ送信するために用いられる。制御モジュール１１０は、手の動きの過程または手でハンドパペットを操る過程において生成される関連する物理量の変化をキャプチャするために用いるデータグローブ１１１およびモーションキャプチャモジュール１１３を含む。当該技術に習熟した者であれば分かるように、従来の科学技術には手の動きをキャプチャするために用いる装置が多種類あるが、本実施形態ではデータグローブ１１１およびモーションキャプチャモジュール１１３を例に説明する。制御モジュール１１０は、物理量のサイズまたは時間の修正または編集を行うために用いる動作編集装置１１５を含む。続いて、物理量を制御信号に変換し、制御モジュール１１０の出力端子１１９からパペット操作装置１２０の入力端子１２９へ送信される。制御信号は、それぞれパペット操作装置１２０の各部位を制御する胴体制御信号、頭部制御信号、左手制御信号、右手制御信号などを含む。これら制御信号に関しては以下詳述する。
【００３３】
従来、操り人形師の手は、ハンドパペット１３０の中に入れられていたが、本実施形態では、手をハンドパペット１３０の中に入れる替わりにパペット操作装置１２０が入れられている。パペット操作装置１２０は、身体制御機構１２１と、頭部制御機構１２３と、左手制御機構１２５および右手制御機構１２７を含む１対の手部制御機構とを含む。
【００３４】
身体制御機構１２１は、パペット操作装置１２０のベース１２２上に固定され、ハンドパペット１３０の胴体１３１に接続されている。当該技術分野における通常の知識を有する者であれば分かるように、ハンドパペット１３０の胴体１３１は、布製グローブのような装置からなるものがほとんどである。身体制御機構１２１は、ハンドパペット１３０の胴体１３１内に装着されている。パペット操作装置１２０が制御信号を受信すると、この制御信号に基づいて身体制御機構１２１が胴体１３１を制御し、ベース１２２に対して胴体１３１を回転させる。これにより、ハンドパペット１３０に振り返る動作または腰を捻る動作を行わせることができる。
【００３５】
頭部制御機構１２３は、身体制御機構１２１に配置され、ハンドパペット１３０の頭部１３３に接続されている。一般に、ハンドパペット１３０の頭部１３３は、操り人形師の指（例えば、人差し指など）を入れることができるように中空となっている。頭部制御機構１２３は、制御信号に基づいてハンドパペット１３０の頭部１３３を制御し、胴体１３１に対して頭部１３３を曲げることができる。これにより、ハンドパペット１３０に、頷きや上を見上げる動作をさせることができる。
【００３６】
手部制御機構（即ち、左手制御機構１２５および右手制御機構１２７）は、身体制御機構１２１上に配置され、頭部制御機構１２３の両側にそれぞれ配置されている。左手制御機構１２５は、ハンドパペット１３０の左手１３５に接続され、右手制御機構１２７は、ハンドパペット１３０の右手１３７に接続されている。さらに詳細には、ハンドパペット１３０の左手１３５および右手１３７は、操り人形師の指（例えば、中指、親指など）を入れることができるように中空となっているが、本実施形態では、左手制御機構１２５および右手制御機構１２７が、ハンドパペット１３０の左手１３５および右手１３７の中空部にそれぞれ配置されている。制御信号がパペット操作装置１２０に伝達されると、左手制御機構１２５および右手制御機構１２７は、制御信号に基づいてハンドパペット１３０の両手をそれぞれ制御し、胴体１３１に対してハンドパペット１３０の左手１３５または右手１３７を曲げることができる。これにより、ハンドパペット１３０に手を振る動作、腕を上げる動作などを行わせることができる。
【００３７】
以下、パペット操作装置１２０の細部構造およびその作動方法について説明する。図２および図３を同時に参照する。図３は、本発明の一実施形態によるパペット操作装置１２０を示す斜視図である。
【００３８】
パペット操作装置１２０の身体制御機構１２１は、ハンドパペット１３０の胴体１３１の回転動作（例えば、腰を捻る動作、振り返る動作など）を行う腰捻り機構２１０を含む。この腰捻り機構２１０は、腰捻り回転軸２１２、腰捻り回転部材２１４および腰捻りモータ２１６の３つの構成要素を含む。腰捻り回転軸２１２は、胴体１３１の延伸方向に沿って、腰捻りモータ２１６上に配置されている。ここで、胴体１３１の延伸方向とは、頭部制御機構１２３とベース１２２とを結ぶ線に沿った方向を指す。腰捻り回転部材２１４は、腰捻り回転軸２１２と係合されている。腰捻りモータ２１６は、制御信号中の腰を捻る制御信号に基づいて作動し、腰捻り回転軸２１２を中心にして腰捻り回転部材２１４を回転させることができる。本実施形態では、腰捻りモータ２１６がベース１２２上に固定されている。腰捻り回転軸２１２は、胴体１３１の延伸方向に対して平行であるため、ハンドパペット１３０の胴体１３１が腰捻り回転部材２１４により回転され、振り返る動作を行うことができる。
【００３９】
身体制御機構１２１は、ハンドパペット１３０の胴体１３１を曲げる動作（例えば、腰を曲げる動作など）を行う１組の腰曲げ機構２２０をさらに含む。腰曲げ機構２２０の腰曲用モータ２２６は、ベース１２２と頭部制御機構１２３との間に配置されている。腰曲用モータ２２６は、腰捻り機構２１０の腰捻り回転部材２１４上に配置されてもよい。本実施形態では、腰捻り機構２１０の腰捻り回転部材２１４は、腰曲用モータ２２６でもある。腰曲げ回転軸２２２は、腰曲用モータ２２６に配置されている。腰曲げ回転軸２２２の軸方向は、腰捻り回転軸２１２の軸方向に対して非平行である。本実施形態では、腰曲げ回転軸２２２の軸方向は、腰捻り回転軸２１２の軸方向に対して垂直である。つまり、腰曲げ回転軸２２２の軸方向は、胴体１３１の延伸方向に対して垂直である。腰曲げ回転部材２２４は、腰曲げ回転軸２２２に接続されている。制御信号を受信した後、腰曲用モータ２２６は、腰曲用制御信号に基づき、腰曲げ回転軸２２２を中心に、ベース１２２に対して腰曲げ回転部材２２４を回転させることができる。腰曲げ回転軸２２２は、胴体１３１の延伸方向に対して垂直であり、腰曲げ回転部材２２４が回転して腰曲げ回転部材２２４とベース１２２とのなす角度が変化すると、ベース１２２に対して胴体１３１を曲げ、腰を曲げるような動作を行うことができる。
【００４０】
パペット操作装置１２０の頭部制御機構１２３は、主にハンドパペット１３０の頭部１３３を動かし、頷いたり上を見上げる動作を行う。この目的を達成するために、頭部制御機構１２３の中には頭部回転機構２３０が設けられている。この頭部回転機構２３０は、頭部回転軸２３２、頭部回転部材２３４および頭部モータ２３６を含む。頭部モータ２３６は、身体制御機構１２１の腰曲げ機構２２０の腰曲げ回転部材２２４に固定されている。頭部回転軸２３２は、頭部モータ２３６の中に配置されている。頭部回転軸２３２の軸方向は、腰曲げ回転軸２２２の軸方向に対して平行であり、腰捻り回転軸２１２の軸方向に対して非平行である。本発明の一実施形態において、頭部回転軸２３２の軸方向は、腰捻り回転軸２１２の軸方向に対して垂直である（即ち、胴体１３１の延伸方向に対して垂直である）。頭部回転部材２３４は、頭部回転軸２３２に接続されている。制御信号を受信した後、頭部モータ２３６は、頭部制御信号に基づいて作動し、頭部回転軸２３２を介し、頭部回転軸２３２を中心にして頭部回転部材２３４を回転させる。頭部回転軸２３２により、頭部回転部材２３４が回転すると、頭部回転部材２３４と身体制御機構１２１とのなす角度を変化させることにより、胴体１３１に対してハンドパペット１３０を曲げ、俯いたり上を見上げる動作を行う。
【００４１】
パペット操作装置１２０の左手制御機構１２５および右手制御機構１２７の主な動作には、以下の３ステップが含まれる。ハンドパペット１３０の左手１３５および右手１３７を動かし、肩関節の回転動作、肩関節の屈曲動作および肘の屈曲動作を行う。本実施形態では、上述の動作を行うために、左手制御機構１２５および右手制御機構１２７の中にそれぞれ３組の回転機構が配置されている。右手制御機構１２７の構成は、左手制御機構１２５と全く同じであるため、以下では左手制御機構１２５だけを例に説明する。
【００４２】
まず、肩関節の回転動作装置について説明する。左手制御機構１２５には、第１の肩部回転機構２４０が配置されている。第１の肩部回転機構２４０の第１の肩部モータ２４６は、腰曲げ機構２２０の腰曲げ回転部材２２４上に固定され、第１の肩部回転軸２４２は、第１の肩部モータ２４６に配置されている。第１の肩部回転部材２４４は、第１の肩部回転軸２４２と係合され、第１の肩部モータ２４６と接続されている。
【００４３】
第１の肩部回転軸２４２は、手部の延伸方向に沿って配置されている。ここで、手部の延伸方向とは、身体制御機構１２１が接続された左手制御機構１２５の一方の端部から左手制御機構１２５の他方の端部への方向を指し、これは頭部制御機構１２３から左手制御機構１２５へ線でつないだ方向と見なしてもよい。さらに詳細には、第１の肩部回転軸２４２の軸方向は、腰捻り回転軸２１２の軸方向に対して非並行である。本実施形態において、第１の肩部回転軸２４２は、腰捻り回転軸２１２の軸方向に対して垂直である（即ち、第１の肩部回転軸２４２は、胴体１３１の延伸方向に対して垂直である）。本実施形態では、第１の肩部回転軸２４２の軸方向は、頭部回転軸２３２の軸方向に対して水平である。第１の肩部モータ２４６が左手制御信号に基づいて作動した場合、第１の肩部モータ２４６は、第１の肩部回転軸２４２を中心として第１の肩部回転部材２４４を回転させ、ハンドパペット１３０の左手１３５の肩を胴体１３１に対して回転させることができる。
【００４４】
続いて、肩関節の屈曲動作を行う機構について説明する。左手制御機構１２５は、第２の肩部回転機構２５０を含む。第２の肩部回転機構２５０は、第２の肩部回転軸２５２、第２の肩部モータ２５６および第２の肩部回転部材２５４を含む。第２の肩部回転軸２５２は、第２の肩部モータ２５６に配置され、第２の肩部回転軸２５２の軸方向は、手部の延伸方向または第１の肩部回転軸２４２の軸方向に対して非平行である。本実施形態では、第２の肩部回転軸２５２の軸方向は、手部の延伸方向に対して垂直であるとともに、第１の肩部回転軸２４２の軸方向に対して垂直である。
【００４５】
第２の肩部回転部材２５４は、第２の肩部回転軸２５２に接続され、第２の肩部回転軸２５２を介して第２の肩部モータ２５６に枢着されている。本実施形態では、第２の肩部回転部材２５４は、第１の肩部回転部材２４４に固定されている。ここで、当該技術分野において通常の知識を有する者であれば分かるように、実際の必要に応じて構成要素間の配置を変えても作動後の結果に影響を与えることはない。例えば、第２の肩部回転部材２５４および第２の肩部モータ２５６のうちの１つは、第１の肩部回転部材２４４、第１の肩部モータ２４６または身体制御機構１２１のいずれの構成要素と固定されてもよい。
【００４６】
第２の肩部回転機構２５０が作動すると、第２の肩部モータ２５６は、左手制御信号に基づいて第２の肩部回転部材２５４を動かす。第２の肩部モータ２５６と第２の肩部回転部材２５４とは、第２の肩部回転軸２５２を介して互いに枢着されているため、第２の肩部回転部材２５４は、第２の肩部回転軸２５２を中心に回転し、第２の肩部回転部材２５４と第２の肩部モータ２５６とのなす角度が変化する。上述したように、本実施形態では、第２の肩部回転部材２５４が第１の肩部回転部材２４４に固定されているため、第２の肩部回転部材２５４が回転すると、第２の肩部回転部材２５４と第１の肩部モータ２４６とのなす角度と、第２の肩部回転部材２５４と身体制御機構１２１とのなす角度とが変化する。このように、第２の肩部回転機構２５０は、ハンドパペット１３０の左手１３５を動かし、肩を中心に胴体１３１に対して左手１３５を曲げる動作を行うことができる。
【００４７】
最後に肘関節を曲げる動作について説明する。左手制御機構１２５には、肘部回転軸２６２、肘部回転部材２６４および肘部モータ２６６を含む肘部回転機構２６０が配置されている。肘部モータ２６６に配置された肘部回転軸２６２の軸方向は、第１の肩部回転軸２４２の軸方向に対して非平行である。本実施形態では、肘部回転軸２６２の軸方向は、第１の肩部回転軸２４２の軸方向に対して垂直である。肘部回転軸２６２の軸方向は、第２の肩部回転軸２５２の軸方向に対して平行であるため、第１の肩部回転軸２４２の軸方向に対して垂直であるとともに、手部の延伸方向に対しても垂直である。
【００４８】
肘部モータ２６６は、第２の肩部回転機構２５０に接続され、第２の肩部回転機構２５０を動かすことができる。上述したように、肘部回転機構２６０の各要素は、必要に応じて他の制御機構との接続方法および位置を自由に変えることができる。つまり、肘部モータ２６６および肘部回転部材２６４のうちの１つは、第２の肩部回転機構２５０または第１の肩部回転機構２４０のどちらか一方に接続してもよい。本実施形態において、肘部モータ２６６は、第２の肩部モータ２５６に固定されている。
【００４９】
肘部回転部材２６４は、肘部回転軸２６２を介して肘部モータ２６６に枢着されている。左手制御信号を受信すると、肘部モータ２６６は肘部回転部材２６４を動かし、肘部回転軸２６２を中心に肘部回転部材２６４を回転させて肘部回転部材２６４と肘部モータ２６６とのなす角度が変化するため、肘部回転部材２６４と第２の肩部回転部材２５４とのなす角度が変化する。そのため、ハンドパペット１３０の左手１３５を動かし、肘を屈曲させるような動作をさせることができる。
【００５０】
上述の実施形態から分かるように、パペット操作装置１２０は、ハンドパペット１３０の様々な肢体動作をそれぞれ操作することが可能な少なくとも９組の回転機構を含む。各組の回転機構は、それぞれ独立した制御信号によって制御される。本実施形態の制御信号は、例えば、腰を曲げる信号および腰を捻る信号の２つの胴体制御信号と、頭部制御信号と、３つの左手制御信号と、３つの右手制御信号とを含み、それぞれ腰捻り機構２１０と、腰曲げ機構２２０と、頭部回転機構２３０と、左手制御機構１２５の第１の肩部回転機構２４０、第２の肩部回転機構２５０および肘部回転機構２６０と、右手制御機構１２７の第１の肩部回転機構２４０、第２の肩部回転機構２５０および肘部回転機構２６０と、をそれぞれ制御する。
【００５１】
また、上述したように、頭部制御機構１２３は、ハンドパペット１３０の頭部１３３内の中空部と係合され、左手制御機構１２５および右手制御機構１２７も、それぞれハンドパペット１３０の左手１３５および右手１３７と係合されている。しかし、ハンドパペット１３０は、激しい動きをした場合、外れることがあった。また、ハンドパペット１３０は種類および態様が非常に多く、それぞれの頭部１３３および両手の配置が僅かずつ異なることがあった。
【００５２】
本実施形態は、ハンドパペット１３０とパペット操作装置１２０とを強固に接続させるために、リンク部材２７２および弾性構造部２７４を利用し、ハンドパペット１３０の頭部１３３を頭部制御機構１２３へ弾力を有する状態で係止させる。さらに詳細には、リンク部材２７２が弾性構造部２７４に固定され、この弾性構造部２７４は、頭部回転機構２３０の頭部回転部材２３４に固定されている。ハンドパペット１３０の中にパペット操作装置１２０を装着すると、リンク部材２７２がハンドパペット１３０の頭部１３３に当接され、弾性構造部２７４の弾力により、ハンドパペット１３０の頭部１３３内の中空部と係止されている。
【００５３】
左手制御機構１２５および右手制御機構１２７は類似した構造を有する。さらに詳細には、左手制御機構１２５および右手制御機構１２７は、それぞれリンク部材２７６および弾性構造部２７８を含む。リンク部材２７６は、弾性構造部２７８に固定され、この弾性構造部２７８は、肘部回転機構２６０の肘部回転部材２６４に固定されている。各構成要素を組み合わせると、左手制御機構１２５および右手制御機構１２７のリンク部材２７６がハンドパペット１３０の左手１３５および右手１３７にそれぞれ当接され、弾性構造部２７８の弾力により、左手１３５および右手１３７の中空部にそれぞれ当接される。
【００５４】
図４を参照する。図４は、本発明の一実施形態によるデータグローブ１１１を示す平面図である。ユーザは、グローブ体４００を利用してデータグローブ１１１を手に嵌めることができる。また、様々なセンサを利用してユーザの手の動きを検出し、手の動きにより変化する物理量（例えば、角度、強度、速度などの物理量）を記録することができる。データグローブ１１１は、測定した物理量のデータを変換モジュール１１７へ送信し、変換モジュール１１７により様々な物理量データが上述の様々な制御信号に変換される。
【００５５】
一般に、データグローブ１１１のグローブ体４００は、その中に手を入れて自由に動かすことができる。グローブ体４００は、通常、布やプラスチックなどの柔軟な材料からなる。
【００５６】
グローブ体４００は、それぞれの指を差し込むことができる複数の指サック４１０を有する。本実施形態では、主に親指、人差し指および中指を入れる指サック４１０を例に説明する。指サック４１０は、指先を露出させずに指全体を覆う密閉式の態様でもよいし、指関節の一部だけを覆って指先が露出された開放式の態様でもよい。本実施形態では、指サック４１０は、第１の領域４１７および第２の領域４１９に細かく分けられ、互いに隣り合う２つの指関節にそれぞれ嵌められている。
【００５７】
グローブ体４００には、手首の動き（つまり掌の腕に対する回転または曲げ）を測定するために用いるセンサ４３０が配置されている。さらに詳細には、センサ４３０は、それぞれ手首が回転したときのグローブ体４００の傾斜角度および回転角度を検出し、腕に対する掌の屈曲角度または回転角度を検出するために用いる傾斜センサ４３１および回転センサ４３３を含む。現在、傾斜角度または回転角度を測定するセンサは非常に多く開発されているが、ここではそれらについて説明しない。本実施形態では、回転センサ４３３はジャイロを含む。また、センサ４３０は、グローブ体４００の移動加速度を測定するために用いてもよい。言い換えれば、センサ４３０は、手が移動するときの加速度を測定する加速度センサを含んでもよい。
【００５８】
変換モジュール１１７は、回転角度および傾斜角度を検出するために用いる傾斜センサ４３１および回転センサ４３３と電気的に接続され、回転角度を腰を捻る制御信号に変換し、傾斜角度を腰曲用制御信号に変換させる。
【００５９】
指サック４１０には、複数のセンサ４２０が配置されている。指が屈曲されると、指サック４１０が動かされ、指サック４１０の屈曲角度がセンサ４２０により検出され、指の屈曲角度を知ることができる。パペット劇では、親指、人差し指および中指を使った操作が重要である。そのため、本実施形態では親指サック４１１、人差し指サック４１３および中指サック４１５に取り付けたセンサ４２０により、親指、人差し指および中指の屈曲角度を検出する。
【００６０】
パペット劇の操り技法において、人差し指は、主に頭の動作（例えば、俯いたり上を見上げる動作）を制御し、基本的に単純な動作しか行わない。従って、１つの屈曲角度だけを検出すればよい。このため、本実施形態では、人差し指サック４１３の第１の領域４１７に、人差し指の１つの指関節が曲がったときの人差し指サック４１３の屈曲角度を検出するために用いるセンサ４２５を取り付ける。
【００６１】
従来、パペット劇を演じる際、親指でハンドパペット１３０の左手１３５を制御し、親指の２つの関節によりハンドパペット１３０の左手の肩および肘を動かしていた。親指の２つの関節の運動状態を測定するため、本実施形態では、親指サック４１１の第１の領域４１７にセンサ４２１を取り付け、第２の領域４１９にセンサ４２３を取り付ける。そして、センサ４２１，４２３を利用し、親指二つの関節が曲がるときの親指サック４１１の屈曲角度を測定する。
【００６２】
従来、パペット劇は、ハンドパペット１３０の右手１３７が中指により制御されていた。つまり、中指の３つの関節により、ハンドパペット１３０の右手の肩および肘を動かしていた。そのため、指の動きのデータを詳細にキャプチャするために、一般に、中指を入れる中指サック４１５には３つのセンサ４２０が装着され、３つの関節の動きをキャプチャする。また、本実施形態では、指関節の相互の連動関係を利用することにより、中指サック４１５にセンサ４２０を２つだけ装着し、３つ目の関節の動きをキャプチャしてもよい。人の指の３つの指関節は互いに連動しているため、２つの指関節の屈曲角度が分かれば、残りの３つ目の関節の屈曲角度を推算することができる。なお、これに関する理論および推算方法については、当該技術分野における通常の知識を有する者であれば分かるため、ここでは述べない。このように、本実施形態では、中指サック４１５の第１の領域４１７にセンサ４２７を取り付け、第２の領域４１９にセンサ４２９を取り付けて中指の屈曲角度を得る。
【００６３】
センサ４２０は、それぞれ変換モジュール１１７と電気的に接続されており、変換モジュール１１７により検出された屈曲角度を対応する制御信号（例えば、頭部制御信号、左手制御信号および右手制御信号）に変換させる。さらに詳細には、変換モジュール１１７は、親指サック４１１のセンサ４２１およびセンサ４２３が検出した屈曲角度を左手制御信号に変換し、人差し指サック４１３のセンサ４２５が検出した屈曲角度を頭部制御信号に変換し、中指サック４１５のセンサ４２７およびセンサ４２９が検出した屈曲角度を右手制御信号に変換する。
【００６４】
当該技術分野において通常の知識を持つ者であれば分かるように、角度変化を検出することができるセンサ４２０の種類（例えば、抵抗センサ、光ファイバセンサ、ジャイロ等）は非常に多い。本実施形態のセンサ４２０は圧電センサである。一般に、圧電センサは、検出した形状変化を電気信号に変換する作用を有する。詳細に述べると、圧電センサは、コンデンサのような装置を含み、作用力により圧電センサの形状が変化すると、コンデンサが放電して電気信号を生成させる。コンデンサの充放電時間は、指の動きに必要な時間と比べて非常に短いため、圧電センサは、指が動くときに生成される複数の電気信号を検出することができる。１回の電気信号の発生は、１個の小さい角度の回転と見なすことができるため、電気信号が発生した回数を累計することにより、回転角度を推算することができる。
【００６５】
図５Ａおよび図５Ｂを参照する。図５Ａは、本発明の一実施形態によるモーションキャプチャモジュール１１３を示すブロック図である。図５Ｂは、ハンドパペット１３０を示す斜視図である。モーションキャプチャモジュール１１３は、手により制御された他のハンドパペット１３０のモーション画像をキャプチャし（主にハンドパペット１３０の上半身のポーズをキャプチャする）、操り人形師の手の動きを逆算してハンドパペット１３０の動作を制御信号に変換させる。
【００６６】
モーションキャプチャモジュール１１３は、人の手でハンドパペット１３０を制御するときのハンドパペット１３０の動作を撮影するために用いる撮影装置５１０を含む。モーションキャプチャモジュール１１３の位置決めモジュール５２０は、各映像中のハンドパペット１３０の頭部１３３、左手１３５、右手１３７間のそれぞれの相対位置を検出するために用いる。さらに詳細には、位置決めモジュール５２０は、各画像毎のハンドパペット１３０の頭部１３３、左手１３５、右手１３７の位置をサーチし、これによりハンドパペット１３０中の人差し指、親指および中指の位置を決定し、人差し指、親指および中指の相対位置を判断する。さらに、位置決めモジュール５２０は、頭部１３３と左手１３５との間隔ｄ１と、頭部１３３と右手１３７との間隔ｄ２と、右手１３７と左手１３５との間隔ｄ３とを計算する。本実施形態の位置決めモジュール５２０は、主にハンドパペット１３０の頭部１３３、右手１３７および左手１３５から構成される三角形の中心位置をトラッキングするために用いる。続いて、中心位置から頭部１３３、右手１３７および左手１３５までの距離をそれぞれ測定することにより、ハンドパペット１３０の頭部１３３および両手１３７，１３５の相対位置を知ることができる。
【００６７】
指の相対位置を位置決めした後、モーションキャプチャモジュール１１３の移動平均演算モジュール５３０は、各画像毎のそれぞれの間隔の変化に基づき、各指の変異を演算する。さらに詳細には、各画像毎のハンドパペット１３０の頭部１３３と、両手との相対位置の変化から、頭部１３３、右手１３７および左手１３５の変異を推算し、それぞれの指の変異を知ることができる。
【００６８】
続いて、モーションキャプチャモジュール１１３の逆演算モジュール５４０は、各指の変異および指の間の間隔に基づいて各制御信号を演算する。
【００６９】
図６および図７を同時に参照する。図６は、本発明の一実施形態によるハンドパペットマニピュレーションシステム１００を示すブロック図である。図７は、動作編集装置１１５のインターフェース６２２を示す操作画面図である。動作編集装置１１５は、データグローブ１１１がキャプチャした手の動きまたはモーションキャプチャモジュール１１３がキャプチャしたハンドパペット１３０のポーズを記録し、この記録された動きを新たに編集して新しい動作に変えてもよい。動作編集装置１１５は、記録モジュール６１０、編集モジュール６２０および出力モジュール６３０を含み、以下それらについて説明する。
【００７０】
上述したように、データグローブ１１１またはモーションキャプチャモジュール１１３は、手を動かしたときまたはハンドパペット１３０のポーズを変えたときに生成される各物理量の変化を検出し、様々な制御信号（例えば、腰曲用制御信号、腰を捻る制御信号、頭部制御信号、左手制御信号、右手制御信号など）に変換させることができる。記録モジュール６１０の作用は、手またはハンドパペット１３０が動くときに生成される様々な制御信号を記録し、同一の動作の各制御信号を１つの動作パケット６４０に設定させることにある。これにより、操り人形師がハンドパペット１３０を操るとき、記録モジュール６１０は、対応した動作パケット６４０（例えば、頷く動作パケット、歩く動作パケット、手を振る動作パケットなど）を記録することができる。
【００７１】
動作編集装置１１５の記録モジュール６１０は、データグローブ１１１、モーションキャプチャモジュール１１３または変換モジュール１１７に接続され、検出した物理量値または変換後の制御信号を取得してもよい。本実施形態の記録モジュール６１０は、変換モジュール１１７と電気的に接続され、データグローブ１１１がキャプチャした様々な物理量（例えば、腰曲用制御信号、腰を捻る制御信号、頭部制御信号、左手制御信号、右手制御信号など）を記録した後、これらの制御信号を動作パケットとして保存する。また、本実施形態の記録モジュール６１０は、モーションキャプチャモジュール１１３と電気的に接続され、モーションキャプチャモジュール１１３が演算した各制御信号を記録する。
【００７２】
編集モジュール６２０は、記録モジュール６１０と電気的に接続され、動作パケット６４０中の各制御信号の時間（例えば、起点、終点および作用時間の長さ）を編集するために用いてもよい。例えば、編集モジュール６２０は、頷く動作の動作パケット６４０中の頭部制御信号の開始時間点および終了時間点を編集し、頷きの開始時間点、動作時間および回数を決定することができる。また、編集過程において、頷きの開始時間点や上を見上げ始める時間点を決定するといった各動作の作用時間を編集することもできる。また、編集モジュール６２０は、異なる制御信号間での相対時間（例えば、左手制御信号、頭部制御信号、右手制御信号の間の時間順序、それぞれの作用時間の長さなど）を編集することができる。
【００７３】
編集モジュール６２０は、ユーザが編集に用いるためのインターフェース６２２を含む。インターフェース６２２には、動作パケット６４０中の各制御信号のクロック編集を行うのに都合が良いようにタイミング編集装置６２６が配置されている。さらに詳細には、タイミング編集装置６２６は、複数の動作トラック６２８を含み、動作トラック６２８には、それぞれ頭部制御信号などの制御信号が含まれてもよい。ユーザは、動作トラック６２８の中に含む制御信号を編集してもよい。具体的には、この制御信号の編集には、制御信号の作用時間の長さ、開始時間点、終了時間点などの変更を含む。
【００７４】
複数の動作トラック６２８を配置させることにより、複数の様々な制御信号（例えば、左手制御信号、頭部制御信号、右手制御信号など）をそれぞれ編集し、各制御信号の開始時間点、終了時間点、作用時間の長さなどを修正し、動作パケット６４０中の各制御信号の時間順序を編集してもよい。
【００７５】
また、動作トラック６２８は、複数の動作パケット６４０を編集するために用いてもよく、各動作トラック６２８は動作パケット６４０を含み、上述の動作を行って複数の動作パケット６４０間の時間順序を編集してもよい。
【００７６】
完全なパペット劇では、躍動感溢れる演出を行うために、ハンドパペットの動きの他に、台詞および効果音も必要である。本発明の一実施形態では、タイミング編集装置６２６は、台詞、効果音などの音声信号を編集するために用いる音声トラック６５０を有する。音声トラック６５０および動作トラック６２８は、同一の時間軸上に配列され編集してもよい。このように、ユーザは、ハンドパペットの動作、台詞および効果音の編集を同時に行うこともできる。
【００７７】
本発明の一実施形態では、インターフェース６２２は、モータ制御モジュール６２４を提供し、パペット操作装置１２０の各回転モジュールを直接調整することができる。さらに詳細には、ユーザは、モータ制御モジュール６２４の中に速度および角度の設定値を入力してもよい。モータ制御モジュール６２４は、設定値に基づいて各回転モジュールへ送る制御信号を生成し、これにより各回転モジュールのモータをそれぞれ個別に駆動させ、設定した速度および角度を再現させる。モータ制御モジュール６２４により制御された各制御信号は、動作パケット６４０として保存され、タイミング編集装置６２６により動作の編集を行ってもよい。
【００７８】
最後に、出力モジュール６３０について説明する。出力モジュール６３０は、編集モジュール６２０と電気的に接続されており、制御モジュール１１０の出力端子１１９を介してパペット操作装置１２０と電気的に接続されている。編集モジュール６２０により編集された動作パケット６４０が、編集モジュール６２０から出力モジュール６３０へ送信されてから、出力モジュール６３０から動作パケット６４０中の各制御信号を順次パペット操作装置１２０へ送信する。
【００７９】
上述の実施形態から分かるように、本発明は、以下３種類の制御信号の生成方法を含む。第１の制御信号の生成方法は、データグローブを利用し、手が動くときの様々な物理量を検出し、この検出した物理量に基づいて制御信号を生成させる方法である。第２の制御信号の生成方法は、モーションキャプチャモジュールを利用し、画像中の指の相対位置の変化をキャプチャし、この相対位置の変化に基づいて制御信号を生成させる方法である。第３の制御信号の生成方法は、動作編集装置を利用して制御信号を編集する制御信号の生成方法である。
【００８０】
本発明のハンドパペットマニピュレーションシステムは、パペット劇の演出を行う際、パペットの中に手を入れる代わりにパペット操作装置を中に装着し、制御モジュールによりパペット操作装置を遠隔制御してハンドパペットに所定動作（例えば、頷く、振り返る、手を組む、お辞儀などの動作）を行わせ、自動化制御の効果を得ることができる。
【００８１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができることは当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００８２】
【図１】本発明の一実施形態によるハンドパペットマニピュレーションシステムを示すブロック図である。
【図２】図１のハンドパペットおよびパペット操作装置を示す斜視図である。
【図３】本発明の一実施形態によるパペット操作装置を示す斜視図である。
【図４】本発明の一実施形態によるデータグローブを示す平面図である。
【図５Ａ】本発明の一実施形態によるモーションキャプチャモジュールを示すブロック図である。
【図５Ｂ】図５Ａのハンドパペットを示す斜視図である。
【図６】本発明の一実施形態によるハンドパペットマニピュレーションシステムを示すブロック図である。
【図７】図６の動作編集装置のインターフェースを示す操作画面図である。
【符号の説明】
【００８３】
１００ ハンドパペットマニピュレーションシステム、１１０ 制御モジュール、１１１ データグローブ、１１３ モーションキャプチャモジュール、１１５ 動作編集装置、１１７ 変換モジュール、１１９ 出力端子、１２０ パペット操作装置、１２１ 身体制御機構、１２２ ベース、１２３ 頭部制御機構、１２５ 左手制御機構、１２７ 右手制御機構、１２９ 入力端子、１３０ ハンドパペット、１３１ 胴体、１３３ 頭部、１３５ 左手、１３７ 右手、２１０ 腰捻り機構、２１２ 腰捻り回転軸、２１４ 腰捻り回転部材、２１６ 腰捻りモータ、２２０ 腰曲げ機構、２２２ 腰曲げ回転軸、２２４ 腰曲げ回転部材、２２６ 腰曲用モータ、２３０ 頭部回転機構、２３２ 頭部回転軸、２３４ 頭部回転部材、２３６ 頭部モータ、２４０ 第１の肩部回転機構、２４２ 第１の肩部回転軸、２４４ 第１の肩部回転部材、２４６ 第１の肩部モータ、２５０ 第２の肩部回転機構、２５２ 第２の肩部回転軸、２５４ 第２の肩部回転部材、２５６ 第２の肩部モータ、２６０ 肘部回転機構、２６２ 肘部回転軸、２６４ 肘部回転部材、２６６ 肘部モータ、２７２ リンク部材、２７４ 弾性構造部、２７６ リンク部材、２７８ 弾性構造部、４００ グローブ体、４１０ 指サック、４１１ 親指サック、４１３ 人差し指サック、４１５ 中指サック、４１７ 第１の領域、４１９ 第２の領域、４２０ センサ、４２１ センサ、４２３ センサ、４２５ センサ、４２７ センサ、４２９ センサ、４３０ センサ、４３１ 傾斜センサ、４３３ 回転センサ、５１０ 撮影装置、５２０ 位置決めモジュール、５３０ 移動平均演算モジュール、５４０ 逆演算モジュール、６１０ 記録モジュール、６２０ 編集モジュール、６２２ インターフェース、６２４ モータ制御モジュール、６２６ タイミング編集装置、６２８ 動作トラック、６３０ 出力モジュール、６４０ 動作パケット、６５０ 音声トラック、ｄ１ 間隔、ｄ２ 間隔、ｄ３ 間隔
【技術分野】
【０００１】
本発明は自動化制御システムに関し、特にハンドパペットの操作に用いる自動化制御システムに関する。
【背景技術】
【０００２】
パペット劇（「布袋劇」とも呼ぶ）は、台湾で非常に人気のある伝統芸能である。パペット劇では、操り人形師が手をハンドパペットの中に入れて操り、ハンドパペットに様々な動作を行わせるとともに、台詞および効果音を組合わせて躍動感溢れる演出を行う。さらに近年のデジタル技術の発展により、デジタル画像舞台の音と光の効果をパペット劇に組合せて変化に富んだ演出を行うことができるようなってきた。
【０００３】
従来、ハンドパペットの操作は、ハンドパペットを操る操り人形師の手に負う部分が大きく、同じ劇に多数のハンドパペットが同時に登場する場合、操り人形師が多人数必要となり、劇を行うために必要な空間が狭くなり、舞台効果に対して悪い影響を与えることがあった。
【０００４】
現在の自動化制御技術は日増しに成熟しており、自動化制御の技術によりハンドパペットを制御するには、上述のハンドパペットの制限を突破することができるだけでなく、ハンドパペットの新たな表現方法を創造し、伝統芸能をさらに発展させることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、自動化制御または半自動化制御により機械を制御し、ハンドパペットを制御することが可能なハンドパペットマニピュレーションシステムを提供することにある。
本発明のもう一つの目的は、従来ハンドパペットを人の手で操っていた方法を自動化制御システムで代替するハンドパペットマニピュレーションシステムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の第１の形態によれば人の手の運動状態を基に複数の制御信号を生成させる制御モジュールと、第１のハンドパペットの中に装着し、前記制御モジュールと電気的に接続されたパペット操作装置と、を備えるハンドパペットマニピュレーションシステムであって、前記パペット操作装置は、ベースと、前記ベース上に設けられ、前記第１のハンドパペットの胴体と接続され、前記制御信号を基に前記ベースに対して前記胴体を制御する身体制御機構と、前記身体制御機構に配置され、前記第１のハンドパペットの頭部に接続され、前記制御信号を基に前記胴体に対して前記頭部を曲げ、前記ベースと結ぶ線が前記胴体の延伸方向である頭部制御機構と、前記身体制御機構に設けられ、前記頭部制御機構の両側にそれぞれ配置され、前記第１のハンドパペットの手部にそれぞれ接続され、前記制御信号を基に前記手部を制御し、前記胴体に対して回転させる１対の手部制御機構と、を含むハンドパペットマニピュレーションシステムが提供される。
【０００７】
また、前記身体制御機構は、前記制御信号を基に前記ベースに対して前記胴体を回転させ、前記ベースに接続された腰捻りモータを有することが好ましい。
【０００８】
また、前記身体制御機構は、前記制御信号を基に前記胴体を回転させ、前記胴体と前記ベースとのなす角度を変化させ、前記ベースと前記頭部制御機構との間に配置された腰曲用モータをさらに備えることが好ましい。
【０００９】
また、前記頭部制御機構は、前記制御信号を基に前記頭部を回転させ、前記頭部と前記胴体とのなす角度を変化させ、前記身体制御機構と接続された頭部モータを有することが好ましい。
【００１０】
また、各前記手部制御機構は、前記制御信号を基に前記胴体に対して前記手部を回転させ、前記身体制御機構と接続された第１の肩部モータを有することが好ましい。
【００１１】
また、前記手部制御機構は、前記制御信号を基に前記手部制御機構を回転させ、前記手部と前記胴体とのなす角度を変化させ、前記身体制御機構と接続された第２の肩部モータをさらに備えることが好ましい。
【００１２】
また、各前記手部制御機構は、リンク部材により前記手部に当接された肘部回転部材と、前記第２の肩部モータに接続され、肘部回転軸を有し、前記肘部回転軸により前記肘部回転部材と枢着され、前記制御信号を基に前記肘部回転部材を回転させ、前記肘部回転部材とのなす角度を変化させる肘部モータと、を有する肘部回転機構をさらに備えることが好ましい。
【００１３】
また、弾性構造部は、前記リンク部材と前記肘部回転部材との間に固定された弾性構造部をさらに有することが好ましい。
【００１４】
また、前記制御モジュールはデータグローブであり、前記データグローブは、３つの指サックを有し、手を入れることが可能なグローブ体と、前記指サックにそれぞれ配置され、手の指が曲がるときの前記指サックの複数の屈曲角度を検出することが可能な５つのセンサと、前記グローブ体に配置され、腕が回転されるときに前記グローブ体の傾斜角度を検出する傾斜センサと、前記グローブ体に配置され、腕が回転されるときに前記グローブ体の回転角度を検出する回転センサと、前記センサ、前記傾斜センサおよび前記回転センサと電気的に接続され、前記屈曲角度、前記傾斜角度および前記回転角度を前記制御信号に変換する変換モジュールと、を含むことが好ましい。
【００１５】
また、前記指サックのそれぞれは、指の隣接した２つの指関節にそれぞれ嵌める第１の領域および第２の領域を有し、前記指サックは、親指サック、人差し指サックおよび中指サックであり、前記センサは、それぞれ前記親指サックの前記第１の領域、前記親指サックの第２の領域、前記人差し指サックの前記第１の領域、前記中指サックの前記第１の領域および前記中指サックの前記第２の領域にそれぞれ配置されることが好ましい。
【００１６】
また、前記センサは、抵抗センサ、光ファイバセンサまたは圧電センサであることが好ましい。
【００１７】
また、前記回転センサはジャイロであることが好ましい。
【００１８】
また、前記制御モジュールは、人の手により制御された第２のハンドパペットの複数の画像をキャプチャする撮影装置と、前記画像中の前記第２のハンドパペットの頭部および両手の相対位置を検出する位置決めモジュールと、前記画像の前記相対位置を基に、各指の少なくとも１つの変異を演算する移動平均演算モジュールと、前記変異を基に前記制御信号を演算する逆演算モジュールと、を有することが好ましい。
【００１９】
また、前記制御モジュールは、前記制御信号を複数の動作パケットとして記録する記録モジュールと、前記記録モジュールと電気的に接続し、前記動作パケットを編集する編集モジュールと、前記編集モジュールおよび前記パペット操作装置と電気的に接続され、編集した後の前記動作パケットを前記パペット操作装置へ伝送する出力モジュールと、をさらに有することが好ましい。
【００２０】
また、前記編集モジュールは、前記動作パケットの時間順序を編集する複数の動作トラックを有するタイミング編集装置を含むことが好ましい。
【００２１】
また、前記タイミング編集装置は、少なくとも１つの音声信号を編集する音声トラックを有することが好ましい。
【００２２】
また、本発明の第２の形態によれば、データグローブと、ハンドパペット中に装着し、変換モジュールと電気的に接続されたパペット操作装置と、を備えるハンドパペットマニピュレーションシステムであって、前記データグローブは、第１の領域および第２の領域をそれぞれ有し、指の隣接した２つの指関節に嵌める複数の指サックを有するグローブ体と、前記指サックの前記第１の領域および前記第２の領域にそれぞれ配置され、前記指サックの複数の屈曲角度を検出することが可能な多くとも５つのセンサと、前記グローブ体に配置され、前記グローブ体の回転角度を検出する回転センサと、前記センサおよび前記回転センサと電気的に接続され、前記屈曲角度を頭部制御信号、複数の左手制御信号および複数の右手制御信号に変換し、前記回転角度を腰捻用制御信号に変換する変換モジュールと、を含み、前記パペット操作装置は、前記ハンドパペットの胴体に接続され、前記腰捻用制御信号を基に、前記ベースに対して前記胴体を回転させ、ベース上に配置される身体制御機構と、前記身体制御機構上に設けられ、前記ハンドパペットの頭部と接続され、前記頭部制御信号を基に、前記胴体に対して前記頭部を曲げる頭部制御機構と、前記ハンドパペットの左手と接続され、前記左手制御信号を基に制御し、前記胴体に対して前記左手を回転させる左手制御機構と、前記ハンドパペットの右手と接続され、前記右手制御信号を基に制御し、前記胴体に対して前記右手を回転させる右手制御機構と、を含み、前記左手制御機構および前記右手制御機構は、前記身体制御機構にそれぞれ配置され、前記頭部制御機構の両側にそれぞれ配置されるハンドパペットマニピュレーションシステムが提供される。
【００２３】
また、前記指サックは、親指サック、人差し指サックおよび中指サックを含み、前記センサは、前記親指サックの前記第１の領域および前記第２の領域と、前記人差し指サックの前記第１の領域と、前記中指サックの前記第１の領域および前記第２の領域とにそれぞれ配置されることが好ましい。
【００２４】
また、制御モジュールは、前記グローブ体の傾斜角度を検出することが可能な前記グローブ体に配置された傾斜センサをさらに備え、前記変換モジュールは、前記傾斜角度を腰曲用制御信号に変換することが好ましい。
【００２５】
また、前記制御モジュールは、前記グローブ体の移動加速度を検出することが可能な前記グローブ体に配置された加速度センサをさらに備えることが好ましい。
【００２６】
また、本発明の第３の形態によれば、モーションキャプチャモジュールと、変異を基に制御信号を演算する逆演算モジュールと、第２のハンドパペットの中に装着され、前記モーションキャプチャモジュールと電気的に接続されたパペット操作装置と、を備えるハンドパペットマニピュレーションシステムにおいて、前記モーションキャプチャモジュールは、人の手により制御される第１のハンドパペットの複数の画像をキャプチャする撮影装置と、前記画像の前記第１のハンドパペットの頭部と両手との間の複数の相対位置を検出することが可能な位置決めモジュールと、前記相対位置を基に指の変異を演算する移動平均演算モジュールと、を含み、前記パペット操作装置は、前記第２のハンドパペットの胴体と接続され、前記ベースに対して前記胴体を回転させ、ベース上に配置された身体制御機構と、前記身体制御機構に配置され、前記第２のハンドパペットの頭部に接続され、前記制御信号を基に制御して前記胴体に対して前記頭部を曲げる頭部制御機構と、前記第２のハンドパペットの左手と接続され、前記制御信号を基に前記胴体に対して前記左手を回転させる左手制御機構と、前記第２のハンドパペットの右手と接続され、前記制御信号を基に前記胴体に対して前記右手を回転させる右手制御機構と、を含み、前記左手制御機構および前記右手制御機構は、前記身体制御機構にそれぞれ配置され、前記頭部制御機構の両側にそれぞれ配置されるハンドパペットマニピュレーションシステムが提供される。
【００２７】
また、前記相対位置は、各前記画像それぞれの親指、人差し指、中指の間の相対位置であることが好ましい。
【００２８】
また、変換モジュールは、前記親指の屈曲角度を少なくとも１つの左手制御信号に変換し、前記中指の屈曲角度を少なくとも１つの右手制御信号に変換し、前記人差し指の屈曲角度を頭部制御信号に変換することが好ましい。
【発明の効果】
【００２９】
以上の説明から明らかなように、本発明によれば、ユーザは制御モジュールを利用してパペット操作装置を遠隔制御し、データグローブのグローブ体または指サックを曲げたり回転させたりすることにより、パペット操作装置を制御し、パペットに所定の動作（例えば、頷く、振り返る、手を組む、お辞儀などの動作）を行わせることができる。そのため、本発明のハンドパペットマニピュレーションシステムは、操り人形師が現場でハンドパペットの中に手を入れて操作する替わりに、パペット操作装置をハンドパペットの中に装着して操作することにより、自動化制御を行うことができる。
【発明を実施するための形態】
【００３０】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００３１】
図１および図２を参照する。図１は、本発明の一実施形態によるハンドパペットマニピュレーションシステム１００を示すブロック図である。図２は、本発明の一実施形態によるハンドパペット１３０およびパペット操作装置１２０を示す斜視図である。ハンドパペットマニピュレーションシステム１００は、互いに電気的に接続された制御モジュール１１０およびパペット操作装置１２０を含む。制御モジュール１１０は、手の動きまたは手により制御されたハンドパペット１３０のポーズに基づいて制御信号を生成し、この制御信号をパペット操作装置１２０に送信する。このパペット操作装置１２０は、ハンドパペット１３０の中に装着させることができる。また、パペット操作装置１２０は、制御信号に基づいてその上にある関節を駆動し、手の運動状態をシミュレーションし、ハンドパペット１３０の操作により、人の手で操るような様々なポーズを演出することができる。
【００３２】
ハンドパペットマニピュレーションシステム１００の制御モジュール１１０は、主に操り人形師の手の動きをパペット操作装置１２０の制御信号に変換し、パペット操作装置１２０へ送信するために用いられる。制御モジュール１１０は、手の動きの過程または手でハンドパペットを操る過程において生成される関連する物理量の変化をキャプチャするために用いるデータグローブ１１１およびモーションキャプチャモジュール１１３を含む。当該技術に習熟した者であれば分かるように、従来の科学技術には手の動きをキャプチャするために用いる装置が多種類あるが、本実施形態ではデータグローブ１１１およびモーションキャプチャモジュール１１３を例に説明する。制御モジュール１１０は、物理量のサイズまたは時間の修正または編集を行うために用いる動作編集装置１１５を含む。続いて、物理量を制御信号に変換し、制御モジュール１１０の出力端子１１９からパペット操作装置１２０の入力端子１２９へ送信される。制御信号は、それぞれパペット操作装置１２０の各部位を制御する胴体制御信号、頭部制御信号、左手制御信号、右手制御信号などを含む。これら制御信号に関しては以下詳述する。
【００３３】
従来、操り人形師の手は、ハンドパペット１３０の中に入れられていたが、本実施形態では、手をハンドパペット１３０の中に入れる替わりにパペット操作装置１２０が入れられている。パペット操作装置１２０は、身体制御機構１２１と、頭部制御機構１２３と、左手制御機構１２５および右手制御機構１２７を含む１対の手部制御機構とを含む。
【００３４】
身体制御機構１２１は、パペット操作装置１２０のベース１２２上に固定され、ハンドパペット１３０の胴体１３１に接続されている。当該技術分野における通常の知識を有する者であれば分かるように、ハンドパペット１３０の胴体１３１は、布製グローブのような装置からなるものがほとんどである。身体制御機構１２１は、ハンドパペット１３０の胴体１３１内に装着されている。パペット操作装置１２０が制御信号を受信すると、この制御信号に基づいて身体制御機構１２１が胴体１３１を制御し、ベース１２２に対して胴体１３１を回転させる。これにより、ハンドパペット１３０に振り返る動作または腰を捻る動作を行わせることができる。
【００３５】
頭部制御機構１２３は、身体制御機構１２１に配置され、ハンドパペット１３０の頭部１３３に接続されている。一般に、ハンドパペット１３０の頭部１３３は、操り人形師の指（例えば、人差し指など）を入れることができるように中空となっている。頭部制御機構１２３は、制御信号に基づいてハンドパペット１３０の頭部１３３を制御し、胴体１３１に対して頭部１３３を曲げることができる。これにより、ハンドパペット１３０に、頷きや上を見上げる動作をさせることができる。
【００３６】
手部制御機構（即ち、左手制御機構１２５および右手制御機構１２７）は、身体制御機構１２１上に配置され、頭部制御機構１２３の両側にそれぞれ配置されている。左手制御機構１２５は、ハンドパペット１３０の左手１３５に接続され、右手制御機構１２７は、ハンドパペット１３０の右手１３７に接続されている。さらに詳細には、ハンドパペット１３０の左手１３５および右手１３７は、操り人形師の指（例えば、中指、親指など）を入れることができるように中空となっているが、本実施形態では、左手制御機構１２５および右手制御機構１２７が、ハンドパペット１３０の左手１３５および右手１３７の中空部にそれぞれ配置されている。制御信号がパペット操作装置１２０に伝達されると、左手制御機構１２５および右手制御機構１２７は、制御信号に基づいてハンドパペット１３０の両手をそれぞれ制御し、胴体１３１に対してハンドパペット１３０の左手１３５または右手１３７を曲げることができる。これにより、ハンドパペット１３０に手を振る動作、腕を上げる動作などを行わせることができる。
【００３７】
以下、パペット操作装置１２０の細部構造およびその作動方法について説明する。図２および図３を同時に参照する。図３は、本発明の一実施形態によるパペット操作装置１２０を示す斜視図である。
【００３８】
パペット操作装置１２０の身体制御機構１２１は、ハンドパペット１３０の胴体１３１の回転動作（例えば、腰を捻る動作、振り返る動作など）を行う腰捻り機構２１０を含む。この腰捻り機構２１０は、腰捻り回転軸２１２、腰捻り回転部材２１４および腰捻りモータ２１６の３つの構成要素を含む。腰捻り回転軸２１２は、胴体１３１の延伸方向に沿って、腰捻りモータ２１６上に配置されている。ここで、胴体１３１の延伸方向とは、頭部制御機構１２３とベース１２２とを結ぶ線に沿った方向を指す。腰捻り回転部材２１４は、腰捻り回転軸２１２と係合されている。腰捻りモータ２１６は、制御信号中の腰を捻る制御信号に基づいて作動し、腰捻り回転軸２１２を中心にして腰捻り回転部材２１４を回転させることができる。本実施形態では、腰捻りモータ２１６がベース１２２上に固定されている。腰捻り回転軸２１２は、胴体１３１の延伸方向に対して平行であるため、ハンドパペット１３０の胴体１３１が腰捻り回転部材２１４により回転され、振り返る動作を行うことができる。
【００３９】
身体制御機構１２１は、ハンドパペット１３０の胴体１３１を曲げる動作（例えば、腰を曲げる動作など）を行う１組の腰曲げ機構２２０をさらに含む。腰曲げ機構２２０の腰曲用モータ２２６は、ベース１２２と頭部制御機構１２３との間に配置されている。腰曲用モータ２２６は、腰捻り機構２１０の腰捻り回転部材２１４上に配置されてもよい。本実施形態では、腰捻り機構２１０の腰捻り回転部材２１４は、腰曲用モータ２２６でもある。腰曲げ回転軸２２２は、腰曲用モータ２２６に配置されている。腰曲げ回転軸２２２の軸方向は、腰捻り回転軸２１２の軸方向に対して非平行である。本実施形態では、腰曲げ回転軸２２２の軸方向は、腰捻り回転軸２１２の軸方向に対して垂直である。つまり、腰曲げ回転軸２２２の軸方向は、胴体１３１の延伸方向に対して垂直である。腰曲げ回転部材２２４は、腰曲げ回転軸２２２に接続されている。制御信号を受信した後、腰曲用モータ２２６は、腰曲用制御信号に基づき、腰曲げ回転軸２２２を中心に、ベース１２２に対して腰曲げ回転部材２２４を回転させることができる。腰曲げ回転軸２２２は、胴体１３１の延伸方向に対して垂直であり、腰曲げ回転部材２２４が回転して腰曲げ回転部材２２４とベース１２２とのなす角度が変化すると、ベース１２２に対して胴体１３１を曲げ、腰を曲げるような動作を行うことができる。
【００４０】
パペット操作装置１２０の頭部制御機構１２３は、主にハンドパペット１３０の頭部１３３を動かし、頷いたり上を見上げる動作を行う。この目的を達成するために、頭部制御機構１２３の中には頭部回転機構２３０が設けられている。この頭部回転機構２３０は、頭部回転軸２３２、頭部回転部材２３４および頭部モータ２３６を含む。頭部モータ２３６は、身体制御機構１２１の腰曲げ機構２２０の腰曲げ回転部材２２４に固定されている。頭部回転軸２３２は、頭部モータ２３６の中に配置されている。頭部回転軸２３２の軸方向は、腰曲げ回転軸２２２の軸方向に対して平行であり、腰捻り回転軸２１２の軸方向に対して非平行である。本発明の一実施形態において、頭部回転軸２３２の軸方向は、腰捻り回転軸２１２の軸方向に対して垂直である（即ち、胴体１３１の延伸方向に対して垂直である）。頭部回転部材２３４は、頭部回転軸２３２に接続されている。制御信号を受信した後、頭部モータ２３６は、頭部制御信号に基づいて作動し、頭部回転軸２３２を介し、頭部回転軸２３２を中心にして頭部回転部材２３４を回転させる。頭部回転軸２３２により、頭部回転部材２３４が回転すると、頭部回転部材２３４と身体制御機構１２１とのなす角度を変化させることにより、胴体１３１に対してハンドパペット１３０を曲げ、俯いたり上を見上げる動作を行う。
【００４１】
パペット操作装置１２０の左手制御機構１２５および右手制御機構１２７の主な動作には、以下の３ステップが含まれる。ハンドパペット１３０の左手１３５および右手１３７を動かし、肩関節の回転動作、肩関節の屈曲動作および肘の屈曲動作を行う。本実施形態では、上述の動作を行うために、左手制御機構１２５および右手制御機構１２７の中にそれぞれ３組の回転機構が配置されている。右手制御機構１２７の構成は、左手制御機構１２５と全く同じであるため、以下では左手制御機構１２５だけを例に説明する。
【００４２】
まず、肩関節の回転動作装置について説明する。左手制御機構１２５には、第１の肩部回転機構２４０が配置されている。第１の肩部回転機構２４０の第１の肩部モータ２４６は、腰曲げ機構２２０の腰曲げ回転部材２２４上に固定され、第１の肩部回転軸２４２は、第１の肩部モータ２４６に配置されている。第１の肩部回転部材２４４は、第１の肩部回転軸２４２と係合され、第１の肩部モータ２４６と接続されている。
【００４３】
第１の肩部回転軸２４２は、手部の延伸方向に沿って配置されている。ここで、手部の延伸方向とは、身体制御機構１２１が接続された左手制御機構１２５の一方の端部から左手制御機構１２５の他方の端部への方向を指し、これは頭部制御機構１２３から左手制御機構１２５へ線でつないだ方向と見なしてもよい。さらに詳細には、第１の肩部回転軸２４２の軸方向は、腰捻り回転軸２１２の軸方向に対して非並行である。本実施形態において、第１の肩部回転軸２４２は、腰捻り回転軸２１２の軸方向に対して垂直である（即ち、第１の肩部回転軸２４２は、胴体１３１の延伸方向に対して垂直である）。本実施形態では、第１の肩部回転軸２４２の軸方向は、頭部回転軸２３２の軸方向に対して水平である。第１の肩部モータ２４６が左手制御信号に基づいて作動した場合、第１の肩部モータ２４６は、第１の肩部回転軸２４２を中心として第１の肩部回転部材２４４を回転させ、ハンドパペット１３０の左手１３５の肩を胴体１３１に対して回転させることができる。
【００４４】
続いて、肩関節の屈曲動作を行う機構について説明する。左手制御機構１２５は、第２の肩部回転機構２５０を含む。第２の肩部回転機構２５０は、第２の肩部回転軸２５２、第２の肩部モータ２５６および第２の肩部回転部材２５４を含む。第２の肩部回転軸２５２は、第２の肩部モータ２５６に配置され、第２の肩部回転軸２５２の軸方向は、手部の延伸方向または第１の肩部回転軸２４２の軸方向に対して非平行である。本実施形態では、第２の肩部回転軸２５２の軸方向は、手部の延伸方向に対して垂直であるとともに、第１の肩部回転軸２４２の軸方向に対して垂直である。
【００４５】
第２の肩部回転部材２５４は、第２の肩部回転軸２５２に接続され、第２の肩部回転軸２５２を介して第２の肩部モータ２５６に枢着されている。本実施形態では、第２の肩部回転部材２５４は、第１の肩部回転部材２４４に固定されている。ここで、当該技術分野において通常の知識を有する者であれば分かるように、実際の必要に応じて構成要素間の配置を変えても作動後の結果に影響を与えることはない。例えば、第２の肩部回転部材２５４および第２の肩部モータ２５６のうちの１つは、第１の肩部回転部材２４４、第１の肩部モータ２４６または身体制御機構１２１のいずれの構成要素と固定されてもよい。
【００４６】
第２の肩部回転機構２５０が作動すると、第２の肩部モータ２５６は、左手制御信号に基づいて第２の肩部回転部材２５４を動かす。第２の肩部モータ２５６と第２の肩部回転部材２５４とは、第２の肩部回転軸２５２を介して互いに枢着されているため、第２の肩部回転部材２５４は、第２の肩部回転軸２５２を中心に回転し、第２の肩部回転部材２５４と第２の肩部モータ２５６とのなす角度が変化する。上述したように、本実施形態では、第２の肩部回転部材２５４が第１の肩部回転部材２４４に固定されているため、第２の肩部回転部材２５４が回転すると、第２の肩部回転部材２５４と第１の肩部モータ２４６とのなす角度と、第２の肩部回転部材２５４と身体制御機構１２１とのなす角度とが変化する。このように、第２の肩部回転機構２５０は、ハンドパペット１３０の左手１３５を動かし、肩を中心に胴体１３１に対して左手１３５を曲げる動作を行うことができる。
【００４７】
最後に肘関節を曲げる動作について説明する。左手制御機構１２５には、肘部回転軸２６２、肘部回転部材２６４および肘部モータ２６６を含む肘部回転機構２６０が配置されている。肘部モータ２６６に配置された肘部回転軸２６２の軸方向は、第１の肩部回転軸２４２の軸方向に対して非平行である。本実施形態では、肘部回転軸２６２の軸方向は、第１の肩部回転軸２４２の軸方向に対して垂直である。肘部回転軸２６２の軸方向は、第２の肩部回転軸２５２の軸方向に対して平行であるため、第１の肩部回転軸２４２の軸方向に対して垂直であるとともに、手部の延伸方向に対しても垂直である。
【００４８】
肘部モータ２６６は、第２の肩部回転機構２５０に接続され、第２の肩部回転機構２５０を動かすことができる。上述したように、肘部回転機構２６０の各要素は、必要に応じて他の制御機構との接続方法および位置を自由に変えることができる。つまり、肘部モータ２６６および肘部回転部材２６４のうちの１つは、第２の肩部回転機構２５０または第１の肩部回転機構２４０のどちらか一方に接続してもよい。本実施形態において、肘部モータ２６６は、第２の肩部モータ２５６に固定されている。
【００４９】
肘部回転部材２６４は、肘部回転軸２６２を介して肘部モータ２６６に枢着されている。左手制御信号を受信すると、肘部モータ２６６は肘部回転部材２６４を動かし、肘部回転軸２６２を中心に肘部回転部材２６４を回転させて肘部回転部材２６４と肘部モータ２６６とのなす角度が変化するため、肘部回転部材２６４と第２の肩部回転部材２５４とのなす角度が変化する。そのため、ハンドパペット１３０の左手１３５を動かし、肘を屈曲させるような動作をさせることができる。
【００５０】
上述の実施形態から分かるように、パペット操作装置１２０は、ハンドパペット１３０の様々な肢体動作をそれぞれ操作することが可能な少なくとも９組の回転機構を含む。各組の回転機構は、それぞれ独立した制御信号によって制御される。本実施形態の制御信号は、例えば、腰を曲げる信号および腰を捻る信号の２つの胴体制御信号と、頭部制御信号と、３つの左手制御信号と、３つの右手制御信号とを含み、それぞれ腰捻り機構２１０と、腰曲げ機構２２０と、頭部回転機構２３０と、左手制御機構１２５の第１の肩部回転機構２４０、第２の肩部回転機構２５０および肘部回転機構２６０と、右手制御機構１２７の第１の肩部回転機構２４０、第２の肩部回転機構２５０および肘部回転機構２６０と、をそれぞれ制御する。
【００５１】
また、上述したように、頭部制御機構１２３は、ハンドパペット１３０の頭部１３３内の中空部と係合され、左手制御機構１２５および右手制御機構１２７も、それぞれハンドパペット１３０の左手１３５および右手１３７と係合されている。しかし、ハンドパペット１３０は、激しい動きをした場合、外れることがあった。また、ハンドパペット１３０は種類および態様が非常に多く、それぞれの頭部１３３および両手の配置が僅かずつ異なることがあった。
【００５２】
本実施形態は、ハンドパペット１３０とパペット操作装置１２０とを強固に接続させるために、リンク部材２７２および弾性構造部２７４を利用し、ハンドパペット１３０の頭部１３３を頭部制御機構１２３へ弾力を有する状態で係止させる。さらに詳細には、リンク部材２７２が弾性構造部２７４に固定され、この弾性構造部２７４は、頭部回転機構２３０の頭部回転部材２３４に固定されている。ハンドパペット１３０の中にパペット操作装置１２０を装着すると、リンク部材２７２がハンドパペット１３０の頭部１３３に当接され、弾性構造部２７４の弾力により、ハンドパペット１３０の頭部１３３内の中空部と係止されている。
【００５３】
左手制御機構１２５および右手制御機構１２７は類似した構造を有する。さらに詳細には、左手制御機構１２５および右手制御機構１２７は、それぞれリンク部材２７６および弾性構造部２７８を含む。リンク部材２７６は、弾性構造部２７８に固定され、この弾性構造部２７８は、肘部回転機構２６０の肘部回転部材２６４に固定されている。各構成要素を組み合わせると、左手制御機構１２５および右手制御機構１２７のリンク部材２７６がハンドパペット１３０の左手１３５および右手１３７にそれぞれ当接され、弾性構造部２７８の弾力により、左手１３５および右手１３７の中空部にそれぞれ当接される。
【００５４】
図４を参照する。図４は、本発明の一実施形態によるデータグローブ１１１を示す平面図である。ユーザは、グローブ体４００を利用してデータグローブ１１１を手に嵌めることができる。また、様々なセンサを利用してユーザの手の動きを検出し、手の動きにより変化する物理量（例えば、角度、強度、速度などの物理量）を記録することができる。データグローブ１１１は、測定した物理量のデータを変換モジュール１１７へ送信し、変換モジュール１１７により様々な物理量データが上述の様々な制御信号に変換される。
【００５５】
一般に、データグローブ１１１のグローブ体４００は、その中に手を入れて自由に動かすことができる。グローブ体４００は、通常、布やプラスチックなどの柔軟な材料からなる。
【００５６】
グローブ体４００は、それぞれの指を差し込むことができる複数の指サック４１０を有する。本実施形態では、主に親指、人差し指および中指を入れる指サック４１０を例に説明する。指サック４１０は、指先を露出させずに指全体を覆う密閉式の態様でもよいし、指関節の一部だけを覆って指先が露出された開放式の態様でもよい。本実施形態では、指サック４１０は、第１の領域４１７および第２の領域４１９に細かく分けられ、互いに隣り合う２つの指関節にそれぞれ嵌められている。
【００５７】
グローブ体４００には、手首の動き（つまり掌の腕に対する回転または曲げ）を測定するために用いるセンサ４３０が配置されている。さらに詳細には、センサ４３０は、それぞれ手首が回転したときのグローブ体４００の傾斜角度および回転角度を検出し、腕に対する掌の屈曲角度または回転角度を検出するために用いる傾斜センサ４３１および回転センサ４３３を含む。現在、傾斜角度または回転角度を測定するセンサは非常に多く開発されているが、ここではそれらについて説明しない。本実施形態では、回転センサ４３３はジャイロを含む。また、センサ４３０は、グローブ体４００の移動加速度を測定するために用いてもよい。言い換えれば、センサ４３０は、手が移動するときの加速度を測定する加速度センサを含んでもよい。
【００５８】
変換モジュール１１７は、回転角度および傾斜角度を検出するために用いる傾斜センサ４３１および回転センサ４３３と電気的に接続され、回転角度を腰を捻る制御信号に変換し、傾斜角度を腰曲用制御信号に変換させる。
【００５９】
指サック４１０には、複数のセンサ４２０が配置されている。指が屈曲されると、指サック４１０が動かされ、指サック４１０の屈曲角度がセンサ４２０により検出され、指の屈曲角度を知ることができる。パペット劇では、親指、人差し指および中指を使った操作が重要である。そのため、本実施形態では親指サック４１１、人差し指サック４１３および中指サック４１５に取り付けたセンサ４２０により、親指、人差し指および中指の屈曲角度を検出する。
【００６０】
パペット劇の操り技法において、人差し指は、主に頭の動作（例えば、俯いたり上を見上げる動作）を制御し、基本的に単純な動作しか行わない。従って、１つの屈曲角度だけを検出すればよい。このため、本実施形態では、人差し指サック４１３の第１の領域４１７に、人差し指の１つの指関節が曲がったときの人差し指サック４１３の屈曲角度を検出するために用いるセンサ４２５を取り付ける。
【００６１】
従来、パペット劇を演じる際、親指でハンドパペット１３０の左手１３５を制御し、親指の２つの関節によりハンドパペット１３０の左手の肩および肘を動かしていた。親指の２つの関節の運動状態を測定するため、本実施形態では、親指サック４１１の第１の領域４１７にセンサ４２１を取り付け、第２の領域４１９にセンサ４２３を取り付ける。そして、センサ４２１，４２３を利用し、親指二つの関節が曲がるときの親指サック４１１の屈曲角度を測定する。
【００６２】
従来、パペット劇は、ハンドパペット１３０の右手１３７が中指により制御されていた。つまり、中指の３つの関節により、ハンドパペット１３０の右手の肩および肘を動かしていた。そのため、指の動きのデータを詳細にキャプチャするために、一般に、中指を入れる中指サック４１５には３つのセンサ４２０が装着され、３つの関節の動きをキャプチャする。また、本実施形態では、指関節の相互の連動関係を利用することにより、中指サック４１５にセンサ４２０を２つだけ装着し、３つ目の関節の動きをキャプチャしてもよい。人の指の３つの指関節は互いに連動しているため、２つの指関節の屈曲角度が分かれば、残りの３つ目の関節の屈曲角度を推算することができる。なお、これに関する理論および推算方法については、当該技術分野における通常の知識を有する者であれば分かるため、ここでは述べない。このように、本実施形態では、中指サック４１５の第１の領域４１７にセンサ４２７を取り付け、第２の領域４１９にセンサ４２９を取り付けて中指の屈曲角度を得る。
【００６３】
センサ４２０は、それぞれ変換モジュール１１７と電気的に接続されており、変換モジュール１１７により検出された屈曲角度を対応する制御信号（例えば、頭部制御信号、左手制御信号および右手制御信号）に変換させる。さらに詳細には、変換モジュール１１７は、親指サック４１１のセンサ４２１およびセンサ４２３が検出した屈曲角度を左手制御信号に変換し、人差し指サック４１３のセンサ４２５が検出した屈曲角度を頭部制御信号に変換し、中指サック４１５のセンサ４２７およびセンサ４２９が検出した屈曲角度を右手制御信号に変換する。
【００６４】
当該技術分野において通常の知識を持つ者であれば分かるように、角度変化を検出することができるセンサ４２０の種類（例えば、抵抗センサ、光ファイバセンサ、ジャイロ等）は非常に多い。本実施形態のセンサ４２０は圧電センサである。一般に、圧電センサは、検出した形状変化を電気信号に変換する作用を有する。詳細に述べると、圧電センサは、コンデンサのような装置を含み、作用力により圧電センサの形状が変化すると、コンデンサが放電して電気信号を生成させる。コンデンサの充放電時間は、指の動きに必要な時間と比べて非常に短いため、圧電センサは、指が動くときに生成される複数の電気信号を検出することができる。１回の電気信号の発生は、１個の小さい角度の回転と見なすことができるため、電気信号が発生した回数を累計することにより、回転角度を推算することができる。
【００６５】
図５Ａおよび図５Ｂを参照する。図５Ａは、本発明の一実施形態によるモーションキャプチャモジュール１１３を示すブロック図である。図５Ｂは、ハンドパペット１３０を示す斜視図である。モーションキャプチャモジュール１１３は、手により制御された他のハンドパペット１３０のモーション画像をキャプチャし（主にハンドパペット１３０の上半身のポーズをキャプチャする）、操り人形師の手の動きを逆算してハンドパペット１３０の動作を制御信号に変換させる。
【００６６】
モーションキャプチャモジュール１１３は、人の手でハンドパペット１３０を制御するときのハンドパペット１３０の動作を撮影するために用いる撮影装置５１０を含む。モーションキャプチャモジュール１１３の位置決めモジュール５２０は、各映像中のハンドパペット１３０の頭部１３３、左手１３５、右手１３７間のそれぞれの相対位置を検出するために用いる。さらに詳細には、位置決めモジュール５２０は、各画像毎のハンドパペット１３０の頭部１３３、左手１３５、右手１３７の位置をサーチし、これによりハンドパペット１３０中の人差し指、親指および中指の位置を決定し、人差し指、親指および中指の相対位置を判断する。さらに、位置決めモジュール５２０は、頭部１３３と左手１３５との間隔ｄ１と、頭部１３３と右手１３７との間隔ｄ２と、右手１３７と左手１３５との間隔ｄ３とを計算する。本実施形態の位置決めモジュール５２０は、主にハンドパペット１３０の頭部１３３、右手１３７および左手１３５から構成される三角形の中心位置をトラッキングするために用いる。続いて、中心位置から頭部１３３、右手１３７および左手１３５までの距離をそれぞれ測定することにより、ハンドパペット１３０の頭部１３３および両手１３７，１３５の相対位置を知ることができる。
【００６７】
指の相対位置を位置決めした後、モーションキャプチャモジュール１１３の移動平均演算モジュール５３０は、各画像毎のそれぞれの間隔の変化に基づき、各指の変異を演算する。さらに詳細には、各画像毎のハンドパペット１３０の頭部１３３と、両手との相対位置の変化から、頭部１３３、右手１３７および左手１３５の変異を推算し、それぞれの指の変異を知ることができる。
【００６８】
続いて、モーションキャプチャモジュール１１３の逆演算モジュール５４０は、各指の変異および指の間の間隔に基づいて各制御信号を演算する。
【００６９】
図６および図７を同時に参照する。図６は、本発明の一実施形態によるハンドパペットマニピュレーションシステム１００を示すブロック図である。図７は、動作編集装置１１５のインターフェース６２２を示す操作画面図である。動作編集装置１１５は、データグローブ１１１がキャプチャした手の動きまたはモーションキャプチャモジュール１１３がキャプチャしたハンドパペット１３０のポーズを記録し、この記録された動きを新たに編集して新しい動作に変えてもよい。動作編集装置１１５は、記録モジュール６１０、編集モジュール６２０および出力モジュール６３０を含み、以下それらについて説明する。
【００７０】
上述したように、データグローブ１１１またはモーションキャプチャモジュール１１３は、手を動かしたときまたはハンドパペット１３０のポーズを変えたときに生成される各物理量の変化を検出し、様々な制御信号（例えば、腰曲用制御信号、腰を捻る制御信号、頭部制御信号、左手制御信号、右手制御信号など）に変換させることができる。記録モジュール６１０の作用は、手またはハンドパペット１３０が動くときに生成される様々な制御信号を記録し、同一の動作の各制御信号を１つの動作パケット６４０に設定させることにある。これにより、操り人形師がハンドパペット１３０を操るとき、記録モジュール６１０は、対応した動作パケット６４０（例えば、頷く動作パケット、歩く動作パケット、手を振る動作パケットなど）を記録することができる。
【００７１】
動作編集装置１１５の記録モジュール６１０は、データグローブ１１１、モーションキャプチャモジュール１１３または変換モジュール１１７に接続され、検出した物理量値または変換後の制御信号を取得してもよい。本実施形態の記録モジュール６１０は、変換モジュール１１７と電気的に接続され、データグローブ１１１がキャプチャした様々な物理量（例えば、腰曲用制御信号、腰を捻る制御信号、頭部制御信号、左手制御信号、右手制御信号など）を記録した後、これらの制御信号を動作パケットとして保存する。また、本実施形態の記録モジュール６１０は、モーションキャプチャモジュール１１３と電気的に接続され、モーションキャプチャモジュール１１３が演算した各制御信号を記録する。
【００７２】
編集モジュール６２０は、記録モジュール６１０と電気的に接続され、動作パケット６４０中の各制御信号の時間（例えば、起点、終点および作用時間の長さ）を編集するために用いてもよい。例えば、編集モジュール６２０は、頷く動作の動作パケット６４０中の頭部制御信号の開始時間点および終了時間点を編集し、頷きの開始時間点、動作時間および回数を決定することができる。また、編集過程において、頷きの開始時間点や上を見上げ始める時間点を決定するといった各動作の作用時間を編集することもできる。また、編集モジュール６２０は、異なる制御信号間での相対時間（例えば、左手制御信号、頭部制御信号、右手制御信号の間の時間順序、それぞれの作用時間の長さなど）を編集することができる。
【００７３】
編集モジュール６２０は、ユーザが編集に用いるためのインターフェース６２２を含む。インターフェース６２２には、動作パケット６４０中の各制御信号のクロック編集を行うのに都合が良いようにタイミング編集装置６２６が配置されている。さらに詳細には、タイミング編集装置６２６は、複数の動作トラック６２８を含み、動作トラック６２８には、それぞれ頭部制御信号などの制御信号が含まれてもよい。ユーザは、動作トラック６２８の中に含む制御信号を編集してもよい。具体的には、この制御信号の編集には、制御信号の作用時間の長さ、開始時間点、終了時間点などの変更を含む。
【００７４】
複数の動作トラック６２８を配置させることにより、複数の様々な制御信号（例えば、左手制御信号、頭部制御信号、右手制御信号など）をそれぞれ編集し、各制御信号の開始時間点、終了時間点、作用時間の長さなどを修正し、動作パケット６４０中の各制御信号の時間順序を編集してもよい。
【００７５】
また、動作トラック６２８は、複数の動作パケット６４０を編集するために用いてもよく、各動作トラック６２８は動作パケット６４０を含み、上述の動作を行って複数の動作パケット６４０間の時間順序を編集してもよい。
【００７６】
完全なパペット劇では、躍動感溢れる演出を行うために、ハンドパペットの動きの他に、台詞および効果音も必要である。本発明の一実施形態では、タイミング編集装置６２６は、台詞、効果音などの音声信号を編集するために用いる音声トラック６５０を有する。音声トラック６５０および動作トラック６２８は、同一の時間軸上に配列され編集してもよい。このように、ユーザは、ハンドパペットの動作、台詞および効果音の編集を同時に行うこともできる。
【００７７】
本発明の一実施形態では、インターフェース６２２は、モータ制御モジュール６２４を提供し、パペット操作装置１２０の各回転モジュールを直接調整することができる。さらに詳細には、ユーザは、モータ制御モジュール６２４の中に速度および角度の設定値を入力してもよい。モータ制御モジュール６２４は、設定値に基づいて各回転モジュールへ送る制御信号を生成し、これにより各回転モジュールのモータをそれぞれ個別に駆動させ、設定した速度および角度を再現させる。モータ制御モジュール６２４により制御された各制御信号は、動作パケット６４０として保存され、タイミング編集装置６２６により動作の編集を行ってもよい。
【００７８】
最後に、出力モジュール６３０について説明する。出力モジュール６３０は、編集モジュール６２０と電気的に接続されており、制御モジュール１１０の出力端子１１９を介してパペット操作装置１２０と電気的に接続されている。編集モジュール６２０により編集された動作パケット６４０が、編集モジュール６２０から出力モジュール６３０へ送信されてから、出力モジュール６３０から動作パケット６４０中の各制御信号を順次パペット操作装置１２０へ送信する。
【００７９】
上述の実施形態から分かるように、本発明は、以下３種類の制御信号の生成方法を含む。第１の制御信号の生成方法は、データグローブを利用し、手が動くときの様々な物理量を検出し、この検出した物理量に基づいて制御信号を生成させる方法である。第２の制御信号の生成方法は、モーションキャプチャモジュールを利用し、画像中の指の相対位置の変化をキャプチャし、この相対位置の変化に基づいて制御信号を生成させる方法である。第３の制御信号の生成方法は、動作編集装置を利用して制御信号を編集する制御信号の生成方法である。
【００８０】
本発明のハンドパペットマニピュレーションシステムは、パペット劇の演出を行う際、パペットの中に手を入れる代わりにパペット操作装置を中に装着し、制御モジュールによりパペット操作装置を遠隔制御してハンドパペットに所定動作（例えば、頷く、振り返る、手を組む、お辞儀などの動作）を行わせ、自動化制御の効果を得ることができる。
【００８１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができることは当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００８２】
【図１】本発明の一実施形態によるハンドパペットマニピュレーションシステムを示すブロック図である。
【図２】図１のハンドパペットおよびパペット操作装置を示す斜視図である。
【図３】本発明の一実施形態によるパペット操作装置を示す斜視図である。
【図４】本発明の一実施形態によるデータグローブを示す平面図である。
【図５Ａ】本発明の一実施形態によるモーションキャプチャモジュールを示すブロック図である。
【図５Ｂ】図５Ａのハンドパペットを示す斜視図である。
【図６】本発明の一実施形態によるハンドパペットマニピュレーションシステムを示すブロック図である。
【図７】図６の動作編集装置のインターフェースを示す操作画面図である。
【符号の説明】
【００８３】
１００ ハンドパペットマニピュレーションシステム、１１０ 制御モジュール、１１１ データグローブ、１１３ モーションキャプチャモジュール、１１５ 動作編集装置、１１７ 変換モジュール、１１９ 出力端子、１２０ パペット操作装置、１２１ 身体制御機構、１２２ ベース、１２３ 頭部制御機構、１２５ 左手制御機構、１２７ 右手制御機構、１２９ 入力端子、１３０ ハンドパペット、１３１ 胴体、１３３ 頭部、１３５ 左手、１３７ 右手、２１０ 腰捻り機構、２１２ 腰捻り回転軸、２１４ 腰捻り回転部材、２１６ 腰捻りモータ、２２０ 腰曲げ機構、２２２ 腰曲げ回転軸、２２４ 腰曲げ回転部材、２２６ 腰曲用モータ、２３０ 頭部回転機構、２３２ 頭部回転軸、２３４ 頭部回転部材、２３６ 頭部モータ、２４０ 第１の肩部回転機構、２４２ 第１の肩部回転軸、２４４ 第１の肩部回転部材、２４６ 第１の肩部モータ、２５０ 第２の肩部回転機構、２５２ 第２の肩部回転軸、２５４ 第２の肩部回転部材、２５６ 第２の肩部モータ、２６０ 肘部回転機構、２６２ 肘部回転軸、２６４ 肘部回転部材、２６６ 肘部モータ、２７２ リンク部材、２７４ 弾性構造部、２７６ リンク部材、２７８ 弾性構造部、４００ グローブ体、４１０ 指サック、４１１ 親指サック、４１３ 人差し指サック、４１５ 中指サック、４１７ 第１の領域、４１９ 第２の領域、４２０ センサ、４２１ センサ、４２３ センサ、４２５ センサ、４２７ センサ、４２９ センサ、４３０ センサ、４３１ 傾斜センサ、４３３ 回転センサ、５１０ 撮影装置、５２０ 位置決めモジュール、５３０ 移動平均演算モジュール、５４０ 逆演算モジュール、６１０ 記録モジュール、６２０ 編集モジュール、６２２ インターフェース、６２４ モータ制御モジュール、６２６ タイミング編集装置、６２８ 動作トラック、６３０ 出力モジュール、６４０ 動作パケット、６５０ 音声トラック、ｄ１ 間隔、ｄ２ 間隔、ｄ３ 間隔
【特許請求の範囲】
【請求項１】
人の手の運動状態を基に複数の制御信号を生成させる制御モジュールと、
第１のハンドパペットの中に装着し、前記制御モジュールと電気的に接続されたパペット操作装置と、を備えるハンドパペットマニピュレーションシステムであって、
前記パペット操作装置は、
ベースと、
前記ベース上に設けられ、前記第１のハンドパペットの胴体と接続され、前記制御信号を基に前記ベースに対して前記胴体を制御する身体制御機構と、
前記身体制御機構に配置され、前記第１のハンドパペットの頭部に接続され、前記制御信号を基に前記胴体に対して前記頭部を曲げ、前記ベースと結ぶ線が前記胴体の延伸方向である頭部制御機構と、
前記身体制御機構に設けられ、前記頭部制御機構の両側にそれぞれ配置され、前記第１のハンドパペットの手部にそれぞれ接続され、前記制御信号を基に前記手部を制御し、前記胴体に対して回転させる１対の手部制御機構と、を含むハンドパペットマニピュレーションシステム。
【請求項２】
前記身体制御機構は、前記制御信号を基に前記ベースに対して前記胴体を回転させ、前記ベースに接続された腰捻りモータを有する請求項１に記載のハンドパペットマニピュレーションシステム。
【請求項３】
前記身体制御機構は、前記制御信号を基に前記胴体を回転させ、前記胴体と前記ベースとのなす角度を変化させ、前記ベースと前記頭部制御機構との間に配置された腰曲用モータをさらに備える請求項１または２に記載のハンドパペットマニピュレーションシステム。
【請求項４】
前記頭部制御機構は、前記制御信号を基に前記頭部を回転させ、前記頭部と前記胴体とのなす角度を変化させ、前記身体制御機構と接続された頭部モータを有する請求項１から３のいずれか一項に記載のハンドパペットマニピュレーションシステム。
【請求項５】
各前記手部制御機構は、前記制御信号を基に前記胴体に対して前記手部を回転させ、前記身体制御機構と接続された第１の肩部モータを有する請求項１から４のいずれか一項に記載のハンドパペットマニピュレーションシステム。
【請求項６】
前記手部制御機構は、前記制御信号を基に前記手部制御機構を回転させ、前記手部と前記胴体とのなす角度を変化させ、前記身体制御機構と接続された第２の肩部モータをさらに備える請求項５に記載のハンドパペットマニピュレーションシステム。
【請求項７】
各前記手部制御機構は、
リンク部材により前記手部に当接された肘部回転部材と、
前記第２の肩部モータに接続され、肘部回転軸を有し、前記肘部回転軸により前記肘部回転部材と枢着され、前記制御信号を基に前記肘部回転部材を回転させ、前記肘部回転部材とのなす角度を変化させる肘部モータと、を有する肘部回転機構をさらに備える請求項６に記載のハンドパペットマニピュレーションシステム。
【請求項８】
前記手部制御機構は、前記リンク部材と前記肘部回転部材との間に固定された弾性構造部をさらに有する請求項７に記載のハンドパペットマニピュレーションシステム。
【請求項９】
前記制御モジュールはデータグローブであり、
前記データグローブは、
３つの指サックを有し、手を入れることが可能なグローブ体と、
前記指サックにそれぞれ配置され、手の指が曲がるときの前記指サックの複数の屈曲角度を検出することが可能な５つのセンサと、
前記グローブ体に配置され、腕が回転されるときに前記グローブ体の傾斜角度を検出する傾斜センサと、
前記グローブ体に配置され、腕が回転されるときに前記グローブ体の回転角度を検出する回転センサと、
前記センサ、前記傾斜センサおよび前記回転センサと電気的に接続され、前記屈曲角度、前記傾斜角度および前記回転角度を前記制御信号に変換する変換モジュールと、を含む請求項１から８のいずれか一項に記載のハンドパペットマニピュレーションシステム。
【請求項１０】
前記指サックのそれぞれは、指の隣接した２つの指関節にそれぞれ嵌める第１の領域および第２の領域を有し、
前記指サックは、親指サック、人差し指サックおよび中指サックであり、
前記センサは、それぞれ前記親指サックの前記第１の領域、前記親指サックの第２の領域、前記人差し指サックの前記第１の領域、前記中指サックの前記第１の領域および前記中指サックの前記第２の領域にそれぞれ配置される請求項９に記載のハンドパペットマニピュレーションシステム。
【請求項１１】
前記センサは、抵抗センサ、光ファイバセンサまたは圧電センサである請求項９または１０に記載のハンドパペットマニピュレーションシステム。
【請求項１２】
前記回転センサはジャイロである請求項９から１１のいずれか一項に記載のハンドパペットマニピュレーションシステム。
【請求項１３】
前記制御モジュールは、
人の手により制御された第２のハンドパペットの複数の画像をキャプチャする撮影装置と、
前記画像中の前記第２のハンドパペットの頭部および両手の相対位置を検出する位置決めモジュールと、
前記画像の前記相対位置を基に、各指の少なくとも１つの変異を演算する移動平均演算モジュールと、
前記変異を基に前記制御信号を演算する逆演算モジュールと、を有する請求項１から８のいずれか一項に記載のハンドパペットマニピュレーションシステム。
【請求項１４】
前記制御モジュールは、
前記制御信号を複数の動作パケットとして記録する記録モジュールと、
前記記録モジュールと電気的に接続し、前記動作パケットを編集する編集モジュールと、
前記編集モジュールおよび前記パペット操作装置と電気的に接続され、編集した後の前記動作パケットを前記パペット操作装置へ伝送する出力モジュールと、をさらに有する請求項９から１３のいずれか一項に記載のハンドパペットマニピュレーションシステム。
【請求項１５】
前記編集モジュールは、
前記動作パケットの時間順序を編集する複数の動作トラックを有するタイミング編集装置を含む請求項１４に記載のハンドパペットマニピュレーションシステム。
【請求項１６】
前記タイミング編集装置は、少なくとも１つの音声信号を編集する音声トラックを有する請求項１５に記載のハンドパペットマニピュレーションシステム。
【請求項１７】
データグローブと、ハンドパペット中に装着し、変換モジュールと電気的に接続されたパペット操作装置と、を備えるハンドパペットマニピュレーションシステムであって、
前記データグローブは、
第１の領域および第２の領域をそれぞれ有し、指の隣接した２つの指関節に嵌める複数の指サックを有するグローブ体と、
前記指サックの前記第１の領域および前記第２の領域にそれぞれ配置され、前記指サックの複数の屈曲角度を検出することが可能な多くとも５つのセンサと、
前記グローブ体に配置され、前記グローブ体の回転角度を検出する回転センサと、を含み、
前記変換モジュールは、前記センサおよび前記回転センサと電気的に接続され、前記屈曲角度を頭部制御信号、複数の左手制御信号および複数の右手制御信号に変換し、前記回転角度を腰捻用制御信号に変換し、
前記パペット操作装置は、
前記ハンドパペットの胴体に接続され、前記腰捻用制御信号を基に、ベースに対して前記胴体を回転させ、前記ベース上に配置される身体制御機構と、
前記身体制御機構上に設けられ、前記ハンドパペットの頭部と接続され、前記頭部制御信号を基に、前記胴体に対して前記頭部を曲げる頭部制御機構と、
前記ハンドパペットの左手と接続され、前記左手制御信号を基に制御し、前記胴体に対して前記左手を回転させる左手制御機構と、
前記ハンドパペットの右手と接続され、前記右手制御信号を基に制御し、前記胴体に対して前記右手を回転させる右手制御機構と、を含み、
前記左手制御機構および前記右手制御機構は、前記身体制御機構にそれぞれ配置され、前記頭部制御機構の両側にそれぞれ配置されるハンドパペットマニピュレーションシステム。
【請求項１８】
前記指サックは、親指サック、人差し指サックおよび中指サックを含み、
前記センサは、前記親指サックの前記第１の領域および前記第２の領域と、前記人差し指サックの前記第１の領域と、前記中指サックの前記第１の領域および前記第２の領域とにそれぞれ配置される請求項１７に記載のハンドパペットマニピュレーションシステム。
【請求項１９】
前記データグローブは、前記グローブ体の傾斜角度を検出することが可能な前記グローブ体に配置された傾斜センサをさらに備え、
前記変換モジュールは、前記傾斜角度を腰曲用制御信号に変換する請求項１８に記載のハンドパペットマニピュレーションシステム。
【請求項２０】
前記データグローブは、前記グローブ体の移動加速度を検出することが可能な前記グローブ体に配置された加速度センサをさらに備える請求項１７から１９のいずれか一項に記載のハンドパペットマニピュレーションシステム。
【請求項２１】
モーションキャプチャモジュールと、変異を基に制御信号を演算する逆演算モジュールと、第２のハンドパペットの中に装着され、前記モーションキャプチャモジュールと電気的に接続されたパペット操作装置と、を備えるハンドパペットマニピュレーションシステムにおいて、
前記モーションキャプチャモジュールは、
人の手により制御される第１のハンドパペットの複数の画像をキャプチャする撮影装置と、
前記画像の前記第１のハンドパペットの頭部と両手との間の複数の相対位置を検出することが可能な位置決めモジュールと、
前記相対位置を基に指の変異を演算する移動平均演算モジュールと、を含み、
前記パペット操作装置は、
前記第２のハンドパペットの胴体と接続され、ベースに対して前記胴体を回転させ、前記ベース上に配置された身体制御機構と、
前記身体制御機構に配置され、前記第２のハンドパペットの頭部に接続され、前記制御信号を基に制御して前記胴体に対して前記頭部を曲げる頭部制御機構と、
前記第２のハンドパペットの左手と接続され、前記制御信号を基に前記胴体に対して前記左手を回転させる左手制御機構と、
前記第２のハンドパペットの右手と接続され、前記制御信号を基に前記胴体に対して前記右手を回転させる右手制御機構と、を含み、
前記左手制御機構および前記右手制御機構は、前記身体制御機構にそれぞれ配置され、前記頭部制御機構の両側にそれぞれ配置されるハンドパペットマニピュレーションシステム。
【請求項２２】
前記相対位置は、各前記画像それぞれの親指、人差し指、中指の間の相対位置である請求項２１に記載のハンドパペットマニピュレーションシステム。
【請求項２３】
変換モジュールは、前記親指の屈曲角度を少なくとも１つの左手制御信号に変換し、前記中指の屈曲角度を少なくとも１つの右手制御信号に変換し、前記人差し指の屈曲角度を頭部制御信号に変換する請求項２２に記載のハンドパペットマニピュレーションシステム。
【請求項１】
人の手の運動状態を基に複数の制御信号を生成させる制御モジュールと、
第１のハンドパペットの中に装着し、前記制御モジュールと電気的に接続されたパペット操作装置と、を備えるハンドパペットマニピュレーションシステムであって、
前記パペット操作装置は、
ベースと、
前記ベース上に設けられ、前記第１のハンドパペットの胴体と接続され、前記制御信号を基に前記ベースに対して前記胴体を制御する身体制御機構と、
前記身体制御機構に配置され、前記第１のハンドパペットの頭部に接続され、前記制御信号を基に前記胴体に対して前記頭部を曲げ、前記ベースと結ぶ線が前記胴体の延伸方向である頭部制御機構と、
前記身体制御機構に設けられ、前記頭部制御機構の両側にそれぞれ配置され、前記第１のハンドパペットの手部にそれぞれ接続され、前記制御信号を基に前記手部を制御し、前記胴体に対して回転させる１対の手部制御機構と、を含むハンドパペットマニピュレーションシステム。
【請求項２】
前記身体制御機構は、前記制御信号を基に前記ベースに対して前記胴体を回転させ、前記ベースに接続された腰捻りモータを有する請求項１に記載のハンドパペットマニピュレーションシステム。
【請求項３】
前記身体制御機構は、前記制御信号を基に前記胴体を回転させ、前記胴体と前記ベースとのなす角度を変化させ、前記ベースと前記頭部制御機構との間に配置された腰曲用モータをさらに備える請求項１または２に記載のハンドパペットマニピュレーションシステム。
【請求項４】
前記頭部制御機構は、前記制御信号を基に前記頭部を回転させ、前記頭部と前記胴体とのなす角度を変化させ、前記身体制御機構と接続された頭部モータを有する請求項１から３のいずれか一項に記載のハンドパペットマニピュレーションシステム。
【請求項５】
各前記手部制御機構は、前記制御信号を基に前記胴体に対して前記手部を回転させ、前記身体制御機構と接続された第１の肩部モータを有する請求項１から４のいずれか一項に記載のハンドパペットマニピュレーションシステム。
【請求項６】
前記手部制御機構は、前記制御信号を基に前記手部制御機構を回転させ、前記手部と前記胴体とのなす角度を変化させ、前記身体制御機構と接続された第２の肩部モータをさらに備える請求項５に記載のハンドパペットマニピュレーションシステム。
【請求項７】
各前記手部制御機構は、
リンク部材により前記手部に当接された肘部回転部材と、
前記第２の肩部モータに接続され、肘部回転軸を有し、前記肘部回転軸により前記肘部回転部材と枢着され、前記制御信号を基に前記肘部回転部材を回転させ、前記肘部回転部材とのなす角度を変化させる肘部モータと、を有する肘部回転機構をさらに備える請求項６に記載のハンドパペットマニピュレーションシステム。
【請求項８】
前記手部制御機構は、前記リンク部材と前記肘部回転部材との間に固定された弾性構造部をさらに有する請求項７に記載のハンドパペットマニピュレーションシステム。
【請求項９】
前記制御モジュールはデータグローブであり、
前記データグローブは、
３つの指サックを有し、手を入れることが可能なグローブ体と、
前記指サックにそれぞれ配置され、手の指が曲がるときの前記指サックの複数の屈曲角度を検出することが可能な５つのセンサと、
前記グローブ体に配置され、腕が回転されるときに前記グローブ体の傾斜角度を検出する傾斜センサと、
前記グローブ体に配置され、腕が回転されるときに前記グローブ体の回転角度を検出する回転センサと、
前記センサ、前記傾斜センサおよび前記回転センサと電気的に接続され、前記屈曲角度、前記傾斜角度および前記回転角度を前記制御信号に変換する変換モジュールと、を含む請求項１から８のいずれか一項に記載のハンドパペットマニピュレーションシステム。
【請求項１０】
前記指サックのそれぞれは、指の隣接した２つの指関節にそれぞれ嵌める第１の領域および第２の領域を有し、
前記指サックは、親指サック、人差し指サックおよび中指サックであり、
前記センサは、それぞれ前記親指サックの前記第１の領域、前記親指サックの第２の領域、前記人差し指サックの前記第１の領域、前記中指サックの前記第１の領域および前記中指サックの前記第２の領域にそれぞれ配置される請求項９に記載のハンドパペットマニピュレーションシステム。
【請求項１１】
前記センサは、抵抗センサ、光ファイバセンサまたは圧電センサである請求項９または１０に記載のハンドパペットマニピュレーションシステム。
【請求項１２】
前記回転センサはジャイロである請求項９から１１のいずれか一項に記載のハンドパペットマニピュレーションシステム。
【請求項１３】
前記制御モジュールは、
人の手により制御された第２のハンドパペットの複数の画像をキャプチャする撮影装置と、
前記画像中の前記第２のハンドパペットの頭部および両手の相対位置を検出する位置決めモジュールと、
前記画像の前記相対位置を基に、各指の少なくとも１つの変異を演算する移動平均演算モジュールと、
前記変異を基に前記制御信号を演算する逆演算モジュールと、を有する請求項１から８のいずれか一項に記載のハンドパペットマニピュレーションシステム。
【請求項１４】
前記制御モジュールは、
前記制御信号を複数の動作パケットとして記録する記録モジュールと、
前記記録モジュールと電気的に接続し、前記動作パケットを編集する編集モジュールと、
前記編集モジュールおよび前記パペット操作装置と電気的に接続され、編集した後の前記動作パケットを前記パペット操作装置へ伝送する出力モジュールと、をさらに有する請求項９から１３のいずれか一項に記載のハンドパペットマニピュレーションシステム。
【請求項１５】
前記編集モジュールは、
前記動作パケットの時間順序を編集する複数の動作トラックを有するタイミング編集装置を含む請求項１４に記載のハンドパペットマニピュレーションシステム。
【請求項１６】
前記タイミング編集装置は、少なくとも１つの音声信号を編集する音声トラックを有する請求項１５に記載のハンドパペットマニピュレーションシステム。
【請求項１７】
データグローブと、ハンドパペット中に装着し、変換モジュールと電気的に接続されたパペット操作装置と、を備えるハンドパペットマニピュレーションシステムであって、
前記データグローブは、
第１の領域および第２の領域をそれぞれ有し、指の隣接した２つの指関節に嵌める複数の指サックを有するグローブ体と、
前記指サックの前記第１の領域および前記第２の領域にそれぞれ配置され、前記指サックの複数の屈曲角度を検出することが可能な多くとも５つのセンサと、
前記グローブ体に配置され、前記グローブ体の回転角度を検出する回転センサと、を含み、
前記変換モジュールは、前記センサおよび前記回転センサと電気的に接続され、前記屈曲角度を頭部制御信号、複数の左手制御信号および複数の右手制御信号に変換し、前記回転角度を腰捻用制御信号に変換し、
前記パペット操作装置は、
前記ハンドパペットの胴体に接続され、前記腰捻用制御信号を基に、ベースに対して前記胴体を回転させ、前記ベース上に配置される身体制御機構と、
前記身体制御機構上に設けられ、前記ハンドパペットの頭部と接続され、前記頭部制御信号を基に、前記胴体に対して前記頭部を曲げる頭部制御機構と、
前記ハンドパペットの左手と接続され、前記左手制御信号を基に制御し、前記胴体に対して前記左手を回転させる左手制御機構と、
前記ハンドパペットの右手と接続され、前記右手制御信号を基に制御し、前記胴体に対して前記右手を回転させる右手制御機構と、を含み、
前記左手制御機構および前記右手制御機構は、前記身体制御機構にそれぞれ配置され、前記頭部制御機構の両側にそれぞれ配置されるハンドパペットマニピュレーションシステム。
【請求項１８】
前記指サックは、親指サック、人差し指サックおよび中指サックを含み、
前記センサは、前記親指サックの前記第１の領域および前記第２の領域と、前記人差し指サックの前記第１の領域と、前記中指サックの前記第１の領域および前記第２の領域とにそれぞれ配置される請求項１７に記載のハンドパペットマニピュレーションシステム。
【請求項１９】
前記データグローブは、前記グローブ体の傾斜角度を検出することが可能な前記グローブ体に配置された傾斜センサをさらに備え、
前記変換モジュールは、前記傾斜角度を腰曲用制御信号に変換する請求項１８に記載のハンドパペットマニピュレーションシステム。
【請求項２０】
前記データグローブは、前記グローブ体の移動加速度を検出することが可能な前記グローブ体に配置された加速度センサをさらに備える請求項１７から１９のいずれか一項に記載のハンドパペットマニピュレーションシステム。
【請求項２１】
モーションキャプチャモジュールと、変異を基に制御信号を演算する逆演算モジュールと、第２のハンドパペットの中に装着され、前記モーションキャプチャモジュールと電気的に接続されたパペット操作装置と、を備えるハンドパペットマニピュレーションシステムにおいて、
前記モーションキャプチャモジュールは、
人の手により制御される第１のハンドパペットの複数の画像をキャプチャする撮影装置と、
前記画像の前記第１のハンドパペットの頭部と両手との間の複数の相対位置を検出することが可能な位置決めモジュールと、
前記相対位置を基に指の変異を演算する移動平均演算モジュールと、を含み、
前記パペット操作装置は、
前記第２のハンドパペットの胴体と接続され、ベースに対して前記胴体を回転させ、前記ベース上に配置された身体制御機構と、
前記身体制御機構に配置され、前記第２のハンドパペットの頭部に接続され、前記制御信号を基に制御して前記胴体に対して前記頭部を曲げる頭部制御機構と、
前記第２のハンドパペットの左手と接続され、前記制御信号を基に前記胴体に対して前記左手を回転させる左手制御機構と、
前記第２のハンドパペットの右手と接続され、前記制御信号を基に前記胴体に対して前記右手を回転させる右手制御機構と、を含み、
前記左手制御機構および前記右手制御機構は、前記身体制御機構にそれぞれ配置され、前記頭部制御機構の両側にそれぞれ配置されるハンドパペットマニピュレーションシステム。
【請求項２２】
前記相対位置は、各前記画像それぞれの親指、人差し指、中指の間の相対位置である請求項２１に記載のハンドパペットマニピュレーションシステム。
【請求項２３】
変換モジュールは、前記親指の屈曲角度を少なくとも１つの左手制御信号に変換し、前記中指の屈曲角度を少なくとも１つの右手制御信号に変換し、前記人差し指の屈曲角度を頭部制御信号に変換する請求項２２に記載のハンドパペットマニピュレーションシステム。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【公開番号】特開２０１０−８９２４８（Ｐ２０１０−８９２４８Ａ）
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願番号】特願２００９−２７００７（Ｐ２００９−２７００７）
【出願日】平成２１年２月９日（２００９．２．９）
【出願人】（５０３０７７１０９）国立交通大学 (34)
【Ｆターム（参考）】
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願日】平成２１年２月９日（２００９．２．９）
【出願人】（５０３０７７１０９）国立交通大学 (34)
【Ｆターム（参考）】
[ Back to top ]