情報処理装置、制御方法およびプログラム
【課題】曲げ操作入力の利便性をさらに向上させることが可能な情報処理装置、制御方法およびプログラムを提供する。
【解決手段】可撓性を有する表示面と、前記表示面の撓みを検知する撓み検知部と、前記撓み検知部により検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力する制御部と、を備える情報処理装置。
【解決手段】可撓性を有する表示面と、前記表示面の撓みを検知する撓み検知部と、前記撓み検知部により検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力する制御部と、を備える情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、制御方法およびプログラムに関する。
【背景技術】
【0002】
ユーザ操作の入力は、キーボードやマウス等の入力デバイスを用いる方法や、ペン、タッチ・スクリーン、ボタン、およびジョクダイアル式のコントローラを用いる方法が知られている。しかし、キーボードやマウス等の入力デバイスは、携帯性が悪く、モバイル機器に向いていない。また、タッチ・スクリーン等を用いた方法では、強くタッチしてもデバイスの形状が変わることはなく、タッチの強さがどの程度入力操作に反映されるのか直感的に感じることはできなかった。
【0003】
これに対し、近年では、可撓性を有する薄くて軽量の電子ディスプレイ(フレキシブルディスプレイ)およびフレキシブルタッチパネルが提案されている。
【0004】
例えば、下記特許文献1では、フレキシブルディスプレイに関する発明が記載されている。また、下記特許文献2では、装置本体を物理的に曲げたり、歪ませたりすることによって、ユーザ操作を入力することが可能なインタフェースが提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007−52129号公報
【特許文献2】特開2010−157060号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、上記特許文献2では、表示装置本体の曲げ位置と、圧力に応じて表示内容の切り替えを行っているが、曲げ状態(撓み)の時間的な変化に応じた操作入力については何ら言及されていない。
【0007】
そこで、本開示では、撓み変化を操作入力として認識することで曲げ操作入力の利便性をさらに向上させることが可能な、新規かつ改良された情報処理装置、制御方法およびプログラムを提案する。
【課題を解決するための手段】
【0008】
本開示によれば、可撓性を有する表示面と、前記表示面の撓みを検知する撓み検知部と、前記撓み検知部により検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力する制御部と、を備える情報処理装置が提供される。
【0009】
また、本開示によれば、可撓性を有する表示面の撓みを検知するステップと、前記撓みを検知するステップにより検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力するよう制御するステップと、を含む制御方法が提供される。
【0010】
また、本開示によれば、可撓性を有する表示面の撓みを検知する処理と、前記撓みを検知する処理により検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力するよう制御する処理と、をコンピュータに実行させるプログラムが提供される。
【発明の効果】
【0011】
以上説明したように本開示によれば、曲げ操作入力の利便性をさらに向上させることが可能となる。
【図面の簡単な説明】
【0012】
【図1】本開示の実施形態による情報処理装置の外観図である。
【図2】本開示の実施形態による情報処理装置のハードウェア構成の一例を示す図である。
【図3】本開示の実施形態による曲率センサの配置の一例を説明するための図である。
【図4】本開示の実施形態による情報処理装置の機能構成を説明するための機能ブロック図である。
【図5】第1の実施形態による操作例1の基本動作を説明するための図である。
【図6】第1の実施形態による操作例1の動作処理を示すフローチャートである。
【図7】第1の実施形態による操作例1における自動整列コマンドを説明するための図である。
【図8】第1の実施形態による操作例1における張り方向に応じた自動整列コマンドを説明するための図である。
【図9】第1の実施形態による操作例2の基本動作を説明するための図である。
【図10】第1の実施形態による操作例2の動作処理を示すフローチャートである。
【図11】第1の実施形態による操作例2におけるノイズ除去コマンドを説明するための図である。
【図12】第1の実施形態による操作例2における払う操作に応じた文章要約コマンドを説明するための図である。
【図13】第1の実施形態による操作例2におけるデータ転送コマンドを説明するための図である。
【図14】第1の実施形態の変形例におけるデータ転送コマンドを説明するための図である。
【図15】第2の実施形態による情報処理装置において、フレキシブルディスプレイの上辺に設けられた曲率センサ、および下辺に設けられた曲率センサから検知された曲げ量を含む信号系列を示す図である。
【図16】第2の実施形態による曲がり中心線の認識について説明するための図である。
【図17】第2の実施形態による表示制御例1において、曲がり中心線に応じたリスト項目拡大表示制御を説明するための図である。
【図18】第2の実施形態による表示制御例1において、曲がり中心線の角度に応じて曲げ操作入力を棄却することを説明するための図である。
【図19】第2の実施形態による表示制御例1において、曲がり中心線に応じた文章拡大表示制御を説明するための図である。
【図20】第2の実施形態による表示制御例1において、曲がり中心線の変化に応じた動的な拡大表示制御を説明するための図である。
【図21】第2の実施形態による表示制御例2において、曲がり中心線に沿ってアイコンを整列させる制御を説明するための図である。
【図22】第2の実施形態による表示制御例3によるブックマーク表示制御を説明するための図である。
【図23】第2の実施形態による表示制御例3によるページめくり表示制御を説明するための図である。
【図24】第2の実施形態による表示制御例4による持ち状態に応じた表示制御を説明するための図である。
【図25】第2の実施形態による表示制御例5による表示反転制御を説明するための図である。
【図26】第3の実施形態による丸め状態を説明するための図である。
【図27】第3の実施形態による情報処理装置において、各曲率センサから検知される曲げ量を示す図である。
【図28】第3の実施形態による情報処理装置において、各曲率センサから検知される曲げ量の分散を説明するための図である。
【図29】第3の実施形態による動作処理の一例を示すフローチャートである。
【図30】第3の実施形態による制御部115が、丸め操作入力に応じて実行する機能を説明するための図である。
【図31】第3の実施形態による制御部115が丸め状態に応じてタッチ操作検知機能をOFFすることを説明するための図である。
【図32】本開示の実施形態による表示制御の他の例を説明するための図である。
【図33】本開示の実施形態による表示制御の他の例を説明するための図である。
【発明を実施するための形態】
【0013】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0014】
なお、説明は以下の順序で行うものとする。
1.本開示による情報処理装置の概要
2.各実施形態
2−1.第1の実施形態
2−2.第2の実施形態
2−3.第3の実施形態
3.まとめ
【0015】
<1.本開示による情報処理装置の概要>
まず、本開示による情報処理装置の概要について図1を参照して説明する。図1は、本開示による情報処理装置10の外観図である。図1に示すように、本開示による情報処理装置10は、やわらかい素材により構成され、一部または全体に可撓性を有するフレキシブルデバイスである。この結果、ユーザは、情報処理装置10を全体的に湾曲させたり、局所的に折ったり、また、丸めたりすることができる。なお、図1では、一例として情報処理装置10を左右方向から湾曲させている。
【0016】
また、本開示による情報処理装置10は、曲率センサ(曲げセンサ)20を内蔵する。曲率センサ20は、一方向の曲がり(撓み)を検出することができる曲率センサ20a、20bを張り合わせた構造を有し、これにより曲率(曲がり量)を−R〜Rまで検出できる。以下、本開示による情報処理装置の構成について図面を用いて詳述する。
【0017】
[1−1.ハードウェア構成]
図2は、本開示による情報処理装置10のハードウェア構成の一例を示す図である。図1に示すように、情報処理装置10は、RAM(Random Access Memory)11、不揮発性メモリ13、フレキシブルディスプレイ15、CPU(Central Processing Unit)17、通信部19、および曲率センサ20を含む。CPU17、RAM11、不揮発性メモリ13および通信部19は、可撓性を有する素材により形成され情報処理装置10に内蔵されてもよいし、情報処理装置10の剛性感のある本体部(不図示)に内蔵されてもよい。
【0018】
CPU17は、演算処理部および制御部として機能し、各種プログラムに従って情報処理装置10の動作全般を制御する。また、CPU17は、マイクロプロセッサであってもよい。
【0019】
RAM11は、CPU17の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。不揮発性メモリ13は、CPU17が使用するプログラムや演算パラメータ等を記憶する。
【0020】
通信部19は、他の通信装置やサーバと情報の送受信を行う通信デバイスである。通信部19は、例えばWi−Fi、Bluetoothなどの近距離/近接無線通信を行う。
【0021】
フレキシブルディスプレイ15は、やわらかい素材で形成され、全体に可撓性を有する表示デバイス(表示面)である。また、フレキシブルディスプレイ15は、CPU17により制御され、画面表示を行う。
【0022】
曲率センサ20は、情報処理装置10(フレキシブルディスプレイ15)が物理的に曲げられた場合の曲率(曲がり量)を−R〜Rまで検出できるセンサである。また、曲率センサ20は、例えば抵抗値を曲率として出力する。
【0023】
さらに、本開示による曲率センサ20は、フレキシブルディスプレイ15(表示面)に積層され設けられるが、より具体的には、フレキシブルディスプレイ15の各辺に1つずつ、または各辺に複数配置されてもよい。以下、図3を参照して曲率センサ20の配置について説明する。
【0024】
(曲率センサ20の配置)
図3は、本開示による曲率センサ20の配置の一例を説明するための図である。図3に示すように、曲率センサ20は、フレキシブルディスプレイ15に各辺に沿って複数配列されている。具体的には、図3に示すように、フレキシブルディスプレイ15の上辺(top)に曲率センサ20t(20t0〜20t5)が配列され、下辺(bottom)に曲率センサ20b(20b0〜20b5)が配列される。また、フレキシブルディスプレイ15の左辺(left)に曲率センサ20l(20l0〜20l5)が配列され、右辺(right)に、曲率センサ20r(20r0〜20r5)が配列される。
【0025】
このように、本開示による情報処理装置10では、フレキシブルディスプレイ15の四辺に複数の曲率センサ20がそれぞれ配列される。これにより、情報処理装置10は、曲率センサ20から検出された各曲率に基づいて、フレキシブルディスプレイ15の曲がり位置(xy方向)を認識することができる。
【0026】
以上、本開示による情報処理装置10のハードウェア構成について詳細に説明した。続いて、上記ハードウェア構成により実現される情報処理装置10の機能について説明する。
【0027】
[1−2.機能構成]
図4は、本開示による情報処理装置10の機能構成を説明するための機能ブロック図である。図4に示すように、情報処理装置10は、認識部110、および制御部115を有している。認識部110は、曲率センサ20から出力された曲率(曲がり量/撓み量)に基づいて、フレキシブルディスプレイ15の曲がり形状や状態を認識する。具体的には、認識部110は、曲率の時間的変化(周期的変化)を操作入力として認識する。また、認識部110は、複数の曲率から曲がり中心線(折り山、折り中心線)を認識する。また、認識部110は、曲率に基づいてフレキシブルディスプレイ15が丸められた状態であるか否かを認識する。そして、認識部110は、認識結果を制御部115に出力する。
【0028】
制御部115は、認識部110の認識結果に応じて、対応する処理コマンドを出力する。具体的には、制御部115は、曲率の時間的変化に応じてフレキシブルディスプレイ15の表示内容を切り替えたり、所定のデータを送信したりする制御を行う。また、制御部115は、曲がり中心線に応じてフレキシブルディスプレイ15の表示内容を切り替える制御を行う。また、制御部115は、フレキシブルディスプレイ15が丸められた状態である場合に、所定の表示制御や所定のデータ変換制御を行う。
【0029】
以上、本開示による情報処理装置10の機能構成について説明した。なお、認識部110および制御部115の詳細については、次の<2.各実施形態>において説明する。
【0030】
<2.各実施形態>
[2−1.第1の実施形態]
(概要)
ユーザ操作の入力方法は、上述したキーボードやマウス等の入力デバイスを用いる方法の他、加速度センサを用いたジェスチャーインターフェースも知られている。しかし、ジェスチャーインターフェースでは、上下左右どちらに振ったかの4方向のみしか認識されず、操作方法に制限があった。これに対し、可撓性を有するフレキシブルデバイスは360度どの方向にも自由に撓ませる(曲げる)ことができるので、撓み状態を認識することができれば、操作性の自由度が飛躍的に向上する。
【0031】
また、上記特許文献2は、表示装置本体を物理的に歪ませた場合、XY方向における位置とZ方向における圧力を検知することにより表示内容の切り替えを行っているが、曲げ変化に応じた操作入力については何ら言及されていない。
【0032】
そこで、本開示による第1の実施形態によれば、情報処理装置10−1の物理的な撓み状態の時間変化を操作入力として認識し、対応する処理コマンドを出力することにより、装置を曲げることによる操作入力の利便性を向上させることが可能となる。
【0033】
以下、本実施形態による撓みの変化を利用した操作入力について、複数の操作例を挙げて具体的に説明する。なお、本実施形態による情報処理装置10−1のハードウェア構成および機能構成は、「1−1.ハードウェア構成」および「1−2.機能構成」で上述した通りである。
【0034】
(操作例1)
まず、第1の実施形態による撓みの変化を利用した操作入力の操作例1について、図5〜図8を参照して説明する。
【0035】
図5は、第1の実施形態による操作例1の基本動作を説明するための図である。図5に示すように、操作例1では、情報処理装置10−1(フレキシブルディスプレイ15)を撓み状態から張り状態に急激に変化させる動作を操作入力として認識する。
【0036】
フレキシブルディスプレイ15の撓み/張り状態の認識は、認識部110(図4参照)により、曲率センサ20から検出される曲率に基づいて行われる。以下、撓み状態および張り状態の定義について、順次説明する。
【0037】
図3を参照して上述したように、フレキシブルディスプレイ15の四辺には、複数の曲率センサ20が設けられている。なお、図3では、各辺に6個、計24個の曲率センサ20を設ける構成について説明したが、曲率センサ20の個数はこれに限定されず、例えば各辺に1個、計4個の曲率センサであってもよい。本実施形態では、計N個の曲率センサ20が設けられた場合を例として説明する。
【0038】
本実施形態ではN個の曲率センサ20を有し、各曲率センサ20からそれぞれ曲率r1,r2,・・・rNを、以下の範囲で検出できる。
【0039】
【数1】
【0040】
このとき、情報処理装置10−1(フレキシブルディスプレイ15)全体の曲率rは、例えば下記に示すように、各曲率センサ20から検出された値の平均値として定義する。
【0041】
【数2】
【0042】
そして、情報処理装置10−1全体の曲率rが、下記式1に示す閾値に対して、下記式2または式3の範囲である場合を、撓み状態と定義する。
【0043】
【数3】
・・・式1
【0044】
【数4】
・・・式2
【0045】
【数5】
・・・式3
【0046】
以上、撓み状態の定義について説明した。一方、張り状態の定義は、撓み状態でない場合とする。具体的には、情報処理装置10−1全体の曲率rが下記式4の範囲の場合、張り状態としてもよい。
【0047】
【数6】
・・・式4
【0048】
以上説明した撓み/張り状態の定義にしたがって、認識部110は、情報処理装置10−1(フレキシブルディスプレイ15)の状態を判断することができる。さらに、認識部110は、撓み状態から張り状態に変化した際の速度が所定の速度以上である場合、操作入力として認識する。なお、情報処理装置10−1が加速度センサを有する場合、認識部110は、撓み状態から張り状態に変化した際に検出された加速度が所定の加速度以上(急激な変化)である場合、操作入力として認識してもよい。
【0049】
次に、上述した操作例1の動作処理について図6を参照して説明する。図6は、第1の実施形態による操作例1の動作処理を示すフローチャートである。図6に示すように、まず、ステップS103において、認識部110は、曲率センサ20から検出された曲率rに基づいて、情報処理装置10−1(フレキシブルディスプレイ15)が撓み状態であることを認識する。
【0050】
次に、ステップS106において、認識部110は、曲率センサ20から検出された曲率rに基づいて、情報処理装置10−1が張り状態であることを認識する。
【0051】
次いで、ステップ109において、認識部110は、撓み状態から張り状態に変化した際の速度が急激な変化であったか否かを判断する。
【0052】
次に、ステップS112において、撓み状態から張り状態への変化が急激な変化であったか否かを判断する。急激な変換であったか否かは、上述したように、例えば変化の速度が所定の速度以上であるか否かにより判断することができる。そして、認識部110は、撓み状態から張り状態への変化が急激な変化であった場合は、かかる変化を操作入力として認識し、認識結果を制御部115に出力する。
【0053】
次いで、ステップS112において、制御部115は、認識部110の認識結果に応じて、撓み状態から張り状態への急激な変化による操作入力に対応する処理コマンドを出力する。そして、ステップS115において、張り状態の情報処理装置10−1において、出力した処理コマンドが実行される。
【0054】
以上、操作例1の動作処理について詳細に説明した。上記ステップS112で制御部115が出力する処理コマンドは特に限定されないが、例えば撓み状態から張り状態に急激に変化させるという動作と直感的に関連するとユーザに感じさせる処理コマンドであってもよい。撓み状態から張り状態に急激に変化させる動作は、ユーザにとって「新聞を広げて整える」といった操作感覚と同様である。そこで、このような操作感覚に基づいて、表示内容を整える処理コマンドを実行することで、直感的な操作入力を実現することができる。以下、図7および図8を参照して具体的に説明する。
【0055】
図7は、第1の実施形態による操作例1における自動整列コマンドを説明するための図である。図7上に示すように、フレキシブルディスプレイ15にアイコン31が不規則に表示されている場合、フレキシブルディスプレイ15を撓み状態から張り状態に急激に変化させる操作入力を行うと、制御部115は自動整列コマンドを出力する。そして、図7下に示すように、アイコン31が縦方向および横方向に自動整列される。
【0056】
また、本実施形態による情報処理装置10−1は、張り方向に応じた自動整列を実現してもよい。図8は、第1の実施形態による操作例1における張り方向に応じた自動整列コマンドを説明するための図である。図8に示すように、制御部115は、認識部110によりフレキシブルディスプレイ15が横方向に張られたと認識された場合、横方向にアイコン31を整列させる処理コマンドを出力する。
【0057】
認識部110による張り方向の判断は、例えば、フレキシブルディスプレイ15の上辺の曲率rt、下辺の曲率rb、左辺の曲率rl、および右辺の曲率rrをそれぞれ抽出し、その中で最も低い2つの曲率を選択することで判断できる。図8に示す例では、左辺の曲率rl、および右辺の曲率rrを最も低い2つの曲率として選択できるので、認識部110は、フレキシブルディスプレイ15が横方向に張られたと判断することができる。そして、認識部110は、横方向に急激に張る操作入力として認識し、認識結果を制御部115に出力する。
【0058】
以上説明したように、第1の実施形態の操作例1によれば、メニューからアイコンの整列コマンドを選択する必要なく、フレキシブルディスプレイを物理的に撓ませた状態から急激に張ることにより、直感的にアイコンの自動整列を実現することができる。
【0059】
(操作例2)
次に、第1の実施形態による撓みの変化を利用した操作入力の操作例2について、図9〜図14を参照して説明する。
【0060】
図9は、第1の実施形態による操作例2の基本動作を説明するための図である。図9に示すように、操作例2では、情報処理装置10−1(フレキシブルディスプレイ15)の上端を把持して前後に動かすことで情報処理装置10−1を撓ませる動作、すなわち払う動作を操作入力として認識する。
【0061】
払う動作の認識は、認識部110(図4参照)により、曲率センサ20から検出される曲率に基づいて行われる。具体的には、認識部110は、情報処理装置10−1全体の曲率rの時間変化r(t)が周期的であった場合、払う動作による操作入力と認識する。
【0062】
曲率の時間変化が周期的であるか否かを判定する方法は、例えば曲率の時間変化r(t)とサイン関数sin(t)との相互相関値をフーリエ変換により求め、求めた相互相関値が所定の閾値以上であるか否かにより判定する方法であってもよい。
【0063】
なお、認識部110は、払う動作による操作入力の認識条件を追加することで、払う操作の認識精度を上げることができる。また、このように払う操作の認識制度を上げることで、対応する処理コマンドも細かく設定することができ、より直感的な操作入力を実現することができる。
【0064】
追加する認識条件は、例えば、ユーザが情報処理装置10−1(フレキシブルディスプレイ15)の1点を保持していることであってもよい。具体的には、情報処理装置10−1がタッチパネルを有する構成において、タッチパネルによりユーザが保持している位置が検出される。そして、認識部110は、1箇所のみ保持されている際に払う動作が行われた場合、操作入力として認識する。
【0065】
また、さらに厳しい認識条件として、ユーザが情報処理装置10−1(フレキシブルディスプレイ15)の上端のみを保持していることとしてもよい。具体的には、情報処理装置10−1がタッチパネルに加えて、3軸加速度センサを有する構成において、3軸加速度センサにより情報処理装置10−1が重力方向に対してどのような向きになっているかも検出される。そして、認識部110は、情報処理装置10−1の向き、およびユーザに保持されている位置に基づいて、情報処理装置10−1の上端のみが保持されている状態において払う動作が行われたと判定できる場合、操作入力として認識する。
【0066】
次に、上述した操作例2の動作処理について図10を参照して説明する。図10は、第1の実施形態による操作例2の動作処理を示すフローチャートである。図10に示すように、まず、ステップS123において、認識部110は、曲率rの時間変化r(t)と、サイン関数sin(t)の相互相関値を算出する。
【0067】
次いで、ステップS126において、認識部110は、算出した相互相関値が所定の閾値以上であるか否かを判定する。相互相関値が所定の閾値以上であった場合、曲率の時間変化は周期的であると判定し、認識部110は、払う動作による操作入力として認識する旨を、認識結果として制御部115に出力する。
【0068】
そして、ステップS129において、制御部115は、認識部110の認識結果に応じて、払う動作による操作入力に対応する処理コマンドを出力する。
【0069】
以上、操作例2の動作処理について詳細に説明した。上記ステップS129で制御部115が出力する処理コマンドは特に限定されないが、例えば払う動作と直感的に関連するとユーザに感じさせる処理コマンドであってもよい。払う動作は、ユーザにとって「紙面上のごみを払い落とす」といった操作感覚と同様である。そこで、このような操作感覚に基づいて、ノイズを除去する処理コマンドを実行することで、直感的な操作入力を実現することができる。以下、図11および図12を参照して具体例を説明する。
【0070】
図11は、第1の実施形態による操作例2におけるノイズ除去コマンドを説明するための図である。図11左に示すように、ノイズを含む画像33が表示されている場合、情報処理装置10−1を払う操作入力を行うと、制御部115はノイズ除去コマンドを出力する。そして、図11右に示すように、ノイズ除去処理後の画像34と、ノイズ35が表示され、ノイズ35は下に落ちるように表示制御される。
【0071】
また、本実施形態による情報処理装置10−1は、文章の余分な部分をノイズとみなし、払う操作に応じて文章を要約する処理を実現してもよい。文章の余分な部分とは、例えば文章を文節に区切った場合に、主述の関係にある文節以外を余分な部分としてもよいし、文章が主節と接続節から成る場合は接続節を余分な部分とみなしてもよい。また、正式名称と略称が併記されている場合は正式名称を余分な部分とみなしてもよい。
【0072】
図12は、第1の実施形態による操作例2における払う操作に応じた文章要約コマンドを説明するための図である。図12左に示すように、文章37が表示されている場合、情報処理装置10−1を払う操作入力を行うと、制御部115は文章37の余分な部分をノイズとみなし、ノイズを除去して文章を要約するコマンドを出力する。
【0073】
そして、図12右に示すように、要約処理後の文章38と、余分な部分とみなされて文章37から削除されたノイズ39が表示され、ノイズ39は下に落ちるように表示制御される。
【0074】
以上、ノイズを除去する処理コマンドを実行する場合について具体的に説明した。なお、本実施形態による情報処理装置10−1は、さらに払う操作の継続時間、または払う操作の繰り返し回数に応じて、ノイズ除去の強度を変化させることもできる。
【0075】
また、払う操作は、ユーザにとって「中に入っている物を落とす」といった操作感覚とも同様である。よって、このような操作感覚に基づいて、データ転送コマンドを実行し、直感的な操作入力を実現してもよい。以下、図13を参照して具体的に説明する。
【0076】
図13は、第1の実施形態による操作例2におけるデータ転送コマンドを説明するための図である。図13左に示すように、画像41が表示されている場合に情報処理装置10−1を払う操作入力を行うと、制御部115は、近接する通信装置40に画像41を転送するコマンドを出力する。
【0077】
次に、図13中央に示すように、情報処理装置10−1のフレキシブルディスプレイ15において写真画像41が下に落ちるよう表示され、同時に、通信部19は画像41を通信装置40に送信する。そして、通信部19による送信が完了した場合、図13右に示すように、情報処理装置10−1のフレキシブルディスプレイ15では画像41を非表示とすることで、ユーザに転送完了を明示することができる。
【0078】
以上説明したように、第1の実施形態の操作例2によれば、メニューからノイズ除去のコマンドを選択する必要なく、フレキシブルディスプレイを物理的に払うことにより、直感的に画像や文章のノイズ除去を実現することができる。また、第1の実施形態の操作例2によれば、メニューからデータ転送のコマンドを選択する必要なく、フレキシブルディスプレイを物理的に払うことにより、直感的にデータ転送を実現することができる。
【0079】
なお、上述した操作例1では、撓み状態から張り状態への急激な変化を操作入力として認識する例について説明したが、本実施形態による操作例はこれに限定されない。例えば、張り状態から撓み状態への急激な変化を操作入力として認識してもよい。さらに、張り状態から撓み状態への急激な変化による操作入力に対応する処理コマンドとしてデータ転送を行ってもよい。以下、図14を参照して具体的に説明する。
【0080】
図14は、第1の実施形態の変形例におけるデータ転送コマンドを説明するための図である。図14上に示すように、情報処理装置10−1が張り状態であって、フレキシブルディスプレイ15に画像41が表示されている場合に、ユーザは、図14下に示すように情報処理装置10−1を通信端末40側に急激に撓ませる操作入力を行ってもよい。これにより、制御部115は、近接する通信装置40に画像41を転送するコマンドを出力し、通信部19は画像41を通信装置40に送信する。また、通信部19による送信が完了した場合、図14下に示すように、フレキシブルディスプレイ15において画像41を非表示とすることで、ユーザに転送完了を明示することができる。
【0081】
上述したように、本開示の第1の実施形態によれば、情報処理装置10−1が物理的に撓む場合における、撓みの時間変化を操作入力として認識し、対応する処理コマンドを出力することにより、装置を曲げることによる操作入力の利便性を向上させることが可能となる。また、撓みの変化と直感的に関連するとユーザに感じさせる処理コマンドを出力することにより、直感的な操作入力を実現することができる。
【0082】
[2−2.第2の実施形態]
(概要)
次に、本開示による第2の実施形態について説明する。上述したように、可撓性を有するフレキシブルデバイスを物理的に曲げることによる操作入力を実現する際、圧力センサ等によりZ方向への入力操作(曲げ量)を検出し、位置センサ等によりXY方向の入力位置(曲げ位置)を検出する(特許文献2参照)。しかしながら、このように複数種類の特殊なセンサ(検知部)を有する構造はコストがかかる。また、通常用いられる位置センサでは、局所的な位置を認識するのみで、線状の折り位置(曲げ位置)などを把握することは困難であった。
【0083】
さらに、圧力センサ、歪みセンサなどのZ方向への入力操作を検出するセンサは、通常、1つのセンサから1つの曲がり(撓み)量が出力されるのみであって、撓み位置の検出を行うことは困難である。
【0084】
そこで、本開示による第2の実施形態によれば、撓み検知部(曲率センサ)を複数配置することにより、複数の撓み検知部の各検知結果に基づいて、撓み量(曲げ量)および撓み位置(曲げ位置)を認識し、さらに撓み状態(曲げ状態)を認識することができる。そして、本開示による第2の実施形態は、このように認識した曲げ状態を操作入力として認識し、対応する処理コマンドを出力する。
【0085】
以上、本開示による第2の実施形態の概要について説明した。なお、本実施形態に係る曲げ状態による操作入力を実現する情報処理装置10−2のハードウェア構成および機能構成は、上述した通りである。続いて、本実施形態における複数の撓み検知部20を利用した曲げ状態の認識について説明する。
【0086】
(曲げ状態の認識)
第2の実施形態による認識部110(図4参照)は、複数の曲率センサ20から検出される曲率(以下、曲げ量とも称す)に基づいて、曲げ状態を認識する。複数の曲率センサ20は、図3に示したように、フレキシブルディスプレイ15の上辺アレイ上に複数の曲率センサ20t、下辺アレイ上に複数の曲率センサ20b、左辺アレイ上に複数の曲率センサ20l、および右辺アレイ上に複数の曲率センサ20rが配列される。
【0087】
このような構成において、本実施形態による認識部110は、複数の曲率センサ20から出力された各検知結果に基づいて、情報処理装置10−2の曲げ状態を認識する。より具体的には、例えば認識部110は、複数の曲率センサ20から出力された各検知結果を含む信号系列と、実際の曲率センサ20の物理的な配置とを照らし合わせる。これにより、認識部110は、情報処理装置10−2が各位置でどの程度の曲げ量を有しているかを測定でき、その結果、状態処理装置10−2の曲げ状態を認識することができる。また、認識部110は、上記信号系列のデータ補間を行うことで、曲げ状態の認識精度を上げることができる。
【0088】
また、本実施形態による認識部110は、各アレイ上のセンサ(曲率センサ20t、20b、20l、20r)の信号系列において、曲げ中心点を推定し、正対する辺の曲げ中心点を結ぶ線を曲がり中心線と認識してもよい。または、認識部110は、1辺の曲げ中心点から正対する辺に垂直に伸ばした線を曲がり中心線としてもよい。以下、図15および図16を参照して、正対する辺の曲げ中心点を結ぶ線を曲がり中心線と認識する場合について詳細に説明する。
【0089】
図15は、第2の実施形態による情報処理装置10−2において、フレキシブルディスプレイ15の上辺に設けられた曲率センサ20t、および下辺に設けられた曲率センサ20bから検知された曲げ量を含む信号系列を示す図である。なお、ここでは、図1に示すように、ユーザがフレキシブルディスプレイ15の左右をそれぞれ手で保持し、各持ち手を中央に向けて移動させてフレキシブルディスプレイ15を物理的に曲げた状態を前提とする。よって、曲げ量がほぼ0に近い左辺の曲率センサ20l、および右辺の曲率センサ20rによる各検知結果(曲げ量)の図示は省略する。
【0090】
認識部110は、各曲率センサ20からの曲げ量に基づいて、まず各辺における曲げ中心点を求める。具体的には、図15上に示すように、上辺に配列される曲率センサ20t0〜tNのうち、最大2つの曲げ量Rt2、Rt3を抽出し、さらにかかる最大値に隣接する曲げ量Rt1、Rt4から、中心点の位置t’およびその曲げ量Rt’を推定する。また、図15下に示すように、下辺に配列される曲率センサ20bも同様に、曲率センサ20b0〜bNのうち、最大2つの曲げ量Rb1、Rb2を抽出し、さらにかかる最大値に隣接する曲げ量Rb0、Rb3から、中心点の位置b’およびその曲げ量Rb’を推定する。
【0091】
図16は、第2の実施形態による曲がり中心線の認識について説明するための図である。図16に示すように、認識部110は、情報処理装置10−2の上辺の曲げ中心位置座標(t’/tN,1.0)、および下辺の曲げ中心位置座標(b’/bN,0.0)を結ぶ線を、曲がり中心線25と認識する。また、図16では、曲げ中心位置座標における曲げ量Rt’、Rb’も併せて示す。
【0092】
なお、上記図15および図16では、曲げ中心点を推定した上で、正対する辺の曲げ中心点を結ぶ線を曲がり中心線と認識しているが、本実施形態による曲がり中心線の認識はこれに限定されない。例えば、認識部110は、各曲率センサ20の曲げ量から、物理的に湾曲された情報処理装置10−2の立体形状を推定して、曲がり中心線を認識してもよい。
【0093】
以上、本実施形態による曲げ状態の認識について具体的に説明した。このように認識部110により認識された曲げ状態に基づいて、本実施形態による制御部115は、対応する処理コマンドを出力する。制御部115が出力する処理コマンドは特に限定されないが、例えばユーザによる曲げ動作と直感的に関連するとユーザに感じさせる処理コマンドであってもよい。
【0094】
例えば、情報処理装置10−2を正対する方向から湾曲させる動作は、湾曲した部分をフォーカスするといった感覚と同様である。そこで、このような操作感覚に基づいて、拡大表示制御を実行することで、直感的な操作入力を実現することができる。
【0095】
また、情報処理装置10−2を折り曲げる動作は、例えばブックマークをするといった感覚や、ページをめくる感覚と同様であるので、このような操作感覚に応じてブックマーク機能の実行や次ページ表示制御を行い、直感的な操作入力を実現することができる。
【0096】
このように、曲げ状態と対応処理コマンドの組み合わせは様々考え得る。以下、本実施形態の制御部115による曲げ状態に応じた制御について、複数の例を挙げて具体的に説明する。
【0097】
(表示制御例1)
第2の実施形態による表示制御例1では、制御部115が、認識部110により認識された曲がり中心線25に応じて表示内容を拡大/縮小する。以下、図17から図20を参照して具体的に説明する。
【0098】
・リスト項目の拡大/縮小表示制御
図17は、第2の実施形態による表示制御例1において、曲がり中心線25に応じたリスト項目拡大表示制御を説明するための図である。図17上に示すように、情報処理装置10−2を後ろから指で押し、横方向(略水平方向)に湾曲させた場合、左辺の曲がり中心位置l’および右辺の曲がり中心位置r’を結ぶ曲がり中心線25が認識部110により認識される。そして、認識部110は、各中心位置における曲げ量Rl’、Rr’が所定の閾値以上である場合、曲げ操作入力として認識し、対応する表示制御を実行する。例えば制御部115は、曲がり中心線25の位置に相当する表示部分を拡大表示する制御を行う。
【0099】
図17下に示す例では、フレキシブルディスプレイ15にリスト項目としてアルバム名A〜Eが表示されているので、制御部15は、曲がり中心線25の位置に相当するリスト項目である「ALBUM A」を拡大表示する。これにより、「ALBUM A」がフォーカスされていることを表現することができる。また、制御部115は、拡大した「ALBUM A」の領域51内に、リスト項目の内容を表示してもよい。例えば、リスト項目がアルバム名の場合、リスト項目の内容として、曲名を表示してもよい。
【0100】
また、制御部115は、拡大したリスト項目の領域内の情報量を、曲げ量R’に応じて制御してもよい。なお、曲げ量R’は、正対する辺の各曲がり中心位置の曲げ量R’(図17に示す例では、曲げ量Rl’、Rr’)の総和や平均値であってもよい。
【0101】
また、制御部115は、拡大表示したリスト項目周辺のリスト項目を、縮小(減衰)表示する制御を行ってもよい。
【0102】
また、制御部115は、曲がり中心線25の情報処理装置10−2に対する角度θによっては、曲げ操作入力を棄却してもよい。例えば、図18に示すように、情報処理装置10−2に対する曲がり中心線25の角度θ1が、閾値θth以上の場合、制御部115は、曲げ操作入力を棄却する。
【0103】
・文書の拡大/縮小表示制御
上記図17および図18では、リスト項目の拡大/縮小表示制御を例に挙げたが、表示制御例1による拡大/縮小表示制御は、リスト項目に限られない。例えば、文書を拡大/縮小表示制御してもよい。以下、図19を参照して文書の拡大/縮小表示制御について具体的に説明する。
【0104】
図19は、第2の実施形態による表示制御例1において、曲がり中心線25に応じた文章拡大表示制御を説明するための図である。図19上に示すように、情報処理装置10−2を左右方向から湾曲させると、上辺の曲がり中心位置t’および下辺の曲がり中心位置b’を結ぶ曲がり中心線25が認識部110により認識される。そして、認識部110は、各中心位置における曲げ量Rt’、Rb’が所定の閾値以上である場合、曲げ操作入力として認識し、対応する表示制御を実行する。例えば制御部115は、曲がり中心線25の位置に相当する表示部分を拡大表示する制御を行う。
【0105】
ここでは、図19下に示すように、フレキシブルディスプレイ15に文章が表示されるので、制御部15は、曲がり中心線25の位置に相当する行を拡大表示する。これにより、行53がフォーカスされていることを表現することができる。また、制御部115は、拡大した行53周辺の行について、縮小(減衰)表示制御を行ってもよい。
【0106】
このように、制御部115は、曲がり中心線25に近い行ほど大きく表示し(拡大表示制御)、その周辺は小さく表示する制御(減衰表示制御)を行ってもよい。なお、拡大率および縮小率(周辺減衰率)は、曲げ量R’(図19に示す例では、曲げ量Rt’、Rb’に基づいて求められる)に応じて変化させてもよい。
【0107】
・曲がり中心線の変化に応じたコンテンツ拡大/縮小表示制御
上記図17から図19では、曲がり中心線25の位置に相当する表示部分の拡大/縮小表示制御について具体的に説明した。本実施形態による制御部115は、上述したような曲がり中心線25に応じたコンテンツ拡大/縮小表示制御を、曲がり中心線25の変化に応じて動的に行ってもよい。ここでコンテンツ(オブジェクト)とは、アイコンおよびサムネイルリスト等に代表されるGUI(Graphical User Interface)のタイルグラフィック、一方向に並んでいるGUIリスト、文字情報などである。以下、図20を参照して動的なコンテンツ拡大/縮小表示制御について具体的に説明する。
【0108】
図20は、第2の実施形態による表示制御例1において、曲がり中心線25の変化に応じた動的な拡大表示制御を説明するための図である。図20左に示すように、情報処理装置10−2を左右方向から徐々に湾曲させると、曲がり中心線25の位置や、曲げ量R’(図20に示す例では、曲げ量Rt’、Rb’から求められる)が変化する。そして、認識部110は、曲がり中心線の位置や曲げ量Rの変化に応じて、フレキシブルディスプレイ15の表示内容を制御する。
【0109】
図20左に示す例では、情報処理装置10−2が左右方向から徐々に湾曲されることで、曲がり中心線25の曲げ量R’が徐々に大きくなる。かかる曲げ量R’の変化に応じて、制御部115は、図20右に示すように、曲がり中心線25に近いコンテンツ57を徐々に拡大表示する制御を行う。また、制御部115は、拡大したコンテンツ57周辺のコンテンツについては、縮小(減衰)表示制御を行ってもよい。
【0110】
このように、制御部115は、曲がり中心線25に近いコンテンツほど大きく表示し(拡大表示制御)、その周辺は小さく表示する制御(減衰表示制御)を行ってもよい。なお、拡大率および縮小率(周辺減衰率)は、曲げ量R’に応じて変化させてもよい。
【0111】
(表示制御例2)
次に、制御部115が、認識部110により認識された曲がり中心線25に沿ってアイコン31を整列させる表示制御例2について説明する。上記第1の実施形態において、撓み状態から張り状態に急激に変化した場合に、アイコン31を整列させる操作例1について図7および図8を参照して説明した。第2の実施形態による表示制御例2では、上記第1の実施形態による撓み状態から張り状態に急激に変化する操作入力と、本実施形態による曲げ操作入力を組み合わせる。以下、図21を参照して具体的に説明する。
【0112】
図21は、第2の実施形態による表示制御例2において、曲がり中心線25に沿ってアイコン31を整列させる制御を説明するための図である。図21上に示すように、ユーザは、アイコン31が不規則に表示されている情報処理装置10−2を左右方向から湾曲させて撓み状態にさせた後、図21下に示すように、急激に張り状態に変化させる。そして、本実施形態による認識部110は、撓み状態から張り状態に変化した際の速度が所定の速度以上である場合、操作入力として認識し、制御部115は、対応する処理コマンドを出力する。具体的には、図21下に示すように、制御部115は、張り状態に変化する前の撓み状態における曲がり中心線25(図21上参照)の位置に沿ってアイコン31を整列させる表示制御を行う。
【0113】
(表示制御例3)
上記表示制御例1および表示制御例2では、フレキシブルディスプレイ15が湾曲された場合に、曲がり中心線25を求め、対応する表示制御を行う場合について説明した。しかし、本実施形態による表示制御はこれに限定されず、例えばフレキシブルディスプレイ15の角部が折り曲げられた状態を認識し、対応する表示制御を行ってもよい。以下、第2の実施形態による表示制御例2において、角部が折り曲げられた場合の表示制御について説明する。
【0114】
図22は、第2の実施形態による表示制御例3によるブックマーク表示制御を説明するための図である。図22に示す例では、フレキシブルディスプレイ15に電子書籍が表示されているが、この他、WEBページや新聞など、ブックマーク機能が有効な表示内容であればよい。
【0115】
図22に示すように、ユーザがフレキシブルディスプレイ15の左上角を曲げると、認識部110により、各アレイ上の曲げ量ピーク位置が抽出される。例えば、図22に示すように、上辺において、曲げ量ピーク位置t’、左辺において曲げ量ピーク位置l’が抽出される。これにより、認識部110は、左上角部が折り曲げられと判断できる。さらに、認識部110は、各ピーク位置の曲げ量の総和が所定の値以上であるか否かを判断する。
【0116】
そして認識部110は、左上角部が折り曲げられ、さらに曲げ量Rt’、Rl’の総和が所定の値以上である場合、ユーザによる折り曲げ動作を操作入力として認識し、認識結果を制御部115に出力する。
【0117】
制御部115は、当該認識結果に応じて、フレキシブルディスプレイ15の左上角部にブックマークアイコン33を表示し、ユーザによる折り曲げ操作入力に対する視覚的フィードバックを行う。また、制御部115は、ブックマークしたページをRAM11などに記憶させる。
【0118】
以上、角部が折り曲げられた場合の表示制御の一例として、ブックマーク表示制御について説明した。なお、本実施形態による制御部115は、どの角部が折り曲げられたかによって異なる制御を行ってもよい。以下、図23を参照して、図22に示す例とは異なる角部が折り曲げられた場合の制御について説明する。
【0119】
図23は、第2の実施形態による表示制御例3によるページめくり表示制御を説明するための図である。図23に示す例では、フレキシブルディスプレイ15に円グラフや文書を含むグラフィックが表示されているが、この他、電子書籍、WEBページ、新聞など、ページめくりが有効な表示内容であればよい。
【0120】
図23に示すように、ユーザがフレキシブルディスプレイ15の右下角を曲げると、認識部110により、フレキシブルディスプレイ15の右辺において曲げ量ピーク位置r’、および下辺において曲げ量ピーク位置b’、が抽出される。これにより、認識部110は、右下角部が折り曲げられと判断できる。さらに、認識部110は、各ピーク位置の曲げ量の総和が所定の値以上であるか否かを判断する。
【0121】
そして認識部110は、右下角部が折り曲げられ、さらに曲げ量Rr’、Rb’の総和が所定の値以上である場合、ユーザによる折り曲げ動作を操作入力として認識し、認識結果を制御部115に出力する。
【0122】
制御部115は、当該認識結果に応じて、図23上に示すように、フレキシブルディスプレイ15のめくり領域67に次ページの表示内容を表示する。
【0123】
ここで、めくり領域67は、例えば右辺の曲げ量ピーク位置r’と、フレキシブルディスプレイ15の折り返された右下角の位置63とを結ぶ線分65に応じて設定してもよい。折り返された右下角の位置63は、右辺の曲げ量ピーク位置r’および下辺の曲げ量ピーク位置b’を利用して制御部115により求められる。
【0124】
したがって、フレキシブルディスプレイ15の右下角部をさらに折ると、図23下に示すように、線分65の位置が移動し、めくり領域67の領域が広がる。
【0125】
なお、めくり領域67の設定は上記例に限定されず、曲げ量ピーク位置r’、b’から推定される折り曲げ形状に応じて設定されてもよい。
【0126】
(表示制御例4)
上述した表示制御例1〜3では、フレキシブルディスプレイ15を正対する方向から湾曲させた場合や、角部を折り曲げた場合の曲げ状態を操作入力として認識し、対応する表示制御について説明した。しかし、本実施形態による認識部110は、上述した湾曲や折り曲げの認識に限定されず、その他様々な曲げ状態のパターンを認識することができる。
【0127】
例えば、本実施形態による認識部110は、ユーザがフレキシブルディスプレイ15の一端を手で把持した状態(持ち状態)を認識することもできる。以下、第2の実施形態による表示制御例4として、ユーザの持ち状態を認識し、対応する表示制御を行う場合について説明する。
【0128】
図24は、第2の実施形態による表示制御例4による持ち状態に応じた表示制御を説明するための図である。ユーザがフレキシブルディスプレイ15の一端を持ち、フレキシブルディスプレイ15が撓むと、認識部110は、各曲率センサ20から検知される曲げ量に基づいて、待ち位置を抽出する。
【0129】
待ち位置は、例えば全アレイ上の曲率センサ20のうち、最も高い曲げ量Rを検知した曲率センサ20が設けられている位置(曲げ量ピーク位置)と判断してもよい。図24に示す例では、フレキシブルディスプレイ15の下辺において、持ち位置b’が抽出される。
【0130】
また、認識部110は、持ち位置b’を含む下辺と正対する上辺の曲がり中心位置t’を抽出し、持ち位置b’と曲がり中心位置t’を結ぶ持ち折り線分55を求める。
【0131】
このように、認識部110は、複数の曲率センサ20からの各検知結果(曲げ量)に基づいて、持ち位置、および持ち位置に応じた持ち折り線分55を求めることで、持ち状態を操作入力として認識し、認識結果を制御部115に出力する。なお、認識部110は、持ち状態を操作入力として認識する条件に、上記曲げ量ピーク位置の曲げ量R’が所定の閾値以上である場合という条件を加えてもよい。
【0132】
そして、制御部115は、上記認識結果に基づいて、持ち折り線分55により2分割されるフレキシブルディスプレイ15の表示領域の割合に応じた制御を行う。例えば図24下の持ち状態A〜Bに示すように、分割割合に応じて、動画再生、コメント表示、プレイリスト表示などが表示される。
【0133】
より具体的には、フレキシブルディスプレイ15の左寄りに位置する持ち折り線分55Aで2分割された場合、制御部115は、図24下の持ち状態Aに示すように、狭い方の表示領域にはコメントを表示し、広い方の表示領域では動画再生を行うよう制御する。
【0134】
また、フレキシブルディスプレイ15の中央に位置する持ち折り線分55Bで2分割された場合、制御部115は、図24下の持ち状態Bに示すように、両表示領域に動画のプレイリストを表示するよう制御する。
【0135】
また、フレキシブルディスプレイ15の右寄りに位置する持ち折り線分55Cで2分割された場合、制御部115は、図24下の持ち状態Cに示すように、狭い方の表示領域で動画再生し、広い方の表示領域でコメントを表示するよう制御する。
【0136】
(表示制御例5)
以上説明した情報処理装置10−2では、装置の透過性については特に言及しなかったが、情報処理装置10−2が透過性を有する場合、裏から表の表示内容が透けて見えるが、表示内容は反転している。そこで、第2の実施形態による表示制御例5として、表示反転制御について、以下図25を参照して説明する。
【0137】
図25上に示すように、透過性を有する情報処理装置10−2のフレキシブルディスプレイ15に画像が表示されている場合に、図25中央右に示すように情報処理装置10−2の端を折り曲げると、裏から表の画像が透けて見えるが、内容は反転している。この場合、認識部110は、図25中央左に示すように、曲げ量ピーク位置t’、l’を結ぶ折り曲げ線分57を求め、操作入力として認識し、認識結果を制御部115に出力する。なお、認識部110は、操作入力として認識する条件に、各曲げ量ピーク位置の曲げ量の総和(図25に示す例では、曲げ量Rt’、Rl’の総和)が所定の閾値以上である場合という条件を加えてもよい。
【0138】
そして、制御部115は、上記認識結果に基づいて、折り曲げ線分57、上辺、および左辺に囲まれた折り返し領域71の表示内容の向きを、表側の表示内容の向きに合わせる制御を行う(反転制御)。これにより、図25下に示すように、フレキシブルディスプレイ15の折り返し領域71において透けて見える画像が、表の画像と同様の向きで表示される。
【0139】
また、情報処理装置10−2が透過性を有さず、両面にフレキシブルディスプレイ15を備える構造の場合も、制御部115は、折り曲げる操作入力に応じて表示内容の向きを制御することができる。より具体的には、両面にフレキシブルディスプレイ15を有する情報処理装置10−2を、図25に示すように折り曲げると、裏側のディスプレイが表から見えるが、その表示内容は横向きになってしまう。そこで、制御部115は、ユーザによる折り曲げる操作入力に応じて、裏面のディスプレイを制御し、表側から見える部分の表示内容の向きを変更する。
【0140】
以上説明したように、本開示の第2の実施形態によれば、曲率センサ20を情報処理装置10−2の各辺にそれぞれ複数配列することにより、曲げ量および曲がり位置を抽出でき、さらにこれらに基づいて情報処理装置10−2の曲げ状態を認識することができる。また、第2の実施形態によれば、このように認識した曲げ状態を操作入力として認識し、対応する処理コマンドを出力することができる。
【0141】
[2−3.第3の実施形態]
(概要)
次に、本開示による第3の実施形態について説明する。上述した第2の実施形態では、情報処理装置10の物理的な曲げ状態を操作入力として認識し、対応する処理コマンドを出力していたが、情報処理装置10が物理的に丸められた状態を操作入力として認識する点については特に言及されていない。
【0142】
そこで、第3の実施形態によれば、撓み検知部(曲率センサ)の検知結果に基づいて、図26に示すように表示面(フレキシブルディスプレイ15)が物理的に丸められた状態を操作入力として認識し、対応する処理コマンドを出力することができる。これにより、本開示による第3の実施形態は、表示面を物理的に丸めることによる操作入力を実現することができる。
【0143】
なお、本実施形態に係る丸めることによる操作入力を実現する情報処理装置10−3のハードウェア構成および機能構成は、「1−1.ハードウェア構成」および「1−2.機能構成」で上述した通りである。続いて、本実施形態の認識部110による丸め状態の認識について説明する。
【0144】
(丸め状態の認識)
第3の実施形態による認識部110(図4参照)は、情報処理装置10−3(フレキシブルディスプレイ15)の各辺に設けられた曲率センサ20から検知された曲げ量に基づいて、情報処理装置10−3が丸められた状態か否かを判断する。より具体的には、認識部110は、検知された曲げ量と、情報処理装置10−3を丸めて一周させた閉状態における、360度を示すような曲げ量を示す閾値とを比較することにより判断できる。
【0145】
例えば、曲率センサ20が図3に示したようにフレキシブルディスプレイ15の各アレイ上に複数配列され、ユーザにより情報処理装置10−3が丸められると、認識部110は、各アレイの複数の曲率センサ20から曲げ量を取得する。
【0146】
そして、認識部110は、アレイ毎に曲げ量Rを合計、すなわち、上辺の合計曲げ量sumR(t)、下辺の合計曲げ量sumR(b)、左辺の合計曲げ量sumR(l)、および右辺の合計曲げ量sumR(r)を求める。
【0147】
なお、情報処理装置10−3(フレキシブルディスプレイ15)の各辺に1個ずつ曲率センサ20が設けられている場合は、各曲率センサ20から検知された曲げ量をそれぞれsumRと定義してもよい。
【0148】
そして、認識部110は、このように求めたsumRのうち、上位2つの各sumRと、情報処理装置10−3を一周丸めた場合に想定される、360度を示すような1辺の合計曲げ量を示す閾値(以下、閾値v)とを比較することにより情報処理装置10−3の状態を判断する。
【0149】
例えば、図27に示す例では、sumR(t)およびsumR(b)が上位2つの合計曲げ量であるので、これらが上記閾値vを満たす場合、認識部110は、情報処理装置10−3が丸められた状態であると判断し、操作入力として認識する。そして、認識部110は認識結果を制御部115に出力し、制御部115は当該認識結果に基づいて、対応する処理コマンドを出力する。
【0150】
なお、ここでは閾値vを満たす場合に丸め操作入力と認識する旨を説明したが、本実施形態はこれに限定されない。例えば、情報処理装置10−3を二週丸めた場合に想定される720度を示すような合計曲げ量を示す閾値(以下、閾値w)を用いてもよい。認識部110は、各上位sumRが閾値wを満たす場合、二重丸め操作入力として認識する。これにより、情報処理装置10−3の丸め状態の認識精度を向上させることができ、また、対応する処理コマンドのバリエーションを広げることができる。
【0151】
また、図27を参照して上述した例では、上位2つの各sumRと、閾値vとを比較することにより情報処理装置10−3の丸め状態を判断したが、本実施形態はこれに限定されない。例えば、認識部110は、各アレイに配列される曲率センサ20の各曲げ量と、閾値oとを比較することにより、丸め状態を判断してもよい。閾値oは、情報処理装置10−3を一周丸めた場合に想定される、丸めた辺の各曲率センサの曲げ量を示す閾値である。
【0152】
例えば、図28に示す例では、上辺に配列される曲率センサ20t−t0〜tNの各曲げ量が閾値oに対して分散しているので、認識部110は、上辺が丸まっていると認識できる。このように、個々の曲率センサの曲げ量をそれぞれ閾値oと比較することで、合計曲げ量sumRの場合は1箇所だけ曲げ量が高い場合にも丸まっていると判断されてしまうことを回避することができるので、より丸め状態の認識精度を向上させることができる。
【0153】
以上、第3の実施形態による丸め状態の認識について詳細に説明した。続いて、本実施形態による動作処理の一例について図29を参照して説明する。
【0154】
(動作処理)
図29は、第3の実施形態による動作処理の一例を示すフローチャートである。なお、図29に示す例では、上記図27を参照して説明した合計曲げ量sumRを用いた丸め状態認識を行う。
【0155】
図29に示すように、まず、ステップS133において、認識部110は、アレイ毎に、曲げ量の総量(合計曲げ量sumR)を算出する。次に、ステップS136において、認識部110は、上位2つの合計曲げ量sumRが、閾値v以上であるか否かを判断する。
【0156】
ステップS136において、合計曲げ量sumRが閾値v以上である場合、認識部110は、情報処理装置10−3が丸められた状態であると判断し、丸め操作入力と認識する旨を認識結果として認識部110に出力する。
【0157】
次いで、ステップS139において、制御部115は、認識部110から出力された認識結果に基づいて、対応する処理コマンドを出力する。
【0158】
以上、第3の実施形態による動作処理について説明した。上記ステップS139で制御部115が出力する処理コマンドは特に限定されないが、例えば丸めるという動作と直感的に関連するとユーザに感じさせる処理コマンドであってもよい。丸める動作は、ユーザにとって「まとめる」といった操作感覚と同様である。そこで、このような操作感覚に基づいて、複数のファイルをまとめる処理コマンド(機能)を実行することで、直感的な操作入力を実現することができる。以下、図30を参照して実行する機能の一例を説明する。
【0159】
(機能実行)
図30は、第3の実施形態による制御部115が、丸め操作入力に応じて実行する機能を説明するための図である。図30の「丸め開始前」に示すように、フレキシブルディスプレイ15には複数のファイルアイコン73が表示されている状態において、ユーザは情報処理装置10−3を丸める。
【0160】
制御部115は、図30の「丸め開始」に示すように、徐々に変化する各辺の合計曲げ量sumRに応じて、複数のファイル73の表示位置を近づけさせ、複数のファイル73のまとまり具合を表現する。
【0161】
さらに、ユーザは情報処理装置10−3を丸め、図30の「丸め状態」に示すように、一周以上丸めた状態とする。認識部110は、フレキシブルディスプレイ15の各アレイ上の曲げ量の総量を算出し、算出したsumRの上位2つの各sumRが閾値v以上の場合、情報処理装置10−3が丸められた状態であると判断し、丸め操作入力として認識する。
【0162】
次に、制御部115は、認識部110の丸め操作入力認識に応じて、複数のファイルアイコン73を1つのフォルダにまとめる機能(変換機能)を実行する。
【0163】
また、制御部115は、図30の「丸め操作後」に示すように、複数ファイルの集合を示すフォルダアイコン75をフレキシブルディスプレイ15に表示する。
【0164】
以上、丸め操作入力に応じて実行される具体的な機能について説明した。なお、情報処理装置10−3を一周以上丸めた場合、図30の「丸め状態」に示すように、情報処理装置10−3の一部が重なり、その部分が指で押さえられる。したがって、例えば情報処理装置10−3がタッチパネルを有する構造であった場合、情報処理装置10−3が丸められ、一部の重なった部分が指で押圧されることにより、意図せずタッチ操作を検知する恐れがある。
【0165】
よって、例えば情報処理装置10−3が一周以上丸められたと認識された場合、制御部115はタッチパネルの機能(タッチ操作検知機能)を一時的にOFFしてもよい。若しくは、タッチパネルの一部の領域のみ、タッチ操作検知機能をOFFしてもよい。タッチパネルの一部の領域のみ機能OFFする場合について、以下図31を参照して説明する。
【0166】
図31は、第3の実施形態による制御部115が丸め状態に応じてタッチ操作検知機能をOFFすることを説明するための図である。図31に示すように、情報処理装置10−3は、フレキシブルタッチパネル16、フレキシブルディスプレイ15、および曲率センサ20が積層された構造である。図31左に示すように、情報処理装置10−3の一部が丸められると、情報処理装置10−3の上辺に配置された曲率センサ20t、および下辺に配置された曲率センサ20bからは、図31右に示すような曲げ量Rの信号系列が検知される。
【0167】
認識部110は、各曲率センサ20から取得された曲げ量Rに基づいて、情報処理装置10−3のどの領域が一周以上丸まっているかを認識する。例えば、認識部110は、曲率センサ20から検知される各曲げ量に基づいて、情報処理装置10−3の立体形状を推定し、一周以上丸められている領域を認識してもよい。そして、制御部115は、かかる領域のタッチ操作検知機能をOFFにしてもよい。具体的には、例えば制御部115は、フレキシブルタッチパネル16のかかる領域から検知されたタッチ操作を棄却してもよい。
【0168】
以上説明したように、本開示の第3の実施形態によれば、曲率センサ20により検知される曲げ量に基づいて、表示面が物理的に丸められた状態を操作入力として認識し、対応する処理コマンドを出力することができる。
【0169】
<3.まとめ>
上述したように、本開示の第1の実施形態によれば、情報処理装置10−1の物理的な撓みの変化を操作入力として認識し、対応する処理コマンドを出力することで、曲げ操作入力の利便性を向上させることができる。また、撓ませる操作感覚から連想される処理コマンドを出力することにより、直感的な操作入力を実現することができる。
【0170】
また、本開示の第2の実施形態によれば、曲率センサ20を情報処理装置10−2の各辺にそれぞれ複数配列することにより、曲げ量および曲がり位置を抽出でき、さらにこれらに基づいて情報処理装置10−2の曲げ状態を認識することができる。また、第2の実施形態によれば、このように認識した曲げ状態を操作入力として認識し、対応する処理コマンドを出力することができる。
【0171】
また、本開示の第3の実施形態によれば、曲率センサ20により検知される曲げ量に基づいて、表示面が物理的に丸められた状態を操作入力として認識し、対応する処理コマンドを出力することができる。
【0172】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属
するものと了解される。
【0173】
例えば、上記各実施形態において、フレキシブルディスプレイ15の曲がり中心線を示す表示制御を併せて行い、曲げ操作に対する視覚的フィードバックを行ってもよい。具体的には、曲率センサ20の上にフレキシブルディスプレイ15が積層される構造において、例えば図32に示すように、曲がり中心線が位置すると認識された箇所を矢印や三角などのアイコン77で示してもよい。
【0174】
また、検知された曲げ量が大きい箇所程赤に近い色を表示し、曲げ量が小さい箇所程青に近い色を表示するなど、図33に示すように、曲げ量の大きさに応じた色分け表示79を各辺に表示してもよい。
【0175】
なお、本技術は以下のような構成も取ることができる。
(1)
可撓性を有する表示面と、
前記表示面の撓みを検知する撓み検知部と、
前記撓み検知部により検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力する制御部と、
を備える、情報処理装置。
(2)
前記制御部は、前記撓み検知部により検知された撓み量の周期的な変化に応じて処理コマンドを出力する、前記(1)に記載の情報処理装置。
(3)
前記制御部は、予め記憶したパターンと前記撓み量の周期的な変化とを比較することにより、対応する処理コマンドを判断する、前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記撓み検知部による検知結果に基づく前記表示面の張り状態および撓み状態間の変化に応じて処理コマンドを出力する、前記(1)に記載の情報処理装置。
(5)
前記制御部は、前記撓みの変化に応じて、表示内容を切り替える処理コマンドを出力する、前記(1)から(4)のいずれか1項に記載の情報処理装置。
(6)
前記制御部は、前記撓みの変化に応じて、前記表示面に表示するオブジェクトのデータを近接する通信端末に送信する処理コマンドを出力する、前記(1)から(4)のいずれか1項に記載の情報処理装置。
(7)
可撓性を有する表示面の撓みを検知するステップと、
前記撓みを検知するステップにより検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力するよう制御するステップと、
を含む、制御方法。
(8)
可撓性を有する表示面の撓みを検知する処理と、
前記撓みを検知する処理により検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力するよう制御する処理と、
をコンピュータに実行させる、プログラム。
(9)
前記制御する処理は、前記撓みを検知する処理により検知された撓み量の周期的な変化に応じて処理コマンドを出力する、前記(8)に記載のプログラム。
(10)
前記制御する処理は、予め記憶したパターンと前記撓み量の周期的な変化とを比較することにより、対応する処理コマンドを判断する、前記(9)に記載のプログラム。
(11)
前記制御する処理は、前記撓みを検知する処理による検知結果に基づいて、前記表示面の張り状態および撓み状態間の変化に応じて処理コマンドを出力する、前記(8)に記載のプログラム。
(12)
前記制御する処理は、前記撓みの変化に応じて、表示内容を切り替える処理コマンドを出力する、前記(8)から(11)のいずれか1項に記載のプログラム。
(13)
前記制御する処理は、前記撓みの変化に応じて、前記表示面に表示するオブジェクトのデータを近接する通信端末に送信する処理コマンドを出力する、前記(8)から(12)のいずれか1項に記載のプログラム。
【符号の説明】
【0176】
10、10−1〜10−3 情報処理装置
11 RAM
13 不揮発性メモリ
15 フレキシブルディスプレイ
17 CPU
19 通信部
20(20t0〜tN、20b0〜bN、20l0〜lN、20r0〜rN) 曲率センサ
110 認識部
115 制御部
【技術分野】
【0001】
本開示は、情報処理装置、制御方法およびプログラムに関する。
【背景技術】
【0002】
ユーザ操作の入力は、キーボードやマウス等の入力デバイスを用いる方法や、ペン、タッチ・スクリーン、ボタン、およびジョクダイアル式のコントローラを用いる方法が知られている。しかし、キーボードやマウス等の入力デバイスは、携帯性が悪く、モバイル機器に向いていない。また、タッチ・スクリーン等を用いた方法では、強くタッチしてもデバイスの形状が変わることはなく、タッチの強さがどの程度入力操作に反映されるのか直感的に感じることはできなかった。
【0003】
これに対し、近年では、可撓性を有する薄くて軽量の電子ディスプレイ(フレキシブルディスプレイ)およびフレキシブルタッチパネルが提案されている。
【0004】
例えば、下記特許文献1では、フレキシブルディスプレイに関する発明が記載されている。また、下記特許文献2では、装置本体を物理的に曲げたり、歪ませたりすることによって、ユーザ操作を入力することが可能なインタフェースが提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007−52129号公報
【特許文献2】特開2010−157060号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、上記特許文献2では、表示装置本体の曲げ位置と、圧力に応じて表示内容の切り替えを行っているが、曲げ状態(撓み)の時間的な変化に応じた操作入力については何ら言及されていない。
【0007】
そこで、本開示では、撓み変化を操作入力として認識することで曲げ操作入力の利便性をさらに向上させることが可能な、新規かつ改良された情報処理装置、制御方法およびプログラムを提案する。
【課題を解決するための手段】
【0008】
本開示によれば、可撓性を有する表示面と、前記表示面の撓みを検知する撓み検知部と、前記撓み検知部により検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力する制御部と、を備える情報処理装置が提供される。
【0009】
また、本開示によれば、可撓性を有する表示面の撓みを検知するステップと、前記撓みを検知するステップにより検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力するよう制御するステップと、を含む制御方法が提供される。
【0010】
また、本開示によれば、可撓性を有する表示面の撓みを検知する処理と、前記撓みを検知する処理により検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力するよう制御する処理と、をコンピュータに実行させるプログラムが提供される。
【発明の効果】
【0011】
以上説明したように本開示によれば、曲げ操作入力の利便性をさらに向上させることが可能となる。
【図面の簡単な説明】
【0012】
【図1】本開示の実施形態による情報処理装置の外観図である。
【図2】本開示の実施形態による情報処理装置のハードウェア構成の一例を示す図である。
【図3】本開示の実施形態による曲率センサの配置の一例を説明するための図である。
【図4】本開示の実施形態による情報処理装置の機能構成を説明するための機能ブロック図である。
【図5】第1の実施形態による操作例1の基本動作を説明するための図である。
【図6】第1の実施形態による操作例1の動作処理を示すフローチャートである。
【図7】第1の実施形態による操作例1における自動整列コマンドを説明するための図である。
【図8】第1の実施形態による操作例1における張り方向に応じた自動整列コマンドを説明するための図である。
【図9】第1の実施形態による操作例2の基本動作を説明するための図である。
【図10】第1の実施形態による操作例2の動作処理を示すフローチャートである。
【図11】第1の実施形態による操作例2におけるノイズ除去コマンドを説明するための図である。
【図12】第1の実施形態による操作例2における払う操作に応じた文章要約コマンドを説明するための図である。
【図13】第1の実施形態による操作例2におけるデータ転送コマンドを説明するための図である。
【図14】第1の実施形態の変形例におけるデータ転送コマンドを説明するための図である。
【図15】第2の実施形態による情報処理装置において、フレキシブルディスプレイの上辺に設けられた曲率センサ、および下辺に設けられた曲率センサから検知された曲げ量を含む信号系列を示す図である。
【図16】第2の実施形態による曲がり中心線の認識について説明するための図である。
【図17】第2の実施形態による表示制御例1において、曲がり中心線に応じたリスト項目拡大表示制御を説明するための図である。
【図18】第2の実施形態による表示制御例1において、曲がり中心線の角度に応じて曲げ操作入力を棄却することを説明するための図である。
【図19】第2の実施形態による表示制御例1において、曲がり中心線に応じた文章拡大表示制御を説明するための図である。
【図20】第2の実施形態による表示制御例1において、曲がり中心線の変化に応じた動的な拡大表示制御を説明するための図である。
【図21】第2の実施形態による表示制御例2において、曲がり中心線に沿ってアイコンを整列させる制御を説明するための図である。
【図22】第2の実施形態による表示制御例3によるブックマーク表示制御を説明するための図である。
【図23】第2の実施形態による表示制御例3によるページめくり表示制御を説明するための図である。
【図24】第2の実施形態による表示制御例4による持ち状態に応じた表示制御を説明するための図である。
【図25】第2の実施形態による表示制御例5による表示反転制御を説明するための図である。
【図26】第3の実施形態による丸め状態を説明するための図である。
【図27】第3の実施形態による情報処理装置において、各曲率センサから検知される曲げ量を示す図である。
【図28】第3の実施形態による情報処理装置において、各曲率センサから検知される曲げ量の分散を説明するための図である。
【図29】第3の実施形態による動作処理の一例を示すフローチャートである。
【図30】第3の実施形態による制御部115が、丸め操作入力に応じて実行する機能を説明するための図である。
【図31】第3の実施形態による制御部115が丸め状態に応じてタッチ操作検知機能をOFFすることを説明するための図である。
【図32】本開示の実施形態による表示制御の他の例を説明するための図である。
【図33】本開示の実施形態による表示制御の他の例を説明するための図である。
【発明を実施するための形態】
【0013】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0014】
なお、説明は以下の順序で行うものとする。
1.本開示による情報処理装置の概要
2.各実施形態
2−1.第1の実施形態
2−2.第2の実施形態
2−3.第3の実施形態
3.まとめ
【0015】
<1.本開示による情報処理装置の概要>
まず、本開示による情報処理装置の概要について図1を参照して説明する。図1は、本開示による情報処理装置10の外観図である。図1に示すように、本開示による情報処理装置10は、やわらかい素材により構成され、一部または全体に可撓性を有するフレキシブルデバイスである。この結果、ユーザは、情報処理装置10を全体的に湾曲させたり、局所的に折ったり、また、丸めたりすることができる。なお、図1では、一例として情報処理装置10を左右方向から湾曲させている。
【0016】
また、本開示による情報処理装置10は、曲率センサ(曲げセンサ)20を内蔵する。曲率センサ20は、一方向の曲がり(撓み)を検出することができる曲率センサ20a、20bを張り合わせた構造を有し、これにより曲率(曲がり量)を−R〜Rまで検出できる。以下、本開示による情報処理装置の構成について図面を用いて詳述する。
【0017】
[1−1.ハードウェア構成]
図2は、本開示による情報処理装置10のハードウェア構成の一例を示す図である。図1に示すように、情報処理装置10は、RAM(Random Access Memory)11、不揮発性メモリ13、フレキシブルディスプレイ15、CPU(Central Processing Unit)17、通信部19、および曲率センサ20を含む。CPU17、RAM11、不揮発性メモリ13および通信部19は、可撓性を有する素材により形成され情報処理装置10に内蔵されてもよいし、情報処理装置10の剛性感のある本体部(不図示)に内蔵されてもよい。
【0018】
CPU17は、演算処理部および制御部として機能し、各種プログラムに従って情報処理装置10の動作全般を制御する。また、CPU17は、マイクロプロセッサであってもよい。
【0019】
RAM11は、CPU17の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。不揮発性メモリ13は、CPU17が使用するプログラムや演算パラメータ等を記憶する。
【0020】
通信部19は、他の通信装置やサーバと情報の送受信を行う通信デバイスである。通信部19は、例えばWi−Fi、Bluetoothなどの近距離/近接無線通信を行う。
【0021】
フレキシブルディスプレイ15は、やわらかい素材で形成され、全体に可撓性を有する表示デバイス(表示面)である。また、フレキシブルディスプレイ15は、CPU17により制御され、画面表示を行う。
【0022】
曲率センサ20は、情報処理装置10(フレキシブルディスプレイ15)が物理的に曲げられた場合の曲率(曲がり量)を−R〜Rまで検出できるセンサである。また、曲率センサ20は、例えば抵抗値を曲率として出力する。
【0023】
さらに、本開示による曲率センサ20は、フレキシブルディスプレイ15(表示面)に積層され設けられるが、より具体的には、フレキシブルディスプレイ15の各辺に1つずつ、または各辺に複数配置されてもよい。以下、図3を参照して曲率センサ20の配置について説明する。
【0024】
(曲率センサ20の配置)
図3は、本開示による曲率センサ20の配置の一例を説明するための図である。図3に示すように、曲率センサ20は、フレキシブルディスプレイ15に各辺に沿って複数配列されている。具体的には、図3に示すように、フレキシブルディスプレイ15の上辺(top)に曲率センサ20t(20t0〜20t5)が配列され、下辺(bottom)に曲率センサ20b(20b0〜20b5)が配列される。また、フレキシブルディスプレイ15の左辺(left)に曲率センサ20l(20l0〜20l5)が配列され、右辺(right)に、曲率センサ20r(20r0〜20r5)が配列される。
【0025】
このように、本開示による情報処理装置10では、フレキシブルディスプレイ15の四辺に複数の曲率センサ20がそれぞれ配列される。これにより、情報処理装置10は、曲率センサ20から検出された各曲率に基づいて、フレキシブルディスプレイ15の曲がり位置(xy方向)を認識することができる。
【0026】
以上、本開示による情報処理装置10のハードウェア構成について詳細に説明した。続いて、上記ハードウェア構成により実現される情報処理装置10の機能について説明する。
【0027】
[1−2.機能構成]
図4は、本開示による情報処理装置10の機能構成を説明するための機能ブロック図である。図4に示すように、情報処理装置10は、認識部110、および制御部115を有している。認識部110は、曲率センサ20から出力された曲率(曲がり量/撓み量)に基づいて、フレキシブルディスプレイ15の曲がり形状や状態を認識する。具体的には、認識部110は、曲率の時間的変化(周期的変化)を操作入力として認識する。また、認識部110は、複数の曲率から曲がり中心線(折り山、折り中心線)を認識する。また、認識部110は、曲率に基づいてフレキシブルディスプレイ15が丸められた状態であるか否かを認識する。そして、認識部110は、認識結果を制御部115に出力する。
【0028】
制御部115は、認識部110の認識結果に応じて、対応する処理コマンドを出力する。具体的には、制御部115は、曲率の時間的変化に応じてフレキシブルディスプレイ15の表示内容を切り替えたり、所定のデータを送信したりする制御を行う。また、制御部115は、曲がり中心線に応じてフレキシブルディスプレイ15の表示内容を切り替える制御を行う。また、制御部115は、フレキシブルディスプレイ15が丸められた状態である場合に、所定の表示制御や所定のデータ変換制御を行う。
【0029】
以上、本開示による情報処理装置10の機能構成について説明した。なお、認識部110および制御部115の詳細については、次の<2.各実施形態>において説明する。
【0030】
<2.各実施形態>
[2−1.第1の実施形態]
(概要)
ユーザ操作の入力方法は、上述したキーボードやマウス等の入力デバイスを用いる方法の他、加速度センサを用いたジェスチャーインターフェースも知られている。しかし、ジェスチャーインターフェースでは、上下左右どちらに振ったかの4方向のみしか認識されず、操作方法に制限があった。これに対し、可撓性を有するフレキシブルデバイスは360度どの方向にも自由に撓ませる(曲げる)ことができるので、撓み状態を認識することができれば、操作性の自由度が飛躍的に向上する。
【0031】
また、上記特許文献2は、表示装置本体を物理的に歪ませた場合、XY方向における位置とZ方向における圧力を検知することにより表示内容の切り替えを行っているが、曲げ変化に応じた操作入力については何ら言及されていない。
【0032】
そこで、本開示による第1の実施形態によれば、情報処理装置10−1の物理的な撓み状態の時間変化を操作入力として認識し、対応する処理コマンドを出力することにより、装置を曲げることによる操作入力の利便性を向上させることが可能となる。
【0033】
以下、本実施形態による撓みの変化を利用した操作入力について、複数の操作例を挙げて具体的に説明する。なお、本実施形態による情報処理装置10−1のハードウェア構成および機能構成は、「1−1.ハードウェア構成」および「1−2.機能構成」で上述した通りである。
【0034】
(操作例1)
まず、第1の実施形態による撓みの変化を利用した操作入力の操作例1について、図5〜図8を参照して説明する。
【0035】
図5は、第1の実施形態による操作例1の基本動作を説明するための図である。図5に示すように、操作例1では、情報処理装置10−1(フレキシブルディスプレイ15)を撓み状態から張り状態に急激に変化させる動作を操作入力として認識する。
【0036】
フレキシブルディスプレイ15の撓み/張り状態の認識は、認識部110(図4参照)により、曲率センサ20から検出される曲率に基づいて行われる。以下、撓み状態および張り状態の定義について、順次説明する。
【0037】
図3を参照して上述したように、フレキシブルディスプレイ15の四辺には、複数の曲率センサ20が設けられている。なお、図3では、各辺に6個、計24個の曲率センサ20を設ける構成について説明したが、曲率センサ20の個数はこれに限定されず、例えば各辺に1個、計4個の曲率センサであってもよい。本実施形態では、計N個の曲率センサ20が設けられた場合を例として説明する。
【0038】
本実施形態ではN個の曲率センサ20を有し、各曲率センサ20からそれぞれ曲率r1,r2,・・・rNを、以下の範囲で検出できる。
【0039】
【数1】
【0040】
このとき、情報処理装置10−1(フレキシブルディスプレイ15)全体の曲率rは、例えば下記に示すように、各曲率センサ20から検出された値の平均値として定義する。
【0041】
【数2】
【0042】
そして、情報処理装置10−1全体の曲率rが、下記式1に示す閾値に対して、下記式2または式3の範囲である場合を、撓み状態と定義する。
【0043】
【数3】
・・・式1
【0044】
【数4】
・・・式2
【0045】
【数5】
・・・式3
【0046】
以上、撓み状態の定義について説明した。一方、張り状態の定義は、撓み状態でない場合とする。具体的には、情報処理装置10−1全体の曲率rが下記式4の範囲の場合、張り状態としてもよい。
【0047】
【数6】
・・・式4
【0048】
以上説明した撓み/張り状態の定義にしたがって、認識部110は、情報処理装置10−1(フレキシブルディスプレイ15)の状態を判断することができる。さらに、認識部110は、撓み状態から張り状態に変化した際の速度が所定の速度以上である場合、操作入力として認識する。なお、情報処理装置10−1が加速度センサを有する場合、認識部110は、撓み状態から張り状態に変化した際に検出された加速度が所定の加速度以上(急激な変化)である場合、操作入力として認識してもよい。
【0049】
次に、上述した操作例1の動作処理について図6を参照して説明する。図6は、第1の実施形態による操作例1の動作処理を示すフローチャートである。図6に示すように、まず、ステップS103において、認識部110は、曲率センサ20から検出された曲率rに基づいて、情報処理装置10−1(フレキシブルディスプレイ15)が撓み状態であることを認識する。
【0050】
次に、ステップS106において、認識部110は、曲率センサ20から検出された曲率rに基づいて、情報処理装置10−1が張り状態であることを認識する。
【0051】
次いで、ステップ109において、認識部110は、撓み状態から張り状態に変化した際の速度が急激な変化であったか否かを判断する。
【0052】
次に、ステップS112において、撓み状態から張り状態への変化が急激な変化であったか否かを判断する。急激な変換であったか否かは、上述したように、例えば変化の速度が所定の速度以上であるか否かにより判断することができる。そして、認識部110は、撓み状態から張り状態への変化が急激な変化であった場合は、かかる変化を操作入力として認識し、認識結果を制御部115に出力する。
【0053】
次いで、ステップS112において、制御部115は、認識部110の認識結果に応じて、撓み状態から張り状態への急激な変化による操作入力に対応する処理コマンドを出力する。そして、ステップS115において、張り状態の情報処理装置10−1において、出力した処理コマンドが実行される。
【0054】
以上、操作例1の動作処理について詳細に説明した。上記ステップS112で制御部115が出力する処理コマンドは特に限定されないが、例えば撓み状態から張り状態に急激に変化させるという動作と直感的に関連するとユーザに感じさせる処理コマンドであってもよい。撓み状態から張り状態に急激に変化させる動作は、ユーザにとって「新聞を広げて整える」といった操作感覚と同様である。そこで、このような操作感覚に基づいて、表示内容を整える処理コマンドを実行することで、直感的な操作入力を実現することができる。以下、図7および図8を参照して具体的に説明する。
【0055】
図7は、第1の実施形態による操作例1における自動整列コマンドを説明するための図である。図7上に示すように、フレキシブルディスプレイ15にアイコン31が不規則に表示されている場合、フレキシブルディスプレイ15を撓み状態から張り状態に急激に変化させる操作入力を行うと、制御部115は自動整列コマンドを出力する。そして、図7下に示すように、アイコン31が縦方向および横方向に自動整列される。
【0056】
また、本実施形態による情報処理装置10−1は、張り方向に応じた自動整列を実現してもよい。図8は、第1の実施形態による操作例1における張り方向に応じた自動整列コマンドを説明するための図である。図8に示すように、制御部115は、認識部110によりフレキシブルディスプレイ15が横方向に張られたと認識された場合、横方向にアイコン31を整列させる処理コマンドを出力する。
【0057】
認識部110による張り方向の判断は、例えば、フレキシブルディスプレイ15の上辺の曲率rt、下辺の曲率rb、左辺の曲率rl、および右辺の曲率rrをそれぞれ抽出し、その中で最も低い2つの曲率を選択することで判断できる。図8に示す例では、左辺の曲率rl、および右辺の曲率rrを最も低い2つの曲率として選択できるので、認識部110は、フレキシブルディスプレイ15が横方向に張られたと判断することができる。そして、認識部110は、横方向に急激に張る操作入力として認識し、認識結果を制御部115に出力する。
【0058】
以上説明したように、第1の実施形態の操作例1によれば、メニューからアイコンの整列コマンドを選択する必要なく、フレキシブルディスプレイを物理的に撓ませた状態から急激に張ることにより、直感的にアイコンの自動整列を実現することができる。
【0059】
(操作例2)
次に、第1の実施形態による撓みの変化を利用した操作入力の操作例2について、図9〜図14を参照して説明する。
【0060】
図9は、第1の実施形態による操作例2の基本動作を説明するための図である。図9に示すように、操作例2では、情報処理装置10−1(フレキシブルディスプレイ15)の上端を把持して前後に動かすことで情報処理装置10−1を撓ませる動作、すなわち払う動作を操作入力として認識する。
【0061】
払う動作の認識は、認識部110(図4参照)により、曲率センサ20から検出される曲率に基づいて行われる。具体的には、認識部110は、情報処理装置10−1全体の曲率rの時間変化r(t)が周期的であった場合、払う動作による操作入力と認識する。
【0062】
曲率の時間変化が周期的であるか否かを判定する方法は、例えば曲率の時間変化r(t)とサイン関数sin(t)との相互相関値をフーリエ変換により求め、求めた相互相関値が所定の閾値以上であるか否かにより判定する方法であってもよい。
【0063】
なお、認識部110は、払う動作による操作入力の認識条件を追加することで、払う操作の認識精度を上げることができる。また、このように払う操作の認識制度を上げることで、対応する処理コマンドも細かく設定することができ、より直感的な操作入力を実現することができる。
【0064】
追加する認識条件は、例えば、ユーザが情報処理装置10−1(フレキシブルディスプレイ15)の1点を保持していることであってもよい。具体的には、情報処理装置10−1がタッチパネルを有する構成において、タッチパネルによりユーザが保持している位置が検出される。そして、認識部110は、1箇所のみ保持されている際に払う動作が行われた場合、操作入力として認識する。
【0065】
また、さらに厳しい認識条件として、ユーザが情報処理装置10−1(フレキシブルディスプレイ15)の上端のみを保持していることとしてもよい。具体的には、情報処理装置10−1がタッチパネルに加えて、3軸加速度センサを有する構成において、3軸加速度センサにより情報処理装置10−1が重力方向に対してどのような向きになっているかも検出される。そして、認識部110は、情報処理装置10−1の向き、およびユーザに保持されている位置に基づいて、情報処理装置10−1の上端のみが保持されている状態において払う動作が行われたと判定できる場合、操作入力として認識する。
【0066】
次に、上述した操作例2の動作処理について図10を参照して説明する。図10は、第1の実施形態による操作例2の動作処理を示すフローチャートである。図10に示すように、まず、ステップS123において、認識部110は、曲率rの時間変化r(t)と、サイン関数sin(t)の相互相関値を算出する。
【0067】
次いで、ステップS126において、認識部110は、算出した相互相関値が所定の閾値以上であるか否かを判定する。相互相関値が所定の閾値以上であった場合、曲率の時間変化は周期的であると判定し、認識部110は、払う動作による操作入力として認識する旨を、認識結果として制御部115に出力する。
【0068】
そして、ステップS129において、制御部115は、認識部110の認識結果に応じて、払う動作による操作入力に対応する処理コマンドを出力する。
【0069】
以上、操作例2の動作処理について詳細に説明した。上記ステップS129で制御部115が出力する処理コマンドは特に限定されないが、例えば払う動作と直感的に関連するとユーザに感じさせる処理コマンドであってもよい。払う動作は、ユーザにとって「紙面上のごみを払い落とす」といった操作感覚と同様である。そこで、このような操作感覚に基づいて、ノイズを除去する処理コマンドを実行することで、直感的な操作入力を実現することができる。以下、図11および図12を参照して具体例を説明する。
【0070】
図11は、第1の実施形態による操作例2におけるノイズ除去コマンドを説明するための図である。図11左に示すように、ノイズを含む画像33が表示されている場合、情報処理装置10−1を払う操作入力を行うと、制御部115はノイズ除去コマンドを出力する。そして、図11右に示すように、ノイズ除去処理後の画像34と、ノイズ35が表示され、ノイズ35は下に落ちるように表示制御される。
【0071】
また、本実施形態による情報処理装置10−1は、文章の余分な部分をノイズとみなし、払う操作に応じて文章を要約する処理を実現してもよい。文章の余分な部分とは、例えば文章を文節に区切った場合に、主述の関係にある文節以外を余分な部分としてもよいし、文章が主節と接続節から成る場合は接続節を余分な部分とみなしてもよい。また、正式名称と略称が併記されている場合は正式名称を余分な部分とみなしてもよい。
【0072】
図12は、第1の実施形態による操作例2における払う操作に応じた文章要約コマンドを説明するための図である。図12左に示すように、文章37が表示されている場合、情報処理装置10−1を払う操作入力を行うと、制御部115は文章37の余分な部分をノイズとみなし、ノイズを除去して文章を要約するコマンドを出力する。
【0073】
そして、図12右に示すように、要約処理後の文章38と、余分な部分とみなされて文章37から削除されたノイズ39が表示され、ノイズ39は下に落ちるように表示制御される。
【0074】
以上、ノイズを除去する処理コマンドを実行する場合について具体的に説明した。なお、本実施形態による情報処理装置10−1は、さらに払う操作の継続時間、または払う操作の繰り返し回数に応じて、ノイズ除去の強度を変化させることもできる。
【0075】
また、払う操作は、ユーザにとって「中に入っている物を落とす」といった操作感覚とも同様である。よって、このような操作感覚に基づいて、データ転送コマンドを実行し、直感的な操作入力を実現してもよい。以下、図13を参照して具体的に説明する。
【0076】
図13は、第1の実施形態による操作例2におけるデータ転送コマンドを説明するための図である。図13左に示すように、画像41が表示されている場合に情報処理装置10−1を払う操作入力を行うと、制御部115は、近接する通信装置40に画像41を転送するコマンドを出力する。
【0077】
次に、図13中央に示すように、情報処理装置10−1のフレキシブルディスプレイ15において写真画像41が下に落ちるよう表示され、同時に、通信部19は画像41を通信装置40に送信する。そして、通信部19による送信が完了した場合、図13右に示すように、情報処理装置10−1のフレキシブルディスプレイ15では画像41を非表示とすることで、ユーザに転送完了を明示することができる。
【0078】
以上説明したように、第1の実施形態の操作例2によれば、メニューからノイズ除去のコマンドを選択する必要なく、フレキシブルディスプレイを物理的に払うことにより、直感的に画像や文章のノイズ除去を実現することができる。また、第1の実施形態の操作例2によれば、メニューからデータ転送のコマンドを選択する必要なく、フレキシブルディスプレイを物理的に払うことにより、直感的にデータ転送を実現することができる。
【0079】
なお、上述した操作例1では、撓み状態から張り状態への急激な変化を操作入力として認識する例について説明したが、本実施形態による操作例はこれに限定されない。例えば、張り状態から撓み状態への急激な変化を操作入力として認識してもよい。さらに、張り状態から撓み状態への急激な変化による操作入力に対応する処理コマンドとしてデータ転送を行ってもよい。以下、図14を参照して具体的に説明する。
【0080】
図14は、第1の実施形態の変形例におけるデータ転送コマンドを説明するための図である。図14上に示すように、情報処理装置10−1が張り状態であって、フレキシブルディスプレイ15に画像41が表示されている場合に、ユーザは、図14下に示すように情報処理装置10−1を通信端末40側に急激に撓ませる操作入力を行ってもよい。これにより、制御部115は、近接する通信装置40に画像41を転送するコマンドを出力し、通信部19は画像41を通信装置40に送信する。また、通信部19による送信が完了した場合、図14下に示すように、フレキシブルディスプレイ15において画像41を非表示とすることで、ユーザに転送完了を明示することができる。
【0081】
上述したように、本開示の第1の実施形態によれば、情報処理装置10−1が物理的に撓む場合における、撓みの時間変化を操作入力として認識し、対応する処理コマンドを出力することにより、装置を曲げることによる操作入力の利便性を向上させることが可能となる。また、撓みの変化と直感的に関連するとユーザに感じさせる処理コマンドを出力することにより、直感的な操作入力を実現することができる。
【0082】
[2−2.第2の実施形態]
(概要)
次に、本開示による第2の実施形態について説明する。上述したように、可撓性を有するフレキシブルデバイスを物理的に曲げることによる操作入力を実現する際、圧力センサ等によりZ方向への入力操作(曲げ量)を検出し、位置センサ等によりXY方向の入力位置(曲げ位置)を検出する(特許文献2参照)。しかしながら、このように複数種類の特殊なセンサ(検知部)を有する構造はコストがかかる。また、通常用いられる位置センサでは、局所的な位置を認識するのみで、線状の折り位置(曲げ位置)などを把握することは困難であった。
【0083】
さらに、圧力センサ、歪みセンサなどのZ方向への入力操作を検出するセンサは、通常、1つのセンサから1つの曲がり(撓み)量が出力されるのみであって、撓み位置の検出を行うことは困難である。
【0084】
そこで、本開示による第2の実施形態によれば、撓み検知部(曲率センサ)を複数配置することにより、複数の撓み検知部の各検知結果に基づいて、撓み量(曲げ量)および撓み位置(曲げ位置)を認識し、さらに撓み状態(曲げ状態)を認識することができる。そして、本開示による第2の実施形態は、このように認識した曲げ状態を操作入力として認識し、対応する処理コマンドを出力する。
【0085】
以上、本開示による第2の実施形態の概要について説明した。なお、本実施形態に係る曲げ状態による操作入力を実現する情報処理装置10−2のハードウェア構成および機能構成は、上述した通りである。続いて、本実施形態における複数の撓み検知部20を利用した曲げ状態の認識について説明する。
【0086】
(曲げ状態の認識)
第2の実施形態による認識部110(図4参照)は、複数の曲率センサ20から検出される曲率(以下、曲げ量とも称す)に基づいて、曲げ状態を認識する。複数の曲率センサ20は、図3に示したように、フレキシブルディスプレイ15の上辺アレイ上に複数の曲率センサ20t、下辺アレイ上に複数の曲率センサ20b、左辺アレイ上に複数の曲率センサ20l、および右辺アレイ上に複数の曲率センサ20rが配列される。
【0087】
このような構成において、本実施形態による認識部110は、複数の曲率センサ20から出力された各検知結果に基づいて、情報処理装置10−2の曲げ状態を認識する。より具体的には、例えば認識部110は、複数の曲率センサ20から出力された各検知結果を含む信号系列と、実際の曲率センサ20の物理的な配置とを照らし合わせる。これにより、認識部110は、情報処理装置10−2が各位置でどの程度の曲げ量を有しているかを測定でき、その結果、状態処理装置10−2の曲げ状態を認識することができる。また、認識部110は、上記信号系列のデータ補間を行うことで、曲げ状態の認識精度を上げることができる。
【0088】
また、本実施形態による認識部110は、各アレイ上のセンサ(曲率センサ20t、20b、20l、20r)の信号系列において、曲げ中心点を推定し、正対する辺の曲げ中心点を結ぶ線を曲がり中心線と認識してもよい。または、認識部110は、1辺の曲げ中心点から正対する辺に垂直に伸ばした線を曲がり中心線としてもよい。以下、図15および図16を参照して、正対する辺の曲げ中心点を結ぶ線を曲がり中心線と認識する場合について詳細に説明する。
【0089】
図15は、第2の実施形態による情報処理装置10−2において、フレキシブルディスプレイ15の上辺に設けられた曲率センサ20t、および下辺に設けられた曲率センサ20bから検知された曲げ量を含む信号系列を示す図である。なお、ここでは、図1に示すように、ユーザがフレキシブルディスプレイ15の左右をそれぞれ手で保持し、各持ち手を中央に向けて移動させてフレキシブルディスプレイ15を物理的に曲げた状態を前提とする。よって、曲げ量がほぼ0に近い左辺の曲率センサ20l、および右辺の曲率センサ20rによる各検知結果(曲げ量)の図示は省略する。
【0090】
認識部110は、各曲率センサ20からの曲げ量に基づいて、まず各辺における曲げ中心点を求める。具体的には、図15上に示すように、上辺に配列される曲率センサ20t0〜tNのうち、最大2つの曲げ量Rt2、Rt3を抽出し、さらにかかる最大値に隣接する曲げ量Rt1、Rt4から、中心点の位置t’およびその曲げ量Rt’を推定する。また、図15下に示すように、下辺に配列される曲率センサ20bも同様に、曲率センサ20b0〜bNのうち、最大2つの曲げ量Rb1、Rb2を抽出し、さらにかかる最大値に隣接する曲げ量Rb0、Rb3から、中心点の位置b’およびその曲げ量Rb’を推定する。
【0091】
図16は、第2の実施形態による曲がり中心線の認識について説明するための図である。図16に示すように、認識部110は、情報処理装置10−2の上辺の曲げ中心位置座標(t’/tN,1.0)、および下辺の曲げ中心位置座標(b’/bN,0.0)を結ぶ線を、曲がり中心線25と認識する。また、図16では、曲げ中心位置座標における曲げ量Rt’、Rb’も併せて示す。
【0092】
なお、上記図15および図16では、曲げ中心点を推定した上で、正対する辺の曲げ中心点を結ぶ線を曲がり中心線と認識しているが、本実施形態による曲がり中心線の認識はこれに限定されない。例えば、認識部110は、各曲率センサ20の曲げ量から、物理的に湾曲された情報処理装置10−2の立体形状を推定して、曲がり中心線を認識してもよい。
【0093】
以上、本実施形態による曲げ状態の認識について具体的に説明した。このように認識部110により認識された曲げ状態に基づいて、本実施形態による制御部115は、対応する処理コマンドを出力する。制御部115が出力する処理コマンドは特に限定されないが、例えばユーザによる曲げ動作と直感的に関連するとユーザに感じさせる処理コマンドであってもよい。
【0094】
例えば、情報処理装置10−2を正対する方向から湾曲させる動作は、湾曲した部分をフォーカスするといった感覚と同様である。そこで、このような操作感覚に基づいて、拡大表示制御を実行することで、直感的な操作入力を実現することができる。
【0095】
また、情報処理装置10−2を折り曲げる動作は、例えばブックマークをするといった感覚や、ページをめくる感覚と同様であるので、このような操作感覚に応じてブックマーク機能の実行や次ページ表示制御を行い、直感的な操作入力を実現することができる。
【0096】
このように、曲げ状態と対応処理コマンドの組み合わせは様々考え得る。以下、本実施形態の制御部115による曲げ状態に応じた制御について、複数の例を挙げて具体的に説明する。
【0097】
(表示制御例1)
第2の実施形態による表示制御例1では、制御部115が、認識部110により認識された曲がり中心線25に応じて表示内容を拡大/縮小する。以下、図17から図20を参照して具体的に説明する。
【0098】
・リスト項目の拡大/縮小表示制御
図17は、第2の実施形態による表示制御例1において、曲がり中心線25に応じたリスト項目拡大表示制御を説明するための図である。図17上に示すように、情報処理装置10−2を後ろから指で押し、横方向(略水平方向)に湾曲させた場合、左辺の曲がり中心位置l’および右辺の曲がり中心位置r’を結ぶ曲がり中心線25が認識部110により認識される。そして、認識部110は、各中心位置における曲げ量Rl’、Rr’が所定の閾値以上である場合、曲げ操作入力として認識し、対応する表示制御を実行する。例えば制御部115は、曲がり中心線25の位置に相当する表示部分を拡大表示する制御を行う。
【0099】
図17下に示す例では、フレキシブルディスプレイ15にリスト項目としてアルバム名A〜Eが表示されているので、制御部15は、曲がり中心線25の位置に相当するリスト項目である「ALBUM A」を拡大表示する。これにより、「ALBUM A」がフォーカスされていることを表現することができる。また、制御部115は、拡大した「ALBUM A」の領域51内に、リスト項目の内容を表示してもよい。例えば、リスト項目がアルバム名の場合、リスト項目の内容として、曲名を表示してもよい。
【0100】
また、制御部115は、拡大したリスト項目の領域内の情報量を、曲げ量R’に応じて制御してもよい。なお、曲げ量R’は、正対する辺の各曲がり中心位置の曲げ量R’(図17に示す例では、曲げ量Rl’、Rr’)の総和や平均値であってもよい。
【0101】
また、制御部115は、拡大表示したリスト項目周辺のリスト項目を、縮小(減衰)表示する制御を行ってもよい。
【0102】
また、制御部115は、曲がり中心線25の情報処理装置10−2に対する角度θによっては、曲げ操作入力を棄却してもよい。例えば、図18に示すように、情報処理装置10−2に対する曲がり中心線25の角度θ1が、閾値θth以上の場合、制御部115は、曲げ操作入力を棄却する。
【0103】
・文書の拡大/縮小表示制御
上記図17および図18では、リスト項目の拡大/縮小表示制御を例に挙げたが、表示制御例1による拡大/縮小表示制御は、リスト項目に限られない。例えば、文書を拡大/縮小表示制御してもよい。以下、図19を参照して文書の拡大/縮小表示制御について具体的に説明する。
【0104】
図19は、第2の実施形態による表示制御例1において、曲がり中心線25に応じた文章拡大表示制御を説明するための図である。図19上に示すように、情報処理装置10−2を左右方向から湾曲させると、上辺の曲がり中心位置t’および下辺の曲がり中心位置b’を結ぶ曲がり中心線25が認識部110により認識される。そして、認識部110は、各中心位置における曲げ量Rt’、Rb’が所定の閾値以上である場合、曲げ操作入力として認識し、対応する表示制御を実行する。例えば制御部115は、曲がり中心線25の位置に相当する表示部分を拡大表示する制御を行う。
【0105】
ここでは、図19下に示すように、フレキシブルディスプレイ15に文章が表示されるので、制御部15は、曲がり中心線25の位置に相当する行を拡大表示する。これにより、行53がフォーカスされていることを表現することができる。また、制御部115は、拡大した行53周辺の行について、縮小(減衰)表示制御を行ってもよい。
【0106】
このように、制御部115は、曲がり中心線25に近い行ほど大きく表示し(拡大表示制御)、その周辺は小さく表示する制御(減衰表示制御)を行ってもよい。なお、拡大率および縮小率(周辺減衰率)は、曲げ量R’(図19に示す例では、曲げ量Rt’、Rb’に基づいて求められる)に応じて変化させてもよい。
【0107】
・曲がり中心線の変化に応じたコンテンツ拡大/縮小表示制御
上記図17から図19では、曲がり中心線25の位置に相当する表示部分の拡大/縮小表示制御について具体的に説明した。本実施形態による制御部115は、上述したような曲がり中心線25に応じたコンテンツ拡大/縮小表示制御を、曲がり中心線25の変化に応じて動的に行ってもよい。ここでコンテンツ(オブジェクト)とは、アイコンおよびサムネイルリスト等に代表されるGUI(Graphical User Interface)のタイルグラフィック、一方向に並んでいるGUIリスト、文字情報などである。以下、図20を参照して動的なコンテンツ拡大/縮小表示制御について具体的に説明する。
【0108】
図20は、第2の実施形態による表示制御例1において、曲がり中心線25の変化に応じた動的な拡大表示制御を説明するための図である。図20左に示すように、情報処理装置10−2を左右方向から徐々に湾曲させると、曲がり中心線25の位置や、曲げ量R’(図20に示す例では、曲げ量Rt’、Rb’から求められる)が変化する。そして、認識部110は、曲がり中心線の位置や曲げ量Rの変化に応じて、フレキシブルディスプレイ15の表示内容を制御する。
【0109】
図20左に示す例では、情報処理装置10−2が左右方向から徐々に湾曲されることで、曲がり中心線25の曲げ量R’が徐々に大きくなる。かかる曲げ量R’の変化に応じて、制御部115は、図20右に示すように、曲がり中心線25に近いコンテンツ57を徐々に拡大表示する制御を行う。また、制御部115は、拡大したコンテンツ57周辺のコンテンツについては、縮小(減衰)表示制御を行ってもよい。
【0110】
このように、制御部115は、曲がり中心線25に近いコンテンツほど大きく表示し(拡大表示制御)、その周辺は小さく表示する制御(減衰表示制御)を行ってもよい。なお、拡大率および縮小率(周辺減衰率)は、曲げ量R’に応じて変化させてもよい。
【0111】
(表示制御例2)
次に、制御部115が、認識部110により認識された曲がり中心線25に沿ってアイコン31を整列させる表示制御例2について説明する。上記第1の実施形態において、撓み状態から張り状態に急激に変化した場合に、アイコン31を整列させる操作例1について図7および図8を参照して説明した。第2の実施形態による表示制御例2では、上記第1の実施形態による撓み状態から張り状態に急激に変化する操作入力と、本実施形態による曲げ操作入力を組み合わせる。以下、図21を参照して具体的に説明する。
【0112】
図21は、第2の実施形態による表示制御例2において、曲がり中心線25に沿ってアイコン31を整列させる制御を説明するための図である。図21上に示すように、ユーザは、アイコン31が不規則に表示されている情報処理装置10−2を左右方向から湾曲させて撓み状態にさせた後、図21下に示すように、急激に張り状態に変化させる。そして、本実施形態による認識部110は、撓み状態から張り状態に変化した際の速度が所定の速度以上である場合、操作入力として認識し、制御部115は、対応する処理コマンドを出力する。具体的には、図21下に示すように、制御部115は、張り状態に変化する前の撓み状態における曲がり中心線25(図21上参照)の位置に沿ってアイコン31を整列させる表示制御を行う。
【0113】
(表示制御例3)
上記表示制御例1および表示制御例2では、フレキシブルディスプレイ15が湾曲された場合に、曲がり中心線25を求め、対応する表示制御を行う場合について説明した。しかし、本実施形態による表示制御はこれに限定されず、例えばフレキシブルディスプレイ15の角部が折り曲げられた状態を認識し、対応する表示制御を行ってもよい。以下、第2の実施形態による表示制御例2において、角部が折り曲げられた場合の表示制御について説明する。
【0114】
図22は、第2の実施形態による表示制御例3によるブックマーク表示制御を説明するための図である。図22に示す例では、フレキシブルディスプレイ15に電子書籍が表示されているが、この他、WEBページや新聞など、ブックマーク機能が有効な表示内容であればよい。
【0115】
図22に示すように、ユーザがフレキシブルディスプレイ15の左上角を曲げると、認識部110により、各アレイ上の曲げ量ピーク位置が抽出される。例えば、図22に示すように、上辺において、曲げ量ピーク位置t’、左辺において曲げ量ピーク位置l’が抽出される。これにより、認識部110は、左上角部が折り曲げられと判断できる。さらに、認識部110は、各ピーク位置の曲げ量の総和が所定の値以上であるか否かを判断する。
【0116】
そして認識部110は、左上角部が折り曲げられ、さらに曲げ量Rt’、Rl’の総和が所定の値以上である場合、ユーザによる折り曲げ動作を操作入力として認識し、認識結果を制御部115に出力する。
【0117】
制御部115は、当該認識結果に応じて、フレキシブルディスプレイ15の左上角部にブックマークアイコン33を表示し、ユーザによる折り曲げ操作入力に対する視覚的フィードバックを行う。また、制御部115は、ブックマークしたページをRAM11などに記憶させる。
【0118】
以上、角部が折り曲げられた場合の表示制御の一例として、ブックマーク表示制御について説明した。なお、本実施形態による制御部115は、どの角部が折り曲げられたかによって異なる制御を行ってもよい。以下、図23を参照して、図22に示す例とは異なる角部が折り曲げられた場合の制御について説明する。
【0119】
図23は、第2の実施形態による表示制御例3によるページめくり表示制御を説明するための図である。図23に示す例では、フレキシブルディスプレイ15に円グラフや文書を含むグラフィックが表示されているが、この他、電子書籍、WEBページ、新聞など、ページめくりが有効な表示内容であればよい。
【0120】
図23に示すように、ユーザがフレキシブルディスプレイ15の右下角を曲げると、認識部110により、フレキシブルディスプレイ15の右辺において曲げ量ピーク位置r’、および下辺において曲げ量ピーク位置b’、が抽出される。これにより、認識部110は、右下角部が折り曲げられと判断できる。さらに、認識部110は、各ピーク位置の曲げ量の総和が所定の値以上であるか否かを判断する。
【0121】
そして認識部110は、右下角部が折り曲げられ、さらに曲げ量Rr’、Rb’の総和が所定の値以上である場合、ユーザによる折り曲げ動作を操作入力として認識し、認識結果を制御部115に出力する。
【0122】
制御部115は、当該認識結果に応じて、図23上に示すように、フレキシブルディスプレイ15のめくり領域67に次ページの表示内容を表示する。
【0123】
ここで、めくり領域67は、例えば右辺の曲げ量ピーク位置r’と、フレキシブルディスプレイ15の折り返された右下角の位置63とを結ぶ線分65に応じて設定してもよい。折り返された右下角の位置63は、右辺の曲げ量ピーク位置r’および下辺の曲げ量ピーク位置b’を利用して制御部115により求められる。
【0124】
したがって、フレキシブルディスプレイ15の右下角部をさらに折ると、図23下に示すように、線分65の位置が移動し、めくり領域67の領域が広がる。
【0125】
なお、めくり領域67の設定は上記例に限定されず、曲げ量ピーク位置r’、b’から推定される折り曲げ形状に応じて設定されてもよい。
【0126】
(表示制御例4)
上述した表示制御例1〜3では、フレキシブルディスプレイ15を正対する方向から湾曲させた場合や、角部を折り曲げた場合の曲げ状態を操作入力として認識し、対応する表示制御について説明した。しかし、本実施形態による認識部110は、上述した湾曲や折り曲げの認識に限定されず、その他様々な曲げ状態のパターンを認識することができる。
【0127】
例えば、本実施形態による認識部110は、ユーザがフレキシブルディスプレイ15の一端を手で把持した状態(持ち状態)を認識することもできる。以下、第2の実施形態による表示制御例4として、ユーザの持ち状態を認識し、対応する表示制御を行う場合について説明する。
【0128】
図24は、第2の実施形態による表示制御例4による持ち状態に応じた表示制御を説明するための図である。ユーザがフレキシブルディスプレイ15の一端を持ち、フレキシブルディスプレイ15が撓むと、認識部110は、各曲率センサ20から検知される曲げ量に基づいて、待ち位置を抽出する。
【0129】
待ち位置は、例えば全アレイ上の曲率センサ20のうち、最も高い曲げ量Rを検知した曲率センサ20が設けられている位置(曲げ量ピーク位置)と判断してもよい。図24に示す例では、フレキシブルディスプレイ15の下辺において、持ち位置b’が抽出される。
【0130】
また、認識部110は、持ち位置b’を含む下辺と正対する上辺の曲がり中心位置t’を抽出し、持ち位置b’と曲がり中心位置t’を結ぶ持ち折り線分55を求める。
【0131】
このように、認識部110は、複数の曲率センサ20からの各検知結果(曲げ量)に基づいて、持ち位置、および持ち位置に応じた持ち折り線分55を求めることで、持ち状態を操作入力として認識し、認識結果を制御部115に出力する。なお、認識部110は、持ち状態を操作入力として認識する条件に、上記曲げ量ピーク位置の曲げ量R’が所定の閾値以上である場合という条件を加えてもよい。
【0132】
そして、制御部115は、上記認識結果に基づいて、持ち折り線分55により2分割されるフレキシブルディスプレイ15の表示領域の割合に応じた制御を行う。例えば図24下の持ち状態A〜Bに示すように、分割割合に応じて、動画再生、コメント表示、プレイリスト表示などが表示される。
【0133】
より具体的には、フレキシブルディスプレイ15の左寄りに位置する持ち折り線分55Aで2分割された場合、制御部115は、図24下の持ち状態Aに示すように、狭い方の表示領域にはコメントを表示し、広い方の表示領域では動画再生を行うよう制御する。
【0134】
また、フレキシブルディスプレイ15の中央に位置する持ち折り線分55Bで2分割された場合、制御部115は、図24下の持ち状態Bに示すように、両表示領域に動画のプレイリストを表示するよう制御する。
【0135】
また、フレキシブルディスプレイ15の右寄りに位置する持ち折り線分55Cで2分割された場合、制御部115は、図24下の持ち状態Cに示すように、狭い方の表示領域で動画再生し、広い方の表示領域でコメントを表示するよう制御する。
【0136】
(表示制御例5)
以上説明した情報処理装置10−2では、装置の透過性については特に言及しなかったが、情報処理装置10−2が透過性を有する場合、裏から表の表示内容が透けて見えるが、表示内容は反転している。そこで、第2の実施形態による表示制御例5として、表示反転制御について、以下図25を参照して説明する。
【0137】
図25上に示すように、透過性を有する情報処理装置10−2のフレキシブルディスプレイ15に画像が表示されている場合に、図25中央右に示すように情報処理装置10−2の端を折り曲げると、裏から表の画像が透けて見えるが、内容は反転している。この場合、認識部110は、図25中央左に示すように、曲げ量ピーク位置t’、l’を結ぶ折り曲げ線分57を求め、操作入力として認識し、認識結果を制御部115に出力する。なお、認識部110は、操作入力として認識する条件に、各曲げ量ピーク位置の曲げ量の総和(図25に示す例では、曲げ量Rt’、Rl’の総和)が所定の閾値以上である場合という条件を加えてもよい。
【0138】
そして、制御部115は、上記認識結果に基づいて、折り曲げ線分57、上辺、および左辺に囲まれた折り返し領域71の表示内容の向きを、表側の表示内容の向きに合わせる制御を行う(反転制御)。これにより、図25下に示すように、フレキシブルディスプレイ15の折り返し領域71において透けて見える画像が、表の画像と同様の向きで表示される。
【0139】
また、情報処理装置10−2が透過性を有さず、両面にフレキシブルディスプレイ15を備える構造の場合も、制御部115は、折り曲げる操作入力に応じて表示内容の向きを制御することができる。より具体的には、両面にフレキシブルディスプレイ15を有する情報処理装置10−2を、図25に示すように折り曲げると、裏側のディスプレイが表から見えるが、その表示内容は横向きになってしまう。そこで、制御部115は、ユーザによる折り曲げる操作入力に応じて、裏面のディスプレイを制御し、表側から見える部分の表示内容の向きを変更する。
【0140】
以上説明したように、本開示の第2の実施形態によれば、曲率センサ20を情報処理装置10−2の各辺にそれぞれ複数配列することにより、曲げ量および曲がり位置を抽出でき、さらにこれらに基づいて情報処理装置10−2の曲げ状態を認識することができる。また、第2の実施形態によれば、このように認識した曲げ状態を操作入力として認識し、対応する処理コマンドを出力することができる。
【0141】
[2−3.第3の実施形態]
(概要)
次に、本開示による第3の実施形態について説明する。上述した第2の実施形態では、情報処理装置10の物理的な曲げ状態を操作入力として認識し、対応する処理コマンドを出力していたが、情報処理装置10が物理的に丸められた状態を操作入力として認識する点については特に言及されていない。
【0142】
そこで、第3の実施形態によれば、撓み検知部(曲率センサ)の検知結果に基づいて、図26に示すように表示面(フレキシブルディスプレイ15)が物理的に丸められた状態を操作入力として認識し、対応する処理コマンドを出力することができる。これにより、本開示による第3の実施形態は、表示面を物理的に丸めることによる操作入力を実現することができる。
【0143】
なお、本実施形態に係る丸めることによる操作入力を実現する情報処理装置10−3のハードウェア構成および機能構成は、「1−1.ハードウェア構成」および「1−2.機能構成」で上述した通りである。続いて、本実施形態の認識部110による丸め状態の認識について説明する。
【0144】
(丸め状態の認識)
第3の実施形態による認識部110(図4参照)は、情報処理装置10−3(フレキシブルディスプレイ15)の各辺に設けられた曲率センサ20から検知された曲げ量に基づいて、情報処理装置10−3が丸められた状態か否かを判断する。より具体的には、認識部110は、検知された曲げ量と、情報処理装置10−3を丸めて一周させた閉状態における、360度を示すような曲げ量を示す閾値とを比較することにより判断できる。
【0145】
例えば、曲率センサ20が図3に示したようにフレキシブルディスプレイ15の各アレイ上に複数配列され、ユーザにより情報処理装置10−3が丸められると、認識部110は、各アレイの複数の曲率センサ20から曲げ量を取得する。
【0146】
そして、認識部110は、アレイ毎に曲げ量Rを合計、すなわち、上辺の合計曲げ量sumR(t)、下辺の合計曲げ量sumR(b)、左辺の合計曲げ量sumR(l)、および右辺の合計曲げ量sumR(r)を求める。
【0147】
なお、情報処理装置10−3(フレキシブルディスプレイ15)の各辺に1個ずつ曲率センサ20が設けられている場合は、各曲率センサ20から検知された曲げ量をそれぞれsumRと定義してもよい。
【0148】
そして、認識部110は、このように求めたsumRのうち、上位2つの各sumRと、情報処理装置10−3を一周丸めた場合に想定される、360度を示すような1辺の合計曲げ量を示す閾値(以下、閾値v)とを比較することにより情報処理装置10−3の状態を判断する。
【0149】
例えば、図27に示す例では、sumR(t)およびsumR(b)が上位2つの合計曲げ量であるので、これらが上記閾値vを満たす場合、認識部110は、情報処理装置10−3が丸められた状態であると判断し、操作入力として認識する。そして、認識部110は認識結果を制御部115に出力し、制御部115は当該認識結果に基づいて、対応する処理コマンドを出力する。
【0150】
なお、ここでは閾値vを満たす場合に丸め操作入力と認識する旨を説明したが、本実施形態はこれに限定されない。例えば、情報処理装置10−3を二週丸めた場合に想定される720度を示すような合計曲げ量を示す閾値(以下、閾値w)を用いてもよい。認識部110は、各上位sumRが閾値wを満たす場合、二重丸め操作入力として認識する。これにより、情報処理装置10−3の丸め状態の認識精度を向上させることができ、また、対応する処理コマンドのバリエーションを広げることができる。
【0151】
また、図27を参照して上述した例では、上位2つの各sumRと、閾値vとを比較することにより情報処理装置10−3の丸め状態を判断したが、本実施形態はこれに限定されない。例えば、認識部110は、各アレイに配列される曲率センサ20の各曲げ量と、閾値oとを比較することにより、丸め状態を判断してもよい。閾値oは、情報処理装置10−3を一周丸めた場合に想定される、丸めた辺の各曲率センサの曲げ量を示す閾値である。
【0152】
例えば、図28に示す例では、上辺に配列される曲率センサ20t−t0〜tNの各曲げ量が閾値oに対して分散しているので、認識部110は、上辺が丸まっていると認識できる。このように、個々の曲率センサの曲げ量をそれぞれ閾値oと比較することで、合計曲げ量sumRの場合は1箇所だけ曲げ量が高い場合にも丸まっていると判断されてしまうことを回避することができるので、より丸め状態の認識精度を向上させることができる。
【0153】
以上、第3の実施形態による丸め状態の認識について詳細に説明した。続いて、本実施形態による動作処理の一例について図29を参照して説明する。
【0154】
(動作処理)
図29は、第3の実施形態による動作処理の一例を示すフローチャートである。なお、図29に示す例では、上記図27を参照して説明した合計曲げ量sumRを用いた丸め状態認識を行う。
【0155】
図29に示すように、まず、ステップS133において、認識部110は、アレイ毎に、曲げ量の総量(合計曲げ量sumR)を算出する。次に、ステップS136において、認識部110は、上位2つの合計曲げ量sumRが、閾値v以上であるか否かを判断する。
【0156】
ステップS136において、合計曲げ量sumRが閾値v以上である場合、認識部110は、情報処理装置10−3が丸められた状態であると判断し、丸め操作入力と認識する旨を認識結果として認識部110に出力する。
【0157】
次いで、ステップS139において、制御部115は、認識部110から出力された認識結果に基づいて、対応する処理コマンドを出力する。
【0158】
以上、第3の実施形態による動作処理について説明した。上記ステップS139で制御部115が出力する処理コマンドは特に限定されないが、例えば丸めるという動作と直感的に関連するとユーザに感じさせる処理コマンドであってもよい。丸める動作は、ユーザにとって「まとめる」といった操作感覚と同様である。そこで、このような操作感覚に基づいて、複数のファイルをまとめる処理コマンド(機能)を実行することで、直感的な操作入力を実現することができる。以下、図30を参照して実行する機能の一例を説明する。
【0159】
(機能実行)
図30は、第3の実施形態による制御部115が、丸め操作入力に応じて実行する機能を説明するための図である。図30の「丸め開始前」に示すように、フレキシブルディスプレイ15には複数のファイルアイコン73が表示されている状態において、ユーザは情報処理装置10−3を丸める。
【0160】
制御部115は、図30の「丸め開始」に示すように、徐々に変化する各辺の合計曲げ量sumRに応じて、複数のファイル73の表示位置を近づけさせ、複数のファイル73のまとまり具合を表現する。
【0161】
さらに、ユーザは情報処理装置10−3を丸め、図30の「丸め状態」に示すように、一周以上丸めた状態とする。認識部110は、フレキシブルディスプレイ15の各アレイ上の曲げ量の総量を算出し、算出したsumRの上位2つの各sumRが閾値v以上の場合、情報処理装置10−3が丸められた状態であると判断し、丸め操作入力として認識する。
【0162】
次に、制御部115は、認識部110の丸め操作入力認識に応じて、複数のファイルアイコン73を1つのフォルダにまとめる機能(変換機能)を実行する。
【0163】
また、制御部115は、図30の「丸め操作後」に示すように、複数ファイルの集合を示すフォルダアイコン75をフレキシブルディスプレイ15に表示する。
【0164】
以上、丸め操作入力に応じて実行される具体的な機能について説明した。なお、情報処理装置10−3を一周以上丸めた場合、図30の「丸め状態」に示すように、情報処理装置10−3の一部が重なり、その部分が指で押さえられる。したがって、例えば情報処理装置10−3がタッチパネルを有する構造であった場合、情報処理装置10−3が丸められ、一部の重なった部分が指で押圧されることにより、意図せずタッチ操作を検知する恐れがある。
【0165】
よって、例えば情報処理装置10−3が一周以上丸められたと認識された場合、制御部115はタッチパネルの機能(タッチ操作検知機能)を一時的にOFFしてもよい。若しくは、タッチパネルの一部の領域のみ、タッチ操作検知機能をOFFしてもよい。タッチパネルの一部の領域のみ機能OFFする場合について、以下図31を参照して説明する。
【0166】
図31は、第3の実施形態による制御部115が丸め状態に応じてタッチ操作検知機能をOFFすることを説明するための図である。図31に示すように、情報処理装置10−3は、フレキシブルタッチパネル16、フレキシブルディスプレイ15、および曲率センサ20が積層された構造である。図31左に示すように、情報処理装置10−3の一部が丸められると、情報処理装置10−3の上辺に配置された曲率センサ20t、および下辺に配置された曲率センサ20bからは、図31右に示すような曲げ量Rの信号系列が検知される。
【0167】
認識部110は、各曲率センサ20から取得された曲げ量Rに基づいて、情報処理装置10−3のどの領域が一周以上丸まっているかを認識する。例えば、認識部110は、曲率センサ20から検知される各曲げ量に基づいて、情報処理装置10−3の立体形状を推定し、一周以上丸められている領域を認識してもよい。そして、制御部115は、かかる領域のタッチ操作検知機能をOFFにしてもよい。具体的には、例えば制御部115は、フレキシブルタッチパネル16のかかる領域から検知されたタッチ操作を棄却してもよい。
【0168】
以上説明したように、本開示の第3の実施形態によれば、曲率センサ20により検知される曲げ量に基づいて、表示面が物理的に丸められた状態を操作入力として認識し、対応する処理コマンドを出力することができる。
【0169】
<3.まとめ>
上述したように、本開示の第1の実施形態によれば、情報処理装置10−1の物理的な撓みの変化を操作入力として認識し、対応する処理コマンドを出力することで、曲げ操作入力の利便性を向上させることができる。また、撓ませる操作感覚から連想される処理コマンドを出力することにより、直感的な操作入力を実現することができる。
【0170】
また、本開示の第2の実施形態によれば、曲率センサ20を情報処理装置10−2の各辺にそれぞれ複数配列することにより、曲げ量および曲がり位置を抽出でき、さらにこれらに基づいて情報処理装置10−2の曲げ状態を認識することができる。また、第2の実施形態によれば、このように認識した曲げ状態を操作入力として認識し、対応する処理コマンドを出力することができる。
【0171】
また、本開示の第3の実施形態によれば、曲率センサ20により検知される曲げ量に基づいて、表示面が物理的に丸められた状態を操作入力として認識し、対応する処理コマンドを出力することができる。
【0172】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属
するものと了解される。
【0173】
例えば、上記各実施形態において、フレキシブルディスプレイ15の曲がり中心線を示す表示制御を併せて行い、曲げ操作に対する視覚的フィードバックを行ってもよい。具体的には、曲率センサ20の上にフレキシブルディスプレイ15が積層される構造において、例えば図32に示すように、曲がり中心線が位置すると認識された箇所を矢印や三角などのアイコン77で示してもよい。
【0174】
また、検知された曲げ量が大きい箇所程赤に近い色を表示し、曲げ量が小さい箇所程青に近い色を表示するなど、図33に示すように、曲げ量の大きさに応じた色分け表示79を各辺に表示してもよい。
【0175】
なお、本技術は以下のような構成も取ることができる。
(1)
可撓性を有する表示面と、
前記表示面の撓みを検知する撓み検知部と、
前記撓み検知部により検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力する制御部と、
を備える、情報処理装置。
(2)
前記制御部は、前記撓み検知部により検知された撓み量の周期的な変化に応じて処理コマンドを出力する、前記(1)に記載の情報処理装置。
(3)
前記制御部は、予め記憶したパターンと前記撓み量の周期的な変化とを比較することにより、対応する処理コマンドを判断する、前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記撓み検知部による検知結果に基づく前記表示面の張り状態および撓み状態間の変化に応じて処理コマンドを出力する、前記(1)に記載の情報処理装置。
(5)
前記制御部は、前記撓みの変化に応じて、表示内容を切り替える処理コマンドを出力する、前記(1)から(4)のいずれか1項に記載の情報処理装置。
(6)
前記制御部は、前記撓みの変化に応じて、前記表示面に表示するオブジェクトのデータを近接する通信端末に送信する処理コマンドを出力する、前記(1)から(4)のいずれか1項に記載の情報処理装置。
(7)
可撓性を有する表示面の撓みを検知するステップと、
前記撓みを検知するステップにより検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力するよう制御するステップと、
を含む、制御方法。
(8)
可撓性を有する表示面の撓みを検知する処理と、
前記撓みを検知する処理により検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力するよう制御する処理と、
をコンピュータに実行させる、プログラム。
(9)
前記制御する処理は、前記撓みを検知する処理により検知された撓み量の周期的な変化に応じて処理コマンドを出力する、前記(8)に記載のプログラム。
(10)
前記制御する処理は、予め記憶したパターンと前記撓み量の周期的な変化とを比較することにより、対応する処理コマンドを判断する、前記(9)に記載のプログラム。
(11)
前記制御する処理は、前記撓みを検知する処理による検知結果に基づいて、前記表示面の張り状態および撓み状態間の変化に応じて処理コマンドを出力する、前記(8)に記載のプログラム。
(12)
前記制御する処理は、前記撓みの変化に応じて、表示内容を切り替える処理コマンドを出力する、前記(8)から(11)のいずれか1項に記載のプログラム。
(13)
前記制御する処理は、前記撓みの変化に応じて、前記表示面に表示するオブジェクトのデータを近接する通信端末に送信する処理コマンドを出力する、前記(8)から(12)のいずれか1項に記載のプログラム。
【符号の説明】
【0176】
10、10−1〜10−3 情報処理装置
11 RAM
13 不揮発性メモリ
15 フレキシブルディスプレイ
17 CPU
19 通信部
20(20t0〜tN、20b0〜bN、20l0〜lN、20r0〜rN) 曲率センサ
110 認識部
115 制御部
【特許請求の範囲】
【請求項1】
可撓性を有する表示面と、
前記表示面の撓みを検知する撓み検知部と、
前記撓み検知部により検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力する制御部と、
を備える、情報処理装置。
【請求項2】
前記制御部は、前記撓み検知部により検知された撓み量の周期的な変化に応じて処理コマンドを出力する、請求項1に記載の情報処理装置。
【請求項3】
前記制御部は、予め記憶したパターンと前記撓み量の周期的な変化とを比較することにより、対応する処理コマンドを判断する、請求項2に記載の情報処理装置。
【請求項4】
前記制御部は、前記撓み検知部による検知結果に基づく前記表示面の張り状態および撓み状態間の変化に応じて処理コマンドを出力する、請求項1に記載の情報処理装置。
【請求項5】
前記制御部は、前記撓みの変化に応じて、表示内容を切り替える処理コマンドを出力する、請求項1に記載の情報処理装置。
【請求項6】
前記制御部は、前記撓みの変化に応じて、前記表示面に表示するオブジェクトのデータを近接する通信端末に送信する処理コマンドを出力する、請求項1に記載の情報処理装置。
【請求項7】
可撓性を有する表示面の撓みを検知するステップと、
前記撓みを検知するステップにより検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力するよう制御するステップと、
を含む、制御方法。
【請求項8】
可撓性を有する表示面の撓みを検知する処理と、
前記撓みを検知する処理により検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力するよう制御する処理と、
をコンピュータに実行させる、プログラム。
【請求項9】
前記制御する処理は、前記撓みを検知する処理により検知された撓み量の周期的な変化に応じて処理コマンドを出力する、請求項8に記載のプログラム。
【請求項10】
前記制御する処理は、予め記憶したパターンと前記撓み量の周期的な変化とを比較することにより、対応する処理コマンドを判断する、請求項9に記載のプログラム。
【請求項11】
前記制御する処理は、前記撓みを検知する処理による検知結果に基づいて、前記表示面の張り状態および撓み状態間の変化に応じて処理コマンドを出力する、請求項8に記載のプログラム。
【請求項12】
前記制御する処理は、前記撓みの変化に応じて、表示内容を切り替える処理コマンドを出力する、請求項8に記載のプログラム。
【請求項13】
前記制御する処理は、前記撓みの変化に応じて、前記表示面に表示するオブジェクトのデータを近接する通信端末に送信する処理コマンドを出力する、請求項8に記載のプログラム。
【請求項1】
可撓性を有する表示面と、
前記表示面の撓みを検知する撓み検知部と、
前記撓み検知部により検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力する制御部と、
を備える、情報処理装置。
【請求項2】
前記制御部は、前記撓み検知部により検知された撓み量の周期的な変化に応じて処理コマンドを出力する、請求項1に記載の情報処理装置。
【請求項3】
前記制御部は、予め記憶したパターンと前記撓み量の周期的な変化とを比較することにより、対応する処理コマンドを判断する、請求項2に記載の情報処理装置。
【請求項4】
前記制御部は、前記撓み検知部による検知結果に基づく前記表示面の張り状態および撓み状態間の変化に応じて処理コマンドを出力する、請求項1に記載の情報処理装置。
【請求項5】
前記制御部は、前記撓みの変化に応じて、表示内容を切り替える処理コマンドを出力する、請求項1に記載の情報処理装置。
【請求項6】
前記制御部は、前記撓みの変化に応じて、前記表示面に表示するオブジェクトのデータを近接する通信端末に送信する処理コマンドを出力する、請求項1に記載の情報処理装置。
【請求項7】
可撓性を有する表示面の撓みを検知するステップと、
前記撓みを検知するステップにより検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力するよう制御するステップと、
を含む、制御方法。
【請求項8】
可撓性を有する表示面の撓みを検知する処理と、
前記撓みを検知する処理により検知された撓みの変化を操作入力として認識し、対応する処理コマンドを出力するよう制御する処理と、
をコンピュータに実行させる、プログラム。
【請求項9】
前記制御する処理は、前記撓みを検知する処理により検知された撓み量の周期的な変化に応じて処理コマンドを出力する、請求項8に記載のプログラム。
【請求項10】
前記制御する処理は、予め記憶したパターンと前記撓み量の周期的な変化とを比較することにより、対応する処理コマンドを判断する、請求項9に記載のプログラム。
【請求項11】
前記制御する処理は、前記撓みを検知する処理による検知結果に基づいて、前記表示面の張り状態および撓み状態間の変化に応じて処理コマンドを出力する、請求項8に記載のプログラム。
【請求項12】
前記制御する処理は、前記撓みの変化に応じて、表示内容を切り替える処理コマンドを出力する、請求項8に記載のプログラム。
【請求項13】
前記制御する処理は、前記撓みの変化に応じて、前記表示面に表示するオブジェクトのデータを近接する通信端末に送信する処理コマンドを出力する、請求項8に記載のプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【公開番号】特開2013−105310(P2013−105310A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2011−248605(P2011−248605)
【出願日】平成23年11月14日(2011.11.14)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願日】平成23年11月14日(2011.11.14)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]