移動体通信端末試験システム及び移動体通信端末の試験方法
【課題】ソフトウェアの入れ替えに係る処理を効率化することで試験時間を短縮する。
【解決手段】ソフトウェアを有する複数の試験装置を制御し移動体通信端末の各種試験を実行する試験実行部と、試験装置それぞれのソフトウェアの入れ替えを含む動作設定を１組のテストケースとして複数のテストケースを記憶するテストケース記憶部とを備え、試験実行部がテストケースに従い試験装置の動作設定を変更しながら試験を実行する移動体通信端末試験システムであって、予め複数のテストケースに含まれる複数の試験装置ごとに、動作設定を基に、全テストケースを通して動作設定を変更する時間が最大なる時間と、最小となる時間との差から処理時間差を算出し、少なくとも処理時間差が最も大きい試験装置において、全テストケースを通して動作設定を変更する時間が最小となるように複数のテストケースを並び替える。
【解決手段】ソフトウェアを有する複数の試験装置を制御し移動体通信端末の各種試験を実行する試験実行部と、試験装置それぞれのソフトウェアの入れ替えを含む動作設定を１組のテストケースとして複数のテストケースを記憶するテストケース記憶部とを備え、試験実行部がテストケースに従い試験装置の動作設定を変更しながら試験を実行する移動体通信端末試験システムであって、予め複数のテストケースに含まれる複数の試験装置ごとに、動作設定を基に、全テストケースを通して動作設定を変更する時間が最大なる時間と、最小となる時間との差から処理時間差を算出し、少なくとも処理時間差が最も大きい試験装置において、全テストケースを通して動作設定を変更する時間が最小となるように複数のテストケースを並び替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体通信端末と通信接続可能な擬似基地局機能を有し、移動体通信端末に対し複数の試験を行う移動体通信端末試験システム及び移動体通信端末の試験方法において、各試験を実行する順序を組替えることで試験全体の効率化を図り試験時間を短縮する技術に関する。
【背景技術】
【０００２】
複数のユーザが同時に通話できる「多元接続（Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）」方式のうち、周波数利用効率に優れる「符号分割多元接続：ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）」方式が複数の方法で実用化できるようになった。これら複数の方式のうちで特に、国際電気通信連合（ＩＴＵ）が定める世界標準規格ＩＭＴ−２０００の一方式である“Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）”と称する「広帯域・符号分割多元接続」方式があり、この接続方式を利用した移動体通信端末が実用化されている。さらに、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）と呼ばれる次世代の移動体通信規格も策定されつつある。
【０００３】
上述のＷ−ＣＤＭＡ方式やＬＴＥ方式に関する通信方式やデータフォーマットが３ＧＰＰ（３ｒｄ． Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）により検討され、国際標準規格として規格化されている。移動体通信端末や基地局装置はこの規格に準拠する必要があり、この規格への準拠性を検証するための移動体通信端末試験システムが提供されている。
【０００４】
前記移動体通信端末試験システムの例として、特許文献１には、携帯電話（移動体通信端末）の試験時に、実行する試験に応じて必要な測定器を特定する技術が開示されている。特許文献１からもわかる通り、移動体通信端末試験システムによる試験は様々な試験装置（測定器）を組み合わせて実施する必要がある。
【０００５】
移動体通信端末試験システムは、１つの移動体通信端末の機能・性能等に応じた試験項目（以降は「テストケース」と呼ぶ）があり、その試験項目に対応して各種試験装置を制御して試験を実施する。移動体通信端末の各試験は、各種のテストケースとして移動体通信端末試験システムにより管理されている。一つのテストケースは、一般的には、複数の測定装置を組み合わせ（動作条件も含む）、それらを測定制御装置（一般的にはパーソナルコンピューターなどが用いられる）に組み込まれたソフトウェア（例えば、組込ソフトウェアが該当する。以降は単に「ソフトウェア」と呼ぶ）で制御することにより実現される。一般的に試験装置の機能拡張等は、組み込まれているソフトウェアを新しく更新することで対応される。そのため、このソフトウェアの更新をバージョンで管理するとともに、試験装置や測定装置と組み合わせて管理している。これらバージョンの管理がその試験装置及び測定制御装置の機能や性能を一義に規定する。
【０００６】
一方で、テストケースの実装の有効性は、その実装が法令あるいは自主規制項目に合致していることを、テストケースの作成元以外の第３者機関が認定することにより保証される。この第３者機関はテストケースの有効性を保証する際、実際にテストケースを実行した環境（以降は「テスト環境」と呼ぶ）、つまり試験装置の構成と該試験装置に組み込まれるソフトウェアのバージョンとを、テストケースに一義的に対応付けて保証する。ゆえに、有効性が保証されたテストケースを実際に使用して試験を行う場合は、有効性が保証されたテスト環境を再現して試験しなければならない。
【０００７】
例えば、試験装置Ａにバージョン１．０１のソフトウェアが組み込まれ、試験装置Ｂにバージョン３．０３のソフトウェアを組み込まれたテスト環境によりテストケース１を実行し、第３者機関がテストケース１の認定をしたとする。その後、認定を受けた業者は、この認定を受けたテストケース１を用いて移動体通信端末の規格への準拠性を確認するときには、試験装置Ａにはバージョン１．０１のソフトウェアを組み込み、試験装置Ｂにバージョン３．０３のソフトウェアを組み込んだテスト環境のみで試験を実施しなければならない。このとき、試験環境の構成が１つでも異なる場合（例えば、試験装置Ａに組み込んだソフトウェアがバージョン１．０１と異なる場合）、テストケース１に関する規格への準拠性は保証されないことになる。
【０００８】
上述したテストケースは、移動体通信端末の規格の追加や変更に伴い新たに追加されていく。例えば、ＬＴＥの規格への準拠性を新たに検証可能とする場合、ＬＴＥの規格への準拠性を確認可能なテストケースを作成し、第３者機関の認定を受ける必要がある。このとき、新たな規格への準拠にあわせてソフトウェアを改変した場合、改変前のソフトウェアで認定を受けているテストケースの実行には、改変後のソフトウェアを使用することはできない。もし、既に認定を受けているテストケースに改変後のソフトウェアを用いる場合、改変後のソフトウェアを組み込んだテスト環境で、新たに第３者機関の認定を受ける必要がある。
【０００９】
テストケースの数は数百におよび、その数は規格の追加や変更に伴い増大していく。そのため移動体通信端末試験システムでは、一般的には、テストケースごとに、対応する試験で使用される試験装置と該試験装置に組み込まれるソフトウェアのバージョンとを対応付けて管理し、必要に応じて試験装置のソフトウェアを入れ替えながら試験を実行する構成としている。
【００１０】
つまり、このような移動体通信端末試験システムでは、試験を実行する前に、テストケースに応じて各試験装置に組み込むべきソフトウェアのバージョンを確認し、そのテストケースに必要なバージョンのソフトウェアに入れ替えることで、テストケースを実行するためのテスト環境を再現する管理をしている。例えば、前述したテストケース１の環境を再現する場合は、試験装置Ａのソフトウェアをバージョン１．０１に入れ替え、試験装置Ｂのソフトウェアをバージョン３．０３に入れ替えることで、テスト環境を再現することになる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００３−２８３４４６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
従来の移動体通信端末試験システムでは、この試験装置に組み込まれるソフトウェアの入れ替えは、試験装置を操作する操作者がテストケースごとに手動で行っている。これは、操作者にとって大きな負担である。また、手動によりソフトウェアを入れ替える際に、誤ったバージョンのソフトウェアを組み込んでしまう可能性がある。
【００１３】
例えば、テストケース１を実行する場合には、試験装置Ａにバージョン１．０１のソフトウェアを組み込まなければいけないとする。このとき、誤って異なるバージョン（例えばバージョン１．７３）のソフトウェアを組み込んで試験を実行をした場合、テストケース１に関する規格への準拠性が保証されたことにはならない。このように、手動でソフトウェアを入れ替える場合、上述したように誤ったバージョンのソフトウェアを使用するといった事態を未然に防止することが困難である。これにより、被試験対象である移動体通信端末の規格への準拠性を確認し認定を行う際に、誤った結果に基づいて認定をしてしまう事故につながる可能性がある。
【００１４】
一方で、試験装置に組み込まれるソフトウェアの入れ替えは、一般にダウンロードと呼ばれる処理が必要になる。具体的には、試験装置にソフトウェアを外部から導入し、該ソフトウェアを試験装置の記憶領域（例えば、内部不揮発性メモリ）に書込む処理が必要になる。この処理は、ダウンロードするソフトウェアの容量にもよるが、一般的に非常に時間のかかる処理である。
【００１５】
近年では、Ｗ−ＣＤＭＡの上位規格となるＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）などの技術仕様が盛り込まれ、ＬＴＥの規格が策定されるなど、仕様の範囲が追加・変更されている。このような規格の追加・変更に伴い新たなテストケースが増加し、それに伴い各ソフトウェアも機能追加等によりバージョンが増加している。バージョンの追加に伴いソフトウェアの入れ替えの回数も増加するため、試験の入れ替えにかかる時間も増加し試験時間も長くなる傾向にある。
【００１６】
本発明は上記問題を解決するものであり、複数のテストケースについて連続して試験を実行する場合において、ソフトウェアの入れ替えの回数を低減することで処理を効率化し、試験時間を短縮して誤りなく試験を実行することを目的とする。
【課題を解決するための手段】
【００１７】
上記目的を達成するために、請求項１に記載の発明は、ソフトウェアを有する複数の試験装置を制御し被試験対象である移動体通信端末（２）の各種試験を実行する試験実行部（１０）と、前記複数の試験装置それぞれを動作させるための前記ソフトウェアの入れ替えを含む動作設定を１組のテストケースとして、複数のテストケースを記憶するテストケース記憶部（１２）とを備え、前記試験実行部が前記テストケースに従い前記試験装置の動作設定を変更しながら前記試験を実行する移動体通信端末試験システムであって、前記複数のテストケースが３以上備えられており、予め、前記複数のテストケースに含まれる複数の前記試験装置ごとに、前記動作設定を基に、全テストケースを通して前記動作設定を変更する時間が最大となるように前記複数のテストケースを並び替えた場合の最大処理時間と、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替えた場合の最小処理時間との差から処理時間差を算出する処理コスト算出部（１１３）と、少なくとも、前記処理時間差が最も大きい前記試験装置を特定し、それを基に全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替える実行順序決定部（１１４）とを備えたことを特徴とする。
また、請求項２に記載の発明は、前記実行順序決定部が、前記処理時間差が最小となる前記試験装置において、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替えた場合の、前記複数のテストケースの実行順序を基礎として、前記処理時間差が小さい前記試験装置の順に前記複数のテストケースの並び替えを行い、かつ、後にテストケースの並び替えを行う前記試験装置については、先に並べ替えられたテストケースの実行順序と、後にテストケースの並び替えを行う前記試験装置に対応した動作設定とを基に、前記複数のテストケースの実行順序を並び替えることを特徴とする。
また、請求項３に記載の発明は、ソフトウェアを有する複数の試験装置を制御し被試験対象である移動体通信端末の各種試験を実行する移動体通信端末試験システムにおいて、複数の試験装置それぞれを動作させるための前記ソフトウェアの入れ替えを含む動作設定を１組のテストケースとして、前記テストケースに沿って前記試験を実行する試験方法であって、前記複数のテストケースに含まれる複数の前記試験装置ごとに、前記動作設定を基に、全テストケースを通して前記動作設定を変更する時間が最大なるように前記複数のテストケースを並び替えた場合の最大処理時間と、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替えた場合の最小処理時間との差から処理時間差を算出する処理時間差算出ステップと、少なくとも、前記処理時間差が最も大きい前記試験装置において、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替える並び替えステップとを備えたことを特徴とする。
また、請求項４に記載の発明は、請求項３に記載の試験方法であって、前記並び替えステップにおいて、前記処理時間差が最小となる前記試験装置において、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替えた場合の、前記複数のテストケースの実行順序を基礎として、前記処理時間差が小さい前記試験装置の順に前記複数のテストケースの並び替えを行い、かつ、後にテストケースの並び替えを行う前記試験装置については、先に並べ替えられたテストケースの実行順序と、後にテストケースの並び替えを行う前記試験装置に対応した動作設定とを基に、前記複数のテストケースの実行順序を並び替えることを特徴とする。
【発明の効果】
【００１８】
本発明に係る移動体通信端末試験システムは、複数のテストケースについて試験を実行するときに、テストケース間で異なるソフトウェアを使用する場合には、ソフトウェアの入れ替えを実行する。このソフトウェアの入れ替えに要する時間がより長い試験装置（例えば、ソフトウェアの容量がより大きい試験装置）について、同じバージョンのソフトウェアを使用するテストケースが連続して実行されるようにテストケース間の実行順序を並び替えることで、ソフトウェアの入れ替えの回数を低減する。これにより、本発明に係る移動体通信端末試験システムは、ソフトウェアの入れ替えに要する時間をより短くし、試験時間を短縮することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明に係る移動体通信端末試験システムのブロック図である。
【図２】各テストケースで使用する試験装置と、該試験装置に組み込まれるソフトウェアのバージョンの対応を管理するデータの例である。
【図３】処理コスト算出部が処理コスト差の算出に用いる、各試験装置における処理コストの一例である。
【図４】第１の実施形態に係る移動体通信端末試験システムにおけるテストケース間の実行順序の並び替えに関する処理を説明するための図である。
【図５】第１の実施形態に係る移動体通信端末試験システムの処理を説明するためのフローチャートである。
【図６】変形例１に係る移動体通信端末試験システムにおけるテストケース間の実行順序の並び替えに関する処理を説明するための図である。
【図７】変形例１に係る移動体通信端末試験システムの処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００２０】
（第１の実施形態）
例えば、ある１つの試験装置のソフトウェアについて、連続するテストケース間で同じもの（同じバージョン）を使用する場合、このソフトウェアを入れ替える必要はない。しかし、連続するテストケース間で異なるもの（異なるバージョン）を使用する場合、このソフトウェアを入れ替える必要がある。このときソフトウェアの入れ替えに要する時間は、入れ替え対象のソフトウェアや試験装置ごとに異なる。以降は、試験装置ごとのソフトウェアの入れ替えに要する時間を「処理コスト」と呼ぶ。一連のテストケースを実行する場合の、試験装置ごとの処理コストの和は、テストケース間の実行順序によって増減する。これは、テストケース間の実行順序により、試験装置に対応するソフトウェアの入れ替えの回数が変わるためである。言い換えれば、テストケース間の実行順序により、処理コストの和が最大となる場合と、最小となる場合があることを示している。
【００２１】
本発明に係る移動体通信端末試験システムでは、一連のテストケースを実行する場合に、試験装置のソフトウェアの入れ替えに要する時間の範囲（分布範囲）を示す係数（以降は「処理コスト差」と呼ぶ）を、処理時間が最大となる場合の時間と最小となる場合の時間との差から算出する。このとき本発明に係る移動体通信端末試験システムは、各試験装置に対し処理コスト差を算出する（処理コスト差の具体的な算出方法については後述する）。
【００２２】
つまり、この処理コスト差が大きい試験装置ほど、テストケース間の実行順序により、処理コストの和として取り得る値の範囲が広いことを示している。言い換えれば、処理コスト差が大きい試験装置ほど、ソフトウェアの入れ替えの回数がより少なくなるようにテストケース間の実行順序を並べ替えた場合、より試験時間を短くすることが可能であることを示している。本発明に係る移動体通信端末試験システムでは、処理コスト差が大きい試験装置ほど、ソフトウェアの入れ替えの回数が少なくなるようにテストケース間の実行順序を並び替えることで、全体の試験時間を短縮することを特徴とする。
【００２３】
まず、第１の実施形態に係る移動体通信端末試験システムの構成について図１を参照しながら説明する。
【００２４】
移動体通信端末試験システム１は、被試験対象である移動体通信端末２の試験を実施する移動体通信端末試験システムであって、主に疑似基地局として動作する。移動体通信端末試験システム１は、試験実行部１０と、テストケース実行制御部１１と、テストケース記憶部１２と、操作部１３とで構成される。
【００２５】
試験実行部１０は、試験に必要な複数の試験装置（試験装置Ａ、Ｂ、又はＣ）と、各試験装置に対応したソフトウェア記憶部（ソフトウェア記憶部Ａ、Ｂ、又はＣ）とで構成される。試験装置Ａ、Ｂ、又はＣの例としては、信号発生器、信号受信器、又は、スペクトラムアナライザー等があげられる。ソフトウェア記憶部Ａ〜Ｃには、対応する試験装置を動作させるためのソフトウェアが、バージョンごとに記憶されている。具体的には、試験装置Ａ〜Ｃを動作させるためのソフトウェアがバージョンごとに記憶されている。
【００２６】
試験実行部１０は、試験に必要な複数の試験装置（試験装置Ａ、Ｂ、又はＣ）を制御し、移動体通信端末２の各種試験を実行する。なお試験実行部１０は、試験を実行させる試験装置のソフトウェアを、異なるバージョンのソフトウェアに入れ替える必要がある場合、試験を実行する前に、該試験装置にソフトウェアを入れ替えさせる。このソフトウェアの入れ替えは、対応する試験装置に既に組み込まれているソフトウェアのバージョンが、試験の実行対象のソフトウェアのバージョンと異なる場合に行われる。例えば、前に実行されたテストケースで使用されたソフトウェアのバージョンと、次に実行するテストケースに対応付けられたソフトウェアのバージョンが異なる場合、対応する試験装置により、次のテストケースの実行前にソフトウェアの入れ替えが行われることになる。
【００２７】
テストケース記憶部１２は、テストケースごとに各試験装置に設定する動作条件をデータ（以降はこのデータを「テストケースデータ」と呼ぶ）として記憶するための記憶領域である。具体的には、例えば試験装置として信号発生器を用いる場合、該信号発生器の動作条件として、５００ＭＨｚや１ＧＨｚといった信号の周波数がテストケースデータに記憶されていることになる。テストケース記憶部１２には、実行対象となる各試験の条件ごとにテストケースデータが記憶されている。
【００２８】
操作部１３は、操作者が移動体通信端末試験システム１で実行される試験の条件を入力するためのユーザインタフェースである。試験の条件としては、例えば、信号発生器の周波数帯域や、各試験装置が出力する信号の出力レベルなどが含まれる。
【００２９】
テストケース実行制御部１１は、試験実行制御部１１１と、バージョン管理データ記憶部１１２と、処理コスト算出部１１３と、実行順序決定部１１４とで構成される。
【００３０】
バージョン管理データ記憶部１１２は、各テストケースで使用する試験装置と、該試験装置に組み込まれるソフトウェアのバージョンとの対応関係を示すデータ（以降は「バージョン管理データ」と呼ぶ）を記憶している。つまりこのバージョン管理データを参照することで、１つのテストケースで使用される試験装置と、該試験装置に組み込まれるソフトウェアが一意に特定できることになる。バージョン管理データ記憶部１１２は、後述する試験実行制御部１１１の指示を受けて、処理コスト算出部１１３及び実行順序決定部１１４にバージョン管理データを出力する（処理コスト算出部１１３及び実行順序決定部１１４については後述する）。なお、各試験装置に組み込まれるソフトウェアもしくは該ソフトウェアを特定する情報（例えば、ソフトウェアのバージョン）が、該試験装置を動作させるための動作設定に相当する。
【００３１】
図２は、バージョン管理データの例である。図２（ａ）は、各試験装置とソフトウェアのバージョンとの関係をテストケースごとに個別に管理する場合のバージョン管理データの例である。図２（ｂ）は、各テストケースで使用する試験装置とソフトウェアのバージョンとの関係をテーブルの形式で管理する場合のバージョン管理データの例である。
【００３２】
例えば、図２（ｂ）において、テストケースＣａｓｅ２のバージョン管理データＣｄ２は、テストケースＣａｓｅ２において、試験装置Ａ〜Ｃが使用されることを示している。このとき、各試験装置に組み込まれるソフトウェアのバージョンは、試験装置Ａが１．０１、試験装置Ｂが２．１３、試験装置Ｃが１．４２であることを示している。また、図２（ａ）及び図２（ｂ）において「使用せず」と表記されている部分は、そのテストケースにおいて対応する試験装置を使用しないことを示している。例えば、テストケースＣａｓｅ１のバージョン管理データＣｄ１は、試験装置Ａ及びＢを使用し、試験装置Ｃは使用しないことを示している。このような場合、使用しない試験装置には、そのテストケースの実行中に、どのようなバージョンのソフトウェアが組み込まれていてもよい。
【００３３】
なお上記では、バージョン管理データをバージョン管理データ記憶部１１２に記憶させる構成として説明したが、テストケース記憶部１２に記憶させる構成としてもよい。この場合、例えば、図２（ａ）及び図２（ｂ）に示したバージョン管理データを、テストケース記憶部１２に記憶されたテストケースデータに対応付けて管理する構成としてもよい。また、バージョン管理データに相当する情報を、テストケースデータに含める構成としてよい。
【００３４】
試験実行制御部１１１は、操作部１３から操作者が指定した試験条件に従いテストケース記憶部１２よりテストケースデータを抽出する。試験実行制御部１１１は、テストケースデータを抽出すると、処理コスト算出部１１３に処理コスト差を算出させ、実行順序決定部１１４に算出された処理コスト差を基にテストケース間の実行順序を並べ替えさせる（処理コスト算出部１１３及び実行順序決定部１１４については後述する）。試験実行制御部１１１は、実行順序決定部１１４が並び替えたテストケースを遂次読出し、試験実行部１０を介して各試験装置に試験を実行させる。この一連の処理について以下に詳しく説明する。
【００３５】
試験実行制御部１１１は、テストケースデータを抽出すると、抽出したテストケースデータを基にした処理コスト差の算出を処理コスト算出部１１３に指示する。また、試験実行制御部１１１は、バージョン管理データ記憶部１１２に、抽出したテストケースデータに対応するバージョン管理データの出力を指示する。
【００３６】
処理コスト算出部１１３は、テストケース実行制御部１１からの指示を受けて、抽出された一連のテストケースデータを実行する場合における、各試験装置の処理コスト差を算出する。以降に、処理コスト算出部１１３の処理コスト差の算出に係る処理について、図３及び図４を参照して説明する。図３は、処理コスト算出部１１３が処理コスト差を算出するための、各試験装置における処理コストの一例である。図４は、第１の実施形態に係る移動体通信端末試験システムにおけるテストケース間の実行順序の並び替えに関する処理を説明するための図であり、バージョン管理データで定義された、各テストケースで使用する試験装置と、該試験装置に組み込まれるソフトウェアのバージョンとの対応関係を示している。図４（ａ）は、テストケース間の実行順序を並び替える前の状態を示している。
【００３７】
なお、図３に示す各試験装置の処理コストは、処理コスト算出部１１３に記憶領域を設けて、該記憶領域にあらかじめ記憶させておいてもよい。この場合、各試験装置に組み込まれ得るバージョンごとに、処理コストを処理コスト算出部１１３の該記憶領域にあらかじめ記憶させることになる。また別の方法として、処理コスト算出部１１３に処理コストを算出するための機能を、試験装置ごとに設けてもよい。この処理コストを算出するための機能とは、例えば「試験装置Ａ」の場合、「ソフトウェアの入れ替えには１ＭＢあたり３秒間かかるため、入れ替え対象となるバージョン１．３１のソフトウェアの容量が０．９ＧＢとすれば、ソフトウェアの入れ替えには４５分かかる」といった処理ロジックが該当する。なお、上記は処理コストを算出するための機能の一例であり、試験装置やソフトウェア、試験環境（例えば通信環境）により、処理の内容や該処理で使用されるパラメータは異なる。
【００３８】
処理コスト算出部１１３は、まず、バージョン管理データ記憶部１１２に記憶されたバージョン管理データを基に、各テストケースで使用される試験装置と、該試験装置で実行されるソフトウェアのバージョンを確認する。
【００３９】
次に処理コスト算出部１１３は、１つの試験装置を対象としてテストケースを並び替えたとき、抽出された全テストケースについて、その１つの試験装置を動作させる場合に、連続する各テストケース間でソフトウェアの入れ替えに要する時間の和が最大となる時間（以降は「最大処理時間」と呼ぶ）と、最小となる時間（以降は「最小処理時間」と呼ぶ）を、各試験装置について算出する。処理コスト算出部１１３による、最大処理時間及び最小処理時間の算出方法について、１つの試験装置として「試験装置Ａ」を対象とした場合を例に、以下に具体的に説明する。
【００４０】
まず、処理コスト算出部１１３による最大処理時間の算出方法について、以下に示す＜Ａ１＞〜＜Ａ３＞に説明する。
【００４１】
＜Ａ１＞まず処理コスト算出部１１３は、１つのテストケースの初期状態を基準とし次のテストケースで使用するソフトウェアのバージョンに変更する場合に、最も処理コストの大きいテストケースを特定する。なお「初期状態」は、操作者により試験の条件を指定され試験が実行される直前の状態（各試験装置に既に組み込まれているソフトウェアのバージョン）を示している。
【００４２】
図４（ａ）では、「試験装置Ａ」の初期状態は１．０１である。このとき、図３（ａ）に示した「試験装置Ａ」の処理コスト（つまり処理時間）から、最も処理コストが大きくなる処理を確認する。このとき、２．０１に変更する場合に最も処理コストが大きくなる。これにより、処理コスト算出部１１３は、図４（ａ）のテストケースＣａｓｅ１〜Ｃａｓｅ６の中から、「試験装置Ａ」のソフトウェアのバージョンを２．０１とするＣａｓｅ３を特定し、テストケース間の実行順序の先頭に並べる。なお、「使用せず」が設定されている状態へ変更する場合の処理コストは、０分として計算する。
【００４３】
＜Ａ２＞次に処理コスト算出部１１３は、直前にテストケース間の実行順序に並べたＣａｓｅ３の状態、つまり、「試験装置Ａ」のソフトウェアのバージョン２．０１を基準として、次のテストケースで使用するソフトウェアのバージョンに変更する場合に最も処理コストが大きくなるテストケースを、まだテストケース間の実行順序に並べていないテストケース（この場合、Ｃａｓe１、Ｃａｓｅ２、及びＣａｓｅ４〜Ｃａｓｅ６）の中から抽出する。Ｃａｓｅ３を基準とした場合、処理コスト算出部１１３は、「試験装置Ａ」を１．３１に設定するＣａｓｅ１を抽出することになる。処理コスト算出部１１３は、抽出したＣａｓｅ１を、基準としたテストケース（Ｃａｓｅ３）の次に並べる。
【００４４】
＜Ａ３＞以降、処理コスト算出部１１３は、＜Ａ２＞と同様の方法で、全てのテストケースを、テストケース間の実行順序に並べる。これにより、連続するテストケース間で、対象とした試験装置の処理コストが最も大きくなるように、テストケースが並べ替えられることになる。この方法で、図４（ａ）に示すＣａｓｅ１〜Ｃａｓｅ６を並び替えた場合、Ｃａｓｅ３、Ｃａｓｅ１、Ｃａｓｅ２、Ｃａｓｅ６、Ｃａｓｅ５、Ｃａｓｅ４の順に並べられることになる。処理コスト算出部１１３は、このテストケース間の実行順序で対象とする試験装置（つまり試験装置Ａ）を動作させる場合の、処理コストの和を最大処理時間として算出する。図４（ａ）の「試験装置Ａ」の場合、最大処理時間は２２０分となる。
【００４５】
次に、処理コスト算出部１１３による最小処理時間の算出方法について、以下に示す＜Ｂ１＞〜＜Ｂ３＞に説明する。処理コスト算出部１１３による最小処理時間の算出方法の考え方は、最大処理時間の算出方法の考え方と基本的には同じである。つまり、最小処理時間を算出する場合、対象とした試験装置について、連続するテストケース間で処理コストが最も小さくなるように、テストケースを並べ替える。このとき、対象とした試験装置について、初期状態を基準として、同じバージョンのソフトウェアを使用するテストケースが連続して実行されるように、テストケース間の実行順序が並び替えられる。
【００４６】
＜Ｂ１＞まず処理コスト算出部１１３は、１つのテストケースの初期状態を基準とし次のテストケースで使用するソフトウェアのバージョンに変更する場合に、最も処理コストの小さいテストケースを特定する。
【００４７】
図４（ａ）では、「試験装置Ａ」の初期状態は１．０１である。このとき、「試験装置Ａ」のソフトウェアを入れ替えない場合に、最も処理コストが小さくなる。この場合、「使用せず」が設定されているテストケース、又は同じバージョンである１．０１が設定されているテストケースへの処理コストが０となり最も小さい。この場合、処理コスト算出部１１３は、まず「使用せず」が設定されているテストケースを優先して特定する。そのため、処理コスト算出部１１３は、図３（ａ）に示す「試験装置Ａ」の処理コストを基に、図４（ａ）のテストケースＣａｓｅ１〜Ｃａｓｅ６の中から、「試験装置Ａ」を使用しないＣａｓｅ４を抽出し、テストケース間の実行順序の先頭に並べる。
【００４８】
なお、「使用せず」が設定されているテストケース、及び同じバージョンである１．０１が設定されているテストケースのどちらも存在しない場合、処理コスト算出部１１３は、図３（ａ）に示した試験装置Ａの処理コストを参照して、最も処理コストが小さいテストケースを特定することになる。
【００４９】
＜Ｂ２＞次に処理コスト算出部１１３は、直前にテストケース間の実行順序に並べたＣａｓｅ４の状態を基準とし、次のテストケースで使用するソフトウェアのバージョンに変更する場合に最も処理コストが小さくなるテストケースを、まだテストケース間の実行順序に並べていないテストケース（この場合、Ｃａｓe１、及びＣａｓｅ３〜Ｃａｓｅ６）の中から抽出する。このとき、「試験装置Ａ」のソフトウェアのバージョンは初期状態から変更されていないため、１．０１が設定されていることになる。このとき「使用せず」が設定されているテストケースは存在しないため、処理コスト算出部１１３は、「試験装置Ａ」のソフトウェアのバージョンを１．０１に設定するＣａｓｅ２を抽出することになる。処理コスト算出部１１３は、抽出したＣａｓｅ２を、基準としたテストケース（Ｃａｓｅ４）の次に並べる。
【００５０】
＜Ｂ３＞以降、処理コスト算出部１１３は、＜Ｂ２＞と同様の方法で、全てのテストケースを、テストケース間の実行順序に並べる。この方法で、図４（ａ）に示すＣａｓｅ１〜Ｃａｓｅ６を並び替えた場合、Ｃａｓｅ４、Ｃａｓｅ２、Ｃａｓｅ５、Ｃａｓｅ１、Ｃａｓｅ６、Ｃａｓｅ３の順に並べられることになる。このテストケース間の実行順序で対象とする試験装置（つまり試験装置Ａ）を動作させる場合の、処理コストの和を最小処理時間として算出する。図４（ａ）の「試験装置Ａ」の場合、最小処理時間は９５分となる。
【００５１】
次に処理コスト算出部１１３は、算出した最大処理時間と最小処理時間との差を、処理コスト差として算出する。この処理コスト差が処理時間差に相当する。例えば、「試験装置Ａ」の場合の処理コスト差は、（最大処理時間−最小処理時間）＝（２２０分−９５分）＝１２５分となる。
【００５２】
処理コスト算出部１１３は、その他の試験装置についても、試験装置Ａと同様に＜Ａ１＞〜＜Ａ３＞及び＜Ｂ１＞〜＜Ｂ３＞に示した方法で最大処理時間及び最小処理時間を算出し、算出した最大処理時間と最小処理時間との差から処理コスト差を算出する。図４（ａ）の場合、「試験装置Ｂ」の処理コスト差は６５分、「試験装置Ｃ」の処理コスト差は２０分となる。処理コスト算出部１１３は、試験装置ごとに算出した処理コスト差を、実行順序決定部１１４に通知する。なお上記で説明した、処理コスト算出部１１３による処理コスト差の算出に係る処理が、処理時間差算出ステップに相当する。
【００５３】
実行順序決定部１１４は、処理コスト算出部１１３から各試験装置に対応する処理コスト差を受けて、処理コスト差が最も大きい試験装置を特定する。図４（ａ）の場合、「試験装置Ａ」の処理コスト差（１２５分）が最も高い。そのため実行順序決定部１１４は、「試験装置Ａ」を特定することになる。
【００５４】
実行順序決定部１１４は、特定した処理コスト差が最も大きい試験装置を対象として、連続する各テストケース間の処理コストの和が最小となるように、各テストケースを並び替える。このときの、テストケース間の実行順序の並び替えに係る処理は、前述した最小処理時間を求める場合の、各テストケースの並び替えに係る処理と同様である。そのため、このとき最小処理時間の導出時に求めたテストケース間の実行順序を用いてもよい。この場合、＜Ｂ１＞〜＜Ｂ３＞に示した、最小処理時間を導出するためのテストケース間の実行順序を求める処理を、実行順序決定部１１４にあらためて実行させる必要はない。
【００５５】
図４（ｂ）には、図４（ａ）で示した各テストケースを、「試験装置Ａ」を対象とした、各テストケース間の並び替えの結果が示されている。これにより、「試験装置Ａ」について、同じバージョンのソフトウェアを使用するテストケースが連続して実行されるように、テストケース間の実行順序が並び替えられる。なお上記で説明した、実行順序決定部１１４によるテストケース間の実行順序の並び替えに係る処理が、並び替えステップに相当する。
【００５６】
次に、試験実行制御部１１１は、実行順序決定部１１４により実行順序が並び替えられたテストケースに対応したテストケースデータ及びバージョン管理データを逐次読み出す。試験実行制御部１１１は、バージョン管理データを読み出すと、各試験装置に既に組み込まれているソフトウェアのバージョンを確認する。試験実行制御部１１１は、試験装置に既に組み込まれているソフトウェアのバージョンが、読み出したバージョン管理データで指定されたソフトウェアのバージョンと異なる場合、試験実行部１０を介して該試験装置にソフトウェアの入れ替えを指示する。試験装置に既に組み込まれているソフトウェアのバージョンが、読み出したバージョン管理データで指定されたソフトウェアのバージョンと同じ場合は、該試験装置にソフトウェアの入れ替えは指示しない。
【００５７】
試験装置のソフトウェアの入れ替えが完了すると、試験実行制御部１１１は、読み出したテストケースデータを基に、試験実行部１０を介して各試験装置に動作条件を変更させる。動作条件の変更が完了したら、試験実行制御部１１１は、試験実行部１０を介して各試験装置に試験を実行させる。以降、試験実行制御部１１１は、全てのテストケースに対し、上記したソフトウェアの確認及び入れ替えの処理と、動作条件の変更及び試験の実行に係る処理とを実行する。
【００５８】
次に、第１の実施形態に係る移動体通信端末試験システムの処理について、図５を参照しながら説明する。図５は、第１の実施形態に係る移動体通信端末試験システムの処理を説明するためのフローチャートである。
【００５９】
（ステップＳ０１）
まず試験実行制御部１１１は、操作部１３から操作者が指定した試験条件に従いテストケース記憶部１２よりテストケースデータを抽出する。
【００６０】
（ステップＳ０２）
試験実行制御部１１１は、テストケースデータを抽出すると、抽出したテストケースデータを基にした処理コスト差の算出を処理コスト算出部１１３に指示する。処理コスト算出部１１３は、試験実行制御部１１１からの指示を受けて、各試験装置の処理コストを基に、連続する各テストケース間でソフトウェアの入れ替えに要する時間の和が、最大となる最大処理時間と、最小となる最小処理時間を算出する。処理コスト算出部１１３は、各試験装置について、算出した最大処理時間と最小処理時間との差から処理コスト差を算出する。なお、この処理コスト算出部１１３による処理コスト差の算出に係る処理が、処理時間差算出ステップに相当する。
【００６１】
（ステップＳ０３）
次に、実行順序決定部１１４は、処理コスト算出部１１３から各試験装置に対応する処理コスト差を受けて、処理コスト差が最も大きい試験装置を特定する。例えば図４（ａ）の場合、「試験装置Ａ」の処理コスト差（１２５分）が最も高い。そのため実行順序決定部１１４は、「試験装置Ａ」を特定することになる。
【００６２】
（ステップＳ０４）
次に、実行順序決定部１１４は、特定した処理コスト差が最も大きい試験装置を対象として、連続する各テストケース間の処理コストの和が最小となるように、各テストケースを並び替える。例えば、「試験装置Ａ」を対象としてテストケースの並び替えを行う場合、図４（ａ）をテストケース間の実行順序の並び替え実施前の状態とし、図４（ｂ）に示すような並び替えの結果が得られることになる。なお上記で説明した、実行順序決定部１１４によるテストケース間の実行順序の並び替えに係る処理が、並び替えステップに相当する。
【００６３】
（ステップＳ０５）
次に、試験実行制御部１１１は、実行順序決定部１１４により実行順序が並び替えられたテストケースに対応したテストケースデータ及びバージョン管理データを逐次読み出す。試験実行制御部１１１は、バージョン管理データを読み出すと、各試験装置に既に組み込まれているソフトウェアのバージョンを確認する。試験装置に既に組み込まれているソフトウェアのバージョンが、読み出したバージョン管理データで指定されたソフトウェアのバージョンと異なる場合、試験実行制御部１１１は、試験実行部１０を介して該試験装置にソフトウェアの入れ替えを指示する。
【００６４】
試験装置のソフトウェアの入れ替えが完了すると、試験実行制御部１１１は、読み出したテストケースデータを基に、試験実行部１０を介して各試験装置に動作条件を変更させる。動作条件の変更が完了したら、試験実行制御部１１１は、試験実行部１０を介して各試験装置に試験を実行させる。以降、試験実行制御部１１１は、全てのテストケースに対し、上記したソフトウェアの確認及び入れ替えの処理と、動作条件の変更及び試験の実行に係る処理とを実行する。
【００６５】
以上、第１の実施形態に係る移動体通信端末試験システムは、操作部１３から操作者が指定した試験条件に従い抽出されたテストケース間で、処理コスト差が最も大きい試験装置を特定する。第１の実施形態に係る移動体通信端末試験システムは、特定した試験装置について、同じバージョンのソフトウェアを使用するテストケースが連続して実行されるようにテストケース間の実行順序を並び替える。これにより、処理コスト差が最も大きい試験装置について、ソフトウェアの入れ替えに要する時間がより短くなり、全体の試験時間を短縮することが可能となる。
【００６６】
また第１の実施形態に係る移動体通信端末試験システムでは、バージョン管理データを基に、実行するテストケースに応じて、各試験装置にソフトウェアを入れ替えさせる。これにより、各試験装置のソフトウェアの設定ミスを防止し、誤った結果に基づいて認定をしてしまう事故の発生を抑止することが可能となる。
【００６７】
なお、必ずしも上記説明のように全ての試験装置について処理コスト差を算出する必要はない。テストケース間の実行順序を変更しても試験時間の短縮の効果が小さいことが、あらかじめわかっている試験装置については、処理コスト算出部１１３による処理コスト差の算出に係る処理の対象から外せるようにしてもよい（つまり処理コスト算出部１１３は、あらかじめ決められた一部の試験装置についてのみ、処理コスト差を算出することになる）。この場合、実行順序決定部１１４は、処理コスト差を算出した試験装置の中から、テストケース間の実行順序の並び替えの対象とする試験装置を特定することになる。これにより、処理コスト算出部１１３による処理コスト差の算出に係る処理において、計算量を低減し処理時間を短縮することが可能となる。
【００６８】
（変形例１）
第１の実施形態に係る実行順序決定部１１４は、処理コスト算出部１１３が算出した各試験装置の処理コスト差を受けて、処理コスト差が最も高い試験装置を対象として、テストケース間の実行順序を並び替えていた。
【００６９】
変形例１に係る移動体通信端末試験システムでは、処理コスト差が最大の試験装置以外についても、同じバージョンのソフトウェアを使用するテストケースが連続して実行されるようにテストケース間の実行順序を並び替える。このとき、変形例１に係る移動体通信端末試験システムは、処理コスト差を基に各試験装置間で優先度付けを行い、テストケースの並び替えの対象とする（具体的な処理の内容については後述する）。以降に、変形例１に係る移動体通信端末試験システムについて説明する。
【００７０】
変形例１に係る移動体通信端末試験システムは、第１の実施形態に係る移動体通信端末試験システムと、実行順序決定部１１４の処理内容が異なる。本説明では、第１の実施形態と異なる実行順序決定部１１４ａの処理内容に着目して説明する。なお、その他の処理ブロックの構成及び処理内容は第１の実施形態と同様のため、具体的な説明は省略する。
【００７１】
変形例１に係る実行順序決定部１１４ａの動作について、図６を参照しながら説明する。図６は、変形例１に係る移動体通信端末試験システムにおけるテストケース間の実行順序の並び替えに関する処理を説明するための図である。実行順序決定部１１４ａは、処理コスト算出部１１３から各試験装置に対応する処理コスト差を受信する。例えば図６（ａ）は、テストケース間の実行順序を変更する前の状態を示している。なお、図６（ａ）は図４（ａ）と同じ状態を示している。そのため処理コスト算出部１１３により、図３に示した各試験装置の処理コストを基に算出された各試験装置の処理コスト差は、図４（ａ）と同様に、「試験装置Ａ」が１２５分、「試験装置Ｂ」が６５分、「試験装置Ｃ」が２０分となる。
【００７２】
実行順序決定部１１４ａは、処理コスト算出部１１３から各試験装置に対応する処理コスト差を受けて、処理コスト差が小さい順に各試験装置を対象として、各試験装置について連続する各テストケース間の処理コストの和が最小となるように、テストケース間の実行順序を遂次並び替える。実行順序決定部１１４ａのテストケース間の実行順序の並び替えに係る具体的な処理について、図６を参照しながら、以下に示す＜Ｃ１＞〜＜Ｃ４＞に説明する。
【００７３】
＜Ｃ１＞まず実行順序決定部１１４ａは、各試験装置の処理コスト差を比較し、最も処理コスト差が小さい試験装置を特定する。図６（ａ）の場合、「試験装置Ｃ」の処理コスト差が最も小さいため、実行順序決定部１１４ａは、「試験装置Ｃ」を特定することになる。
【００７４】
＜Ｃ２＞次に実行順序決定部１１４ａは、特定した試験装置（この場合、「試験装置Ｃ」が該当する）を対象として、連続する各テストケース間の処理コストの和が最小となるように、各テストケースを並び替える。図６（ｂ）は、図６（ａ）をテストケース間の実行順序の並び替え実施前の状態とし、「試験装置Ｃ」を対象として、連続する各テストケース間の処理コストの和が最小となるように、各テストケースを並び替えた場合の結果を示している。なお、各テストケース間の処理コストの和が最小となるように、テストケース間の実行順序を並び替える方法は、前述した最小処理時間を求める場合の、各テストケースの並び替えに係る処理と同様である。そのため、このとき最小処理時間の導出時に求めたテストケース間の実行順序を用いてもよい。この場合、＜Ｂ１＞〜＜Ｂ３＞に示した、最小処理時間を導出するためのテストケース間の実行順序を求める処理を、実行順序決定部１１４ａにあらためて実行させる必要はない。
【００７５】
＜Ｃ３＞次に実行順序決定部１１４ａは、直前にテストケース間の並び替えの対象とした試験装置の次に、処理コスト差の小さい試験装置を特定する。直前にテストケース間の並び替えの対象とした試験装置が「試験装置Ｃ」の場合、次に処理コスト差の小さい試験装置は「試験装置Ｂ」となる。そのため、このとき実行順序決定部１１４ａは、「試験装置Ｂ」を特定することになる。
【００７６】
実行順序決定部１１４ａは、処理コスト差の小さい試験装置を特定すると、特定した試験装置を対象として、連続する各テストケース間の処理コストの和が最小となるように各テストケースを並び替える。このとき実行順序決定部１１４ａは、直前に並び替えられたテストケース間の実行順序を、特定した試験装置を対象とした並び替えを実施する前の状態とし、各テストケースを並び替える。図６（ｃ）は、図６（ｂ）をテストケース間の実行順序の並び替え実施前の状態とし、「試験装置Ｂ」を対象として、連続する各テストケース間の処理コストの和が最小となるように、各テストケースを並び替えた場合の結果を示している。
【００７７】
＜Ｃ４＞以降、実行順序決定部１１４ａは、＜Ｃ３＞と同様の方法で、処理コスト差の小さい順に、残りの試験装置についても対象として各テストケース間の実行順序を並び替える。つまり実行順序決定部１１４ａは、「試験装置Ｂ」の次には「試験装置Ａ」を対象とし、テストケース間の実行順序を並び替えることになる。例えば、図６（ｄ）は、図６（ｃ）をテストケース間の実行順序の並び替え実施前の状態とし、「試験装置Ａ」を対象として、連続する各テストケース間の処理コストの和が最小となるように、各テストケースを並び替えた場合の結果を示している。
【００７８】
なお上記では、実行順序決定部１１４ａが、処理コスト差を算出した全ての試験装置を遂次対象として、テストケース間の実行順序を並び替える例について説明した。しかし、必ずしも全ての試験装置を対象として、テストケース間の実行順序を並び替える必要はない。処理コスト差の小さい試験装置は、対象としてテストケース間の実行順序を並び替えても、試験時間の短縮に関する効果が小さい。そのため、テストケース間の実行順序の並び替えを行う前段階で、テストケースの並び替えの対象とする試験装置を特定してもよい。このとき、処理コスト差が所定値以上の試験装置のみを並び替えの対象として抽出してもよい。また、処理コスト差の大きい順に所定数の試験装置を対象として抽出してもよい。
【００７９】
例えば、図６（ａ）を例に、処理コスト差が６０分以上の試験装置を対象として抽出した場合、テストケースの並び替えの対象となる試験装置は、「試験装置Ａ」と「試験装置Ｂ」となる。同様に、図６（ａ）を例に、処理コスト差の上位２つの試験装置を抽出した場合、テストケースの並び替えの対象となる試験装置は、「試験装置Ａ」と「試験装置Ｂ」となる。
【００８０】
また、実行順序決定部１１４ａは、処理コスト差を算出していない試験装置がある場合、この試験装置を対象としたテストケース間の実行順序の並び替えは行わない。この試験装置は、前述した、処理コスト算出部１１３による処理コスト差の算出に係る処理の対象から外した試験装置に相当する。
【００８１】
次に、試験実行制御部１１１は、実行順序決定部１１４により実行順序が並び替えられたテストケースに対応したテストケースデータ及びバージョン管理データを逐次読み出す。以降は、第１の実施形態と同様に、各試験装置のソフトウェアの入れ替えに係る処理と、動作条件の変更及び試験の実行に係る処理を、各テストケースについて実行する。
【００８２】
次に、変形例１に係る移動体通信端末試験システムの処理について、図７を参照しながら説明する。図５は、第１の実施形態に係る移動体通信端末試験システムの処理を説明するためのフローチャートである。なお、ステップＳ０１及びステップＳ０２に係る処理は第１の実施形態と同様のため説明は省略し、動作の異なるステップＳ１１以降について着目して説明する。
【００８３】
（ステップＳ１１）
処理コスト算出部１１３が処理コスト差を算出したら、次に、実行順序決定部１１４ａが、処理コスト算出部１１３が算出した各試験装置の処理コスト差を基に、テストケース間の実行順序の並び替えに係る処理を開始する。このとき、実行順序決定部１１４ａは、処理コスト差を基に、あらかじめ並び替えの対象とする試験装置を抽出するようにしてもよい。
【００８４】
（ステップＳ１２）
次に、実行順序決定部１１４ａは、各試験装置の処理コスト差を比較し、最も処理コスト差が小さい試験装置を特定する。例えば、図６（ａ）の場合、実行順序決定部１１４ａは、「試験装置Ｃ」を特定することになる。
【００８５】
（ステップＳ１３）
次に、実行順序決定部１１４ａは、特定した試験装置を対象として、連続する各テストケース間の処理コストの和が最小となるように、各テストケースを並び替える。例えば、「試験装置Ｃ」を対象としてテストケースの並び替えを行う場合、図６（ａ）をテストケース間の実行順序の並び替え実施前の状態とし、図６（ｂ）に示すような並び替えの結果が得られることになる。
【００８６】
（ステップＳ１４）
次に、実行順序決定部１１４ａは、抽出した全ての試験装置について、該試験装置を対象としたテストケースの並び替えを行ったかを確認する。
【００８７】
（ステップＳ１５）
まだ並び替えの対象としていない試験装置が残っている場合（ステップＳ１４、Ｎ）、実行順序決定部１１４ａは、並び替えの対象としていない試験装置の中から、処理コスト差が最も小さい試験装置を特定する。例えば、「試験装置Ｃ」を対象としてテストケース間の実行順序を並び替えた後ならば、実行順序決定部１１４ａは、「試験装置Ｃ」の次に処理コスト差の小さい「試験装置Ｂ」を特定することになる。
【００８８】
実行順序決定部１１４ａは、試験装置を特定したら、特定した試験装置を対象として、再度テストケース間の実行順序を並び替える。このとき実行順序決定部１１４ａは、直前に並び替えられたテストケース間の実行順序を、特定した試験装置を対象とした並び替えを実施する前の状態とし、テストケース間の実行順序を並び替える。例えば、「試験装置Ｃ」を対象としてテストケース間の実行順序を並び替えた後であれば、まず実行順序決定部１１４ａは、図６（ｂ）をテストケース間の実行順序の並び替え実施前の状態とする。次に実行順序決定部１１４ａは、「試験装置Ｂ」を対象として、連続する各テストケース間の処理コストの和が最小となるように、各テストケースを並び替える。図６（ｃ）が、実行順序決定部１１４ａによる、「試験装置Ｂ」を対象としたテストケース間の実行順序の並び替えの結果に相当する。
【００８９】
（ステップＳ０５）
全ての試験装置について並び替えを行っている場合（ステップＳ１４、Ｙ）、実行順序決定部１１４ａは、テストケースの並び替えに係る処理を終了する。なお上記で説明した、実行順序決定部１１４によるテストケース間の実行順序の並び替えに係る処理が、並び替えステップに相当する。
【００９０】
次に、試験実行制御部１１１は、実行順序決定部１１４ａにより実行順序が並び替えられたテストケースに対応したテストケースデータ及びバージョン管理データを逐次読み出す。試験実行制御部１１１は、バージョン管理データを読み出すと、各試験装置に既に組み込まれているソフトウェアのバージョンを確認する。試験装置に既に組み込まれているソフトウェアのバージョンが、読み出したバージョン管理データで指定されたソフトウェアのバージョンと異なる場合、試験実行制御部１１１は、試験実行部１０を介して該試験装置にソフトウェアの入れ替えを指示する。
【００９１】
試験装置のソフトウェアの入れ替えが完了すると、試験実行制御部１１１は、読み出したテストケースデータを基に、試験実行部１０を介して各試験装置に動作条件を変更させる。動作条件の変更が完了したら、試験実行制御部１１１は、試験実行部１０を介して各試験装置に試験を実行させる。以降、試験実行制御部１１１は、全てのテストケースに対し、上記したソフトウェアの確認及び入れ替えの処理と、動作条件の変更及び試験の実行に係る処理とを実行する。
【００９２】
ここで、テストケース間の実行順序の並び替えの結果について、変形例１に係る移動体通信端末試験システムと、第１の実施形態に係る移動体通信端末試験システムとを、図４（ｂ）及び図６（ｄ）を参照しながら比較する。図４（ｂ）は、第１の実施形態に係る移動体通信端末試験システムにおけるテストケース間の実行順序を並び替えた結果を示している。また図６（ｄ）は、変形例１に係る移動体通信端末試験システムにおけるテストケース間の実行順序を並び替えた結果を示している。
【００９３】
例えば、処理コスト差の最も大きい「試験装置Ａ」を対象として、図４（ｂ）と図６（ｄ）との間でソフトウェアのバージョンを比較した場合、双方で同じ並び順となっている。そのため、「試験装置Ａ」に係る処理の時間は、図４（ｂ）と図６（ｄ）とでは同じである。しかしながら、図４（ｂ）に示した「試験装置Ｂ」に着目すれば、テストケースＣａｓｅ４、Ｃａｓｅ２、Ｃａｓｅ５の実行順序を、図６（ｄ）のように、Ｃａｓｅ４、Ｃａｓｅ５、Ｃａｓｅ２の実行順序に変更した場合、「試験装置Ｂ」についてソフトウェアの入れ替えを行うタイミングが２回から１回に減少する。
【００９４】
図３（ｂ）に示した「試験装置Ｂ」の処理コストを基に、初期状態を基準としてＣａｓｅ２、Ｃａｓｅ４、及びＣａｓｅ５を処理する場合における動作条件の変更に係る処理コストを計算する。この計算結果によると、変形例１に係る移動体通信端末試験システムは、第１の実施形態に係る移動体通信端末試験システムより該処理コストが２０分短縮されることになる。具体的に示すと、図４（ｂ）におけるＣａｓｅ４とＣａｓｅ２の間及びＣａｓｅ２とＣａｓｅ５の間にかかる処理コストの和（４５分）から、図６（ｄ）におけるＣａｓｅ５からＣａｓｅ２の間にかかる処理コスト（２５分）に短縮されることになる。
【００９５】
以上、変形例１に係る移動体通信端末試験システムでは、処理コスト差が最大の試験装置以外についても、同じバージョンのソフトウェアを使用するテストケースが連続して実行されるようにテストケース間の実行順序を並び替える。これにより、処理コスト差が最大の試験装置のみを対象としてテストケース間の実行順序を並び替える場合（第１の実施形態に係る移動体通信端末試験システム）よりも更に、全体の試験時間を短縮することが可能となる。
【符号の説明】
【００９６】
１ 移動体通信端末試験システム ２ 移動体通信端末 １０ 試験実行部
１１ テストケース実行制御部 １２ テストケース記憶部 １３ 操作部
１１１ 試験実行制御部 １１２ バージョン管理データ記憶部
１１３ 処理コスト算出部 １１４、１１４ａ 実行順序決定部
【技術分野】
【０００１】
本発明は、移動体通信端末と通信接続可能な擬似基地局機能を有し、移動体通信端末に対し複数の試験を行う移動体通信端末試験システム及び移動体通信端末の試験方法において、各試験を実行する順序を組替えることで試験全体の効率化を図り試験時間を短縮する技術に関する。
【背景技術】
【０００２】
複数のユーザが同時に通話できる「多元接続（Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）」方式のうち、周波数利用効率に優れる「符号分割多元接続：ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）」方式が複数の方法で実用化できるようになった。これら複数の方式のうちで特に、国際電気通信連合（ＩＴＵ）が定める世界標準規格ＩＭＴ−２０００の一方式である“Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）”と称する「広帯域・符号分割多元接続」方式があり、この接続方式を利用した移動体通信端末が実用化されている。さらに、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）と呼ばれる次世代の移動体通信規格も策定されつつある。
【０００３】
上述のＷ−ＣＤＭＡ方式やＬＴＥ方式に関する通信方式やデータフォーマットが３ＧＰＰ（３ｒｄ． Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）により検討され、国際標準規格として規格化されている。移動体通信端末や基地局装置はこの規格に準拠する必要があり、この規格への準拠性を検証するための移動体通信端末試験システムが提供されている。
【０００４】
前記移動体通信端末試験システムの例として、特許文献１には、携帯電話（移動体通信端末）の試験時に、実行する試験に応じて必要な測定器を特定する技術が開示されている。特許文献１からもわかる通り、移動体通信端末試験システムによる試験は様々な試験装置（測定器）を組み合わせて実施する必要がある。
【０００５】
移動体通信端末試験システムは、１つの移動体通信端末の機能・性能等に応じた試験項目（以降は「テストケース」と呼ぶ）があり、その試験項目に対応して各種試験装置を制御して試験を実施する。移動体通信端末の各試験は、各種のテストケースとして移動体通信端末試験システムにより管理されている。一つのテストケースは、一般的には、複数の測定装置を組み合わせ（動作条件も含む）、それらを測定制御装置（一般的にはパーソナルコンピューターなどが用いられる）に組み込まれたソフトウェア（例えば、組込ソフトウェアが該当する。以降は単に「ソフトウェア」と呼ぶ）で制御することにより実現される。一般的に試験装置の機能拡張等は、組み込まれているソフトウェアを新しく更新することで対応される。そのため、このソフトウェアの更新をバージョンで管理するとともに、試験装置や測定装置と組み合わせて管理している。これらバージョンの管理がその試験装置及び測定制御装置の機能や性能を一義に規定する。
【０００６】
一方で、テストケースの実装の有効性は、その実装が法令あるいは自主規制項目に合致していることを、テストケースの作成元以外の第３者機関が認定することにより保証される。この第３者機関はテストケースの有効性を保証する際、実際にテストケースを実行した環境（以降は「テスト環境」と呼ぶ）、つまり試験装置の構成と該試験装置に組み込まれるソフトウェアのバージョンとを、テストケースに一義的に対応付けて保証する。ゆえに、有効性が保証されたテストケースを実際に使用して試験を行う場合は、有効性が保証されたテスト環境を再現して試験しなければならない。
【０００７】
例えば、試験装置Ａにバージョン１．０１のソフトウェアが組み込まれ、試験装置Ｂにバージョン３．０３のソフトウェアを組み込まれたテスト環境によりテストケース１を実行し、第３者機関がテストケース１の認定をしたとする。その後、認定を受けた業者は、この認定を受けたテストケース１を用いて移動体通信端末の規格への準拠性を確認するときには、試験装置Ａにはバージョン１．０１のソフトウェアを組み込み、試験装置Ｂにバージョン３．０３のソフトウェアを組み込んだテスト環境のみで試験を実施しなければならない。このとき、試験環境の構成が１つでも異なる場合（例えば、試験装置Ａに組み込んだソフトウェアがバージョン１．０１と異なる場合）、テストケース１に関する規格への準拠性は保証されないことになる。
【０００８】
上述したテストケースは、移動体通信端末の規格の追加や変更に伴い新たに追加されていく。例えば、ＬＴＥの規格への準拠性を新たに検証可能とする場合、ＬＴＥの規格への準拠性を確認可能なテストケースを作成し、第３者機関の認定を受ける必要がある。このとき、新たな規格への準拠にあわせてソフトウェアを改変した場合、改変前のソフトウェアで認定を受けているテストケースの実行には、改変後のソフトウェアを使用することはできない。もし、既に認定を受けているテストケースに改変後のソフトウェアを用いる場合、改変後のソフトウェアを組み込んだテスト環境で、新たに第３者機関の認定を受ける必要がある。
【０００９】
テストケースの数は数百におよび、その数は規格の追加や変更に伴い増大していく。そのため移動体通信端末試験システムでは、一般的には、テストケースごとに、対応する試験で使用される試験装置と該試験装置に組み込まれるソフトウェアのバージョンとを対応付けて管理し、必要に応じて試験装置のソフトウェアを入れ替えながら試験を実行する構成としている。
【００１０】
つまり、このような移動体通信端末試験システムでは、試験を実行する前に、テストケースに応じて各試験装置に組み込むべきソフトウェアのバージョンを確認し、そのテストケースに必要なバージョンのソフトウェアに入れ替えることで、テストケースを実行するためのテスト環境を再現する管理をしている。例えば、前述したテストケース１の環境を再現する場合は、試験装置Ａのソフトウェアをバージョン１．０１に入れ替え、試験装置Ｂのソフトウェアをバージョン３．０３に入れ替えることで、テスト環境を再現することになる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００３−２８３４４６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
従来の移動体通信端末試験システムでは、この試験装置に組み込まれるソフトウェアの入れ替えは、試験装置を操作する操作者がテストケースごとに手動で行っている。これは、操作者にとって大きな負担である。また、手動によりソフトウェアを入れ替える際に、誤ったバージョンのソフトウェアを組み込んでしまう可能性がある。
【００１３】
例えば、テストケース１を実行する場合には、試験装置Ａにバージョン１．０１のソフトウェアを組み込まなければいけないとする。このとき、誤って異なるバージョン（例えばバージョン１．７３）のソフトウェアを組み込んで試験を実行をした場合、テストケース１に関する規格への準拠性が保証されたことにはならない。このように、手動でソフトウェアを入れ替える場合、上述したように誤ったバージョンのソフトウェアを使用するといった事態を未然に防止することが困難である。これにより、被試験対象である移動体通信端末の規格への準拠性を確認し認定を行う際に、誤った結果に基づいて認定をしてしまう事故につながる可能性がある。
【００１４】
一方で、試験装置に組み込まれるソフトウェアの入れ替えは、一般にダウンロードと呼ばれる処理が必要になる。具体的には、試験装置にソフトウェアを外部から導入し、該ソフトウェアを試験装置の記憶領域（例えば、内部不揮発性メモリ）に書込む処理が必要になる。この処理は、ダウンロードするソフトウェアの容量にもよるが、一般的に非常に時間のかかる処理である。
【００１５】
近年では、Ｗ−ＣＤＭＡの上位規格となるＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）などの技術仕様が盛り込まれ、ＬＴＥの規格が策定されるなど、仕様の範囲が追加・変更されている。このような規格の追加・変更に伴い新たなテストケースが増加し、それに伴い各ソフトウェアも機能追加等によりバージョンが増加している。バージョンの追加に伴いソフトウェアの入れ替えの回数も増加するため、試験の入れ替えにかかる時間も増加し試験時間も長くなる傾向にある。
【００１６】
本発明は上記問題を解決するものであり、複数のテストケースについて連続して試験を実行する場合において、ソフトウェアの入れ替えの回数を低減することで処理を効率化し、試験時間を短縮して誤りなく試験を実行することを目的とする。
【課題を解決するための手段】
【００１７】
上記目的を達成するために、請求項１に記載の発明は、ソフトウェアを有する複数の試験装置を制御し被試験対象である移動体通信端末（２）の各種試験を実行する試験実行部（１０）と、前記複数の試験装置それぞれを動作させるための前記ソフトウェアの入れ替えを含む動作設定を１組のテストケースとして、複数のテストケースを記憶するテストケース記憶部（１２）とを備え、前記試験実行部が前記テストケースに従い前記試験装置の動作設定を変更しながら前記試験を実行する移動体通信端末試験システムであって、前記複数のテストケースが３以上備えられており、予め、前記複数のテストケースに含まれる複数の前記試験装置ごとに、前記動作設定を基に、全テストケースを通して前記動作設定を変更する時間が最大となるように前記複数のテストケースを並び替えた場合の最大処理時間と、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替えた場合の最小処理時間との差から処理時間差を算出する処理コスト算出部（１１３）と、少なくとも、前記処理時間差が最も大きい前記試験装置を特定し、それを基に全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替える実行順序決定部（１１４）とを備えたことを特徴とする。
また、請求項２に記載の発明は、前記実行順序決定部が、前記処理時間差が最小となる前記試験装置において、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替えた場合の、前記複数のテストケースの実行順序を基礎として、前記処理時間差が小さい前記試験装置の順に前記複数のテストケースの並び替えを行い、かつ、後にテストケースの並び替えを行う前記試験装置については、先に並べ替えられたテストケースの実行順序と、後にテストケースの並び替えを行う前記試験装置に対応した動作設定とを基に、前記複数のテストケースの実行順序を並び替えることを特徴とする。
また、請求項３に記載の発明は、ソフトウェアを有する複数の試験装置を制御し被試験対象である移動体通信端末の各種試験を実行する移動体通信端末試験システムにおいて、複数の試験装置それぞれを動作させるための前記ソフトウェアの入れ替えを含む動作設定を１組のテストケースとして、前記テストケースに沿って前記試験を実行する試験方法であって、前記複数のテストケースに含まれる複数の前記試験装置ごとに、前記動作設定を基に、全テストケースを通して前記動作設定を変更する時間が最大なるように前記複数のテストケースを並び替えた場合の最大処理時間と、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替えた場合の最小処理時間との差から処理時間差を算出する処理時間差算出ステップと、少なくとも、前記処理時間差が最も大きい前記試験装置において、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替える並び替えステップとを備えたことを特徴とする。
また、請求項４に記載の発明は、請求項３に記載の試験方法であって、前記並び替えステップにおいて、前記処理時間差が最小となる前記試験装置において、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替えた場合の、前記複数のテストケースの実行順序を基礎として、前記処理時間差が小さい前記試験装置の順に前記複数のテストケースの並び替えを行い、かつ、後にテストケースの並び替えを行う前記試験装置については、先に並べ替えられたテストケースの実行順序と、後にテストケースの並び替えを行う前記試験装置に対応した動作設定とを基に、前記複数のテストケースの実行順序を並び替えることを特徴とする。
【発明の効果】
【００１８】
本発明に係る移動体通信端末試験システムは、複数のテストケースについて試験を実行するときに、テストケース間で異なるソフトウェアを使用する場合には、ソフトウェアの入れ替えを実行する。このソフトウェアの入れ替えに要する時間がより長い試験装置（例えば、ソフトウェアの容量がより大きい試験装置）について、同じバージョンのソフトウェアを使用するテストケースが連続して実行されるようにテストケース間の実行順序を並び替えることで、ソフトウェアの入れ替えの回数を低減する。これにより、本発明に係る移動体通信端末試験システムは、ソフトウェアの入れ替えに要する時間をより短くし、試験時間を短縮することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明に係る移動体通信端末試験システムのブロック図である。
【図２】各テストケースで使用する試験装置と、該試験装置に組み込まれるソフトウェアのバージョンの対応を管理するデータの例である。
【図３】処理コスト算出部が処理コスト差の算出に用いる、各試験装置における処理コストの一例である。
【図４】第１の実施形態に係る移動体通信端末試験システムにおけるテストケース間の実行順序の並び替えに関する処理を説明するための図である。
【図５】第１の実施形態に係る移動体通信端末試験システムの処理を説明するためのフローチャートである。
【図６】変形例１に係る移動体通信端末試験システムにおけるテストケース間の実行順序の並び替えに関する処理を説明するための図である。
【図７】変形例１に係る移動体通信端末試験システムの処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００２０】
（第１の実施形態）
例えば、ある１つの試験装置のソフトウェアについて、連続するテストケース間で同じもの（同じバージョン）を使用する場合、このソフトウェアを入れ替える必要はない。しかし、連続するテストケース間で異なるもの（異なるバージョン）を使用する場合、このソフトウェアを入れ替える必要がある。このときソフトウェアの入れ替えに要する時間は、入れ替え対象のソフトウェアや試験装置ごとに異なる。以降は、試験装置ごとのソフトウェアの入れ替えに要する時間を「処理コスト」と呼ぶ。一連のテストケースを実行する場合の、試験装置ごとの処理コストの和は、テストケース間の実行順序によって増減する。これは、テストケース間の実行順序により、試験装置に対応するソフトウェアの入れ替えの回数が変わるためである。言い換えれば、テストケース間の実行順序により、処理コストの和が最大となる場合と、最小となる場合があることを示している。
【００２１】
本発明に係る移動体通信端末試験システムでは、一連のテストケースを実行する場合に、試験装置のソフトウェアの入れ替えに要する時間の範囲（分布範囲）を示す係数（以降は「処理コスト差」と呼ぶ）を、処理時間が最大となる場合の時間と最小となる場合の時間との差から算出する。このとき本発明に係る移動体通信端末試験システムは、各試験装置に対し処理コスト差を算出する（処理コスト差の具体的な算出方法については後述する）。
【００２２】
つまり、この処理コスト差が大きい試験装置ほど、テストケース間の実行順序により、処理コストの和として取り得る値の範囲が広いことを示している。言い換えれば、処理コスト差が大きい試験装置ほど、ソフトウェアの入れ替えの回数がより少なくなるようにテストケース間の実行順序を並べ替えた場合、より試験時間を短くすることが可能であることを示している。本発明に係る移動体通信端末試験システムでは、処理コスト差が大きい試験装置ほど、ソフトウェアの入れ替えの回数が少なくなるようにテストケース間の実行順序を並び替えることで、全体の試験時間を短縮することを特徴とする。
【００２３】
まず、第１の実施形態に係る移動体通信端末試験システムの構成について図１を参照しながら説明する。
【００２４】
移動体通信端末試験システム１は、被試験対象である移動体通信端末２の試験を実施する移動体通信端末試験システムであって、主に疑似基地局として動作する。移動体通信端末試験システム１は、試験実行部１０と、テストケース実行制御部１１と、テストケース記憶部１２と、操作部１３とで構成される。
【００２５】
試験実行部１０は、試験に必要な複数の試験装置（試験装置Ａ、Ｂ、又はＣ）と、各試験装置に対応したソフトウェア記憶部（ソフトウェア記憶部Ａ、Ｂ、又はＣ）とで構成される。試験装置Ａ、Ｂ、又はＣの例としては、信号発生器、信号受信器、又は、スペクトラムアナライザー等があげられる。ソフトウェア記憶部Ａ〜Ｃには、対応する試験装置を動作させるためのソフトウェアが、バージョンごとに記憶されている。具体的には、試験装置Ａ〜Ｃを動作させるためのソフトウェアがバージョンごとに記憶されている。
【００２６】
試験実行部１０は、試験に必要な複数の試験装置（試験装置Ａ、Ｂ、又はＣ）を制御し、移動体通信端末２の各種試験を実行する。なお試験実行部１０は、試験を実行させる試験装置のソフトウェアを、異なるバージョンのソフトウェアに入れ替える必要がある場合、試験を実行する前に、該試験装置にソフトウェアを入れ替えさせる。このソフトウェアの入れ替えは、対応する試験装置に既に組み込まれているソフトウェアのバージョンが、試験の実行対象のソフトウェアのバージョンと異なる場合に行われる。例えば、前に実行されたテストケースで使用されたソフトウェアのバージョンと、次に実行するテストケースに対応付けられたソフトウェアのバージョンが異なる場合、対応する試験装置により、次のテストケースの実行前にソフトウェアの入れ替えが行われることになる。
【００２７】
テストケース記憶部１２は、テストケースごとに各試験装置に設定する動作条件をデータ（以降はこのデータを「テストケースデータ」と呼ぶ）として記憶するための記憶領域である。具体的には、例えば試験装置として信号発生器を用いる場合、該信号発生器の動作条件として、５００ＭＨｚや１ＧＨｚといった信号の周波数がテストケースデータに記憶されていることになる。テストケース記憶部１２には、実行対象となる各試験の条件ごとにテストケースデータが記憶されている。
【００２８】
操作部１３は、操作者が移動体通信端末試験システム１で実行される試験の条件を入力するためのユーザインタフェースである。試験の条件としては、例えば、信号発生器の周波数帯域や、各試験装置が出力する信号の出力レベルなどが含まれる。
【００２９】
テストケース実行制御部１１は、試験実行制御部１１１と、バージョン管理データ記憶部１１２と、処理コスト算出部１１３と、実行順序決定部１１４とで構成される。
【００３０】
バージョン管理データ記憶部１１２は、各テストケースで使用する試験装置と、該試験装置に組み込まれるソフトウェアのバージョンとの対応関係を示すデータ（以降は「バージョン管理データ」と呼ぶ）を記憶している。つまりこのバージョン管理データを参照することで、１つのテストケースで使用される試験装置と、該試験装置に組み込まれるソフトウェアが一意に特定できることになる。バージョン管理データ記憶部１１２は、後述する試験実行制御部１１１の指示を受けて、処理コスト算出部１１３及び実行順序決定部１１４にバージョン管理データを出力する（処理コスト算出部１１３及び実行順序決定部１１４については後述する）。なお、各試験装置に組み込まれるソフトウェアもしくは該ソフトウェアを特定する情報（例えば、ソフトウェアのバージョン）が、該試験装置を動作させるための動作設定に相当する。
【００３１】
図２は、バージョン管理データの例である。図２（ａ）は、各試験装置とソフトウェアのバージョンとの関係をテストケースごとに個別に管理する場合のバージョン管理データの例である。図２（ｂ）は、各テストケースで使用する試験装置とソフトウェアのバージョンとの関係をテーブルの形式で管理する場合のバージョン管理データの例である。
【００３２】
例えば、図２（ｂ）において、テストケースＣａｓｅ２のバージョン管理データＣｄ２は、テストケースＣａｓｅ２において、試験装置Ａ〜Ｃが使用されることを示している。このとき、各試験装置に組み込まれるソフトウェアのバージョンは、試験装置Ａが１．０１、試験装置Ｂが２．１３、試験装置Ｃが１．４２であることを示している。また、図２（ａ）及び図２（ｂ）において「使用せず」と表記されている部分は、そのテストケースにおいて対応する試験装置を使用しないことを示している。例えば、テストケースＣａｓｅ１のバージョン管理データＣｄ１は、試験装置Ａ及びＢを使用し、試験装置Ｃは使用しないことを示している。このような場合、使用しない試験装置には、そのテストケースの実行中に、どのようなバージョンのソフトウェアが組み込まれていてもよい。
【００３３】
なお上記では、バージョン管理データをバージョン管理データ記憶部１１２に記憶させる構成として説明したが、テストケース記憶部１２に記憶させる構成としてもよい。この場合、例えば、図２（ａ）及び図２（ｂ）に示したバージョン管理データを、テストケース記憶部１２に記憶されたテストケースデータに対応付けて管理する構成としてもよい。また、バージョン管理データに相当する情報を、テストケースデータに含める構成としてよい。
【００３４】
試験実行制御部１１１は、操作部１３から操作者が指定した試験条件に従いテストケース記憶部１２よりテストケースデータを抽出する。試験実行制御部１１１は、テストケースデータを抽出すると、処理コスト算出部１１３に処理コスト差を算出させ、実行順序決定部１１４に算出された処理コスト差を基にテストケース間の実行順序を並べ替えさせる（処理コスト算出部１１３及び実行順序決定部１１４については後述する）。試験実行制御部１１１は、実行順序決定部１１４が並び替えたテストケースを遂次読出し、試験実行部１０を介して各試験装置に試験を実行させる。この一連の処理について以下に詳しく説明する。
【００３５】
試験実行制御部１１１は、テストケースデータを抽出すると、抽出したテストケースデータを基にした処理コスト差の算出を処理コスト算出部１１３に指示する。また、試験実行制御部１１１は、バージョン管理データ記憶部１１２に、抽出したテストケースデータに対応するバージョン管理データの出力を指示する。
【００３６】
処理コスト算出部１１３は、テストケース実行制御部１１からの指示を受けて、抽出された一連のテストケースデータを実行する場合における、各試験装置の処理コスト差を算出する。以降に、処理コスト算出部１１３の処理コスト差の算出に係る処理について、図３及び図４を参照して説明する。図３は、処理コスト算出部１１３が処理コスト差を算出するための、各試験装置における処理コストの一例である。図４は、第１の実施形態に係る移動体通信端末試験システムにおけるテストケース間の実行順序の並び替えに関する処理を説明するための図であり、バージョン管理データで定義された、各テストケースで使用する試験装置と、該試験装置に組み込まれるソフトウェアのバージョンとの対応関係を示している。図４（ａ）は、テストケース間の実行順序を並び替える前の状態を示している。
【００３７】
なお、図３に示す各試験装置の処理コストは、処理コスト算出部１１３に記憶領域を設けて、該記憶領域にあらかじめ記憶させておいてもよい。この場合、各試験装置に組み込まれ得るバージョンごとに、処理コストを処理コスト算出部１１３の該記憶領域にあらかじめ記憶させることになる。また別の方法として、処理コスト算出部１１３に処理コストを算出するための機能を、試験装置ごとに設けてもよい。この処理コストを算出するための機能とは、例えば「試験装置Ａ」の場合、「ソフトウェアの入れ替えには１ＭＢあたり３秒間かかるため、入れ替え対象となるバージョン１．３１のソフトウェアの容量が０．９ＧＢとすれば、ソフトウェアの入れ替えには４５分かかる」といった処理ロジックが該当する。なお、上記は処理コストを算出するための機能の一例であり、試験装置やソフトウェア、試験環境（例えば通信環境）により、処理の内容や該処理で使用されるパラメータは異なる。
【００３８】
処理コスト算出部１１３は、まず、バージョン管理データ記憶部１１２に記憶されたバージョン管理データを基に、各テストケースで使用される試験装置と、該試験装置で実行されるソフトウェアのバージョンを確認する。
【００３９】
次に処理コスト算出部１１３は、１つの試験装置を対象としてテストケースを並び替えたとき、抽出された全テストケースについて、その１つの試験装置を動作させる場合に、連続する各テストケース間でソフトウェアの入れ替えに要する時間の和が最大となる時間（以降は「最大処理時間」と呼ぶ）と、最小となる時間（以降は「最小処理時間」と呼ぶ）を、各試験装置について算出する。処理コスト算出部１１３による、最大処理時間及び最小処理時間の算出方法について、１つの試験装置として「試験装置Ａ」を対象とした場合を例に、以下に具体的に説明する。
【００４０】
まず、処理コスト算出部１１３による最大処理時間の算出方法について、以下に示す＜Ａ１＞〜＜Ａ３＞に説明する。
【００４１】
＜Ａ１＞まず処理コスト算出部１１３は、１つのテストケースの初期状態を基準とし次のテストケースで使用するソフトウェアのバージョンに変更する場合に、最も処理コストの大きいテストケースを特定する。なお「初期状態」は、操作者により試験の条件を指定され試験が実行される直前の状態（各試験装置に既に組み込まれているソフトウェアのバージョン）を示している。
【００４２】
図４（ａ）では、「試験装置Ａ」の初期状態は１．０１である。このとき、図３（ａ）に示した「試験装置Ａ」の処理コスト（つまり処理時間）から、最も処理コストが大きくなる処理を確認する。このとき、２．０１に変更する場合に最も処理コストが大きくなる。これにより、処理コスト算出部１１３は、図４（ａ）のテストケースＣａｓｅ１〜Ｃａｓｅ６の中から、「試験装置Ａ」のソフトウェアのバージョンを２．０１とするＣａｓｅ３を特定し、テストケース間の実行順序の先頭に並べる。なお、「使用せず」が設定されている状態へ変更する場合の処理コストは、０分として計算する。
【００４３】
＜Ａ２＞次に処理コスト算出部１１３は、直前にテストケース間の実行順序に並べたＣａｓｅ３の状態、つまり、「試験装置Ａ」のソフトウェアのバージョン２．０１を基準として、次のテストケースで使用するソフトウェアのバージョンに変更する場合に最も処理コストが大きくなるテストケースを、まだテストケース間の実行順序に並べていないテストケース（この場合、Ｃａｓe１、Ｃａｓｅ２、及びＣａｓｅ４〜Ｃａｓｅ６）の中から抽出する。Ｃａｓｅ３を基準とした場合、処理コスト算出部１１３は、「試験装置Ａ」を１．３１に設定するＣａｓｅ１を抽出することになる。処理コスト算出部１１３は、抽出したＣａｓｅ１を、基準としたテストケース（Ｃａｓｅ３）の次に並べる。
【００４４】
＜Ａ３＞以降、処理コスト算出部１１３は、＜Ａ２＞と同様の方法で、全てのテストケースを、テストケース間の実行順序に並べる。これにより、連続するテストケース間で、対象とした試験装置の処理コストが最も大きくなるように、テストケースが並べ替えられることになる。この方法で、図４（ａ）に示すＣａｓｅ１〜Ｃａｓｅ６を並び替えた場合、Ｃａｓｅ３、Ｃａｓｅ１、Ｃａｓｅ２、Ｃａｓｅ６、Ｃａｓｅ５、Ｃａｓｅ４の順に並べられることになる。処理コスト算出部１１３は、このテストケース間の実行順序で対象とする試験装置（つまり試験装置Ａ）を動作させる場合の、処理コストの和を最大処理時間として算出する。図４（ａ）の「試験装置Ａ」の場合、最大処理時間は２２０分となる。
【００４５】
次に、処理コスト算出部１１３による最小処理時間の算出方法について、以下に示す＜Ｂ１＞〜＜Ｂ３＞に説明する。処理コスト算出部１１３による最小処理時間の算出方法の考え方は、最大処理時間の算出方法の考え方と基本的には同じである。つまり、最小処理時間を算出する場合、対象とした試験装置について、連続するテストケース間で処理コストが最も小さくなるように、テストケースを並べ替える。このとき、対象とした試験装置について、初期状態を基準として、同じバージョンのソフトウェアを使用するテストケースが連続して実行されるように、テストケース間の実行順序が並び替えられる。
【００４６】
＜Ｂ１＞まず処理コスト算出部１１３は、１つのテストケースの初期状態を基準とし次のテストケースで使用するソフトウェアのバージョンに変更する場合に、最も処理コストの小さいテストケースを特定する。
【００４７】
図４（ａ）では、「試験装置Ａ」の初期状態は１．０１である。このとき、「試験装置Ａ」のソフトウェアを入れ替えない場合に、最も処理コストが小さくなる。この場合、「使用せず」が設定されているテストケース、又は同じバージョンである１．０１が設定されているテストケースへの処理コストが０となり最も小さい。この場合、処理コスト算出部１１３は、まず「使用せず」が設定されているテストケースを優先して特定する。そのため、処理コスト算出部１１３は、図３（ａ）に示す「試験装置Ａ」の処理コストを基に、図４（ａ）のテストケースＣａｓｅ１〜Ｃａｓｅ６の中から、「試験装置Ａ」を使用しないＣａｓｅ４を抽出し、テストケース間の実行順序の先頭に並べる。
【００４８】
なお、「使用せず」が設定されているテストケース、及び同じバージョンである１．０１が設定されているテストケースのどちらも存在しない場合、処理コスト算出部１１３は、図３（ａ）に示した試験装置Ａの処理コストを参照して、最も処理コストが小さいテストケースを特定することになる。
【００４９】
＜Ｂ２＞次に処理コスト算出部１１３は、直前にテストケース間の実行順序に並べたＣａｓｅ４の状態を基準とし、次のテストケースで使用するソフトウェアのバージョンに変更する場合に最も処理コストが小さくなるテストケースを、まだテストケース間の実行順序に並べていないテストケース（この場合、Ｃａｓe１、及びＣａｓｅ３〜Ｃａｓｅ６）の中から抽出する。このとき、「試験装置Ａ」のソフトウェアのバージョンは初期状態から変更されていないため、１．０１が設定されていることになる。このとき「使用せず」が設定されているテストケースは存在しないため、処理コスト算出部１１３は、「試験装置Ａ」のソフトウェアのバージョンを１．０１に設定するＣａｓｅ２を抽出することになる。処理コスト算出部１１３は、抽出したＣａｓｅ２を、基準としたテストケース（Ｃａｓｅ４）の次に並べる。
【００５０】
＜Ｂ３＞以降、処理コスト算出部１１３は、＜Ｂ２＞と同様の方法で、全てのテストケースを、テストケース間の実行順序に並べる。この方法で、図４（ａ）に示すＣａｓｅ１〜Ｃａｓｅ６を並び替えた場合、Ｃａｓｅ４、Ｃａｓｅ２、Ｃａｓｅ５、Ｃａｓｅ１、Ｃａｓｅ６、Ｃａｓｅ３の順に並べられることになる。このテストケース間の実行順序で対象とする試験装置（つまり試験装置Ａ）を動作させる場合の、処理コストの和を最小処理時間として算出する。図４（ａ）の「試験装置Ａ」の場合、最小処理時間は９５分となる。
【００５１】
次に処理コスト算出部１１３は、算出した最大処理時間と最小処理時間との差を、処理コスト差として算出する。この処理コスト差が処理時間差に相当する。例えば、「試験装置Ａ」の場合の処理コスト差は、（最大処理時間−最小処理時間）＝（２２０分−９５分）＝１２５分となる。
【００５２】
処理コスト算出部１１３は、その他の試験装置についても、試験装置Ａと同様に＜Ａ１＞〜＜Ａ３＞及び＜Ｂ１＞〜＜Ｂ３＞に示した方法で最大処理時間及び最小処理時間を算出し、算出した最大処理時間と最小処理時間との差から処理コスト差を算出する。図４（ａ）の場合、「試験装置Ｂ」の処理コスト差は６５分、「試験装置Ｃ」の処理コスト差は２０分となる。処理コスト算出部１１３は、試験装置ごとに算出した処理コスト差を、実行順序決定部１１４に通知する。なお上記で説明した、処理コスト算出部１１３による処理コスト差の算出に係る処理が、処理時間差算出ステップに相当する。
【００５３】
実行順序決定部１１４は、処理コスト算出部１１３から各試験装置に対応する処理コスト差を受けて、処理コスト差が最も大きい試験装置を特定する。図４（ａ）の場合、「試験装置Ａ」の処理コスト差（１２５分）が最も高い。そのため実行順序決定部１１４は、「試験装置Ａ」を特定することになる。
【００５４】
実行順序決定部１１４は、特定した処理コスト差が最も大きい試験装置を対象として、連続する各テストケース間の処理コストの和が最小となるように、各テストケースを並び替える。このときの、テストケース間の実行順序の並び替えに係る処理は、前述した最小処理時間を求める場合の、各テストケースの並び替えに係る処理と同様である。そのため、このとき最小処理時間の導出時に求めたテストケース間の実行順序を用いてもよい。この場合、＜Ｂ１＞〜＜Ｂ３＞に示した、最小処理時間を導出するためのテストケース間の実行順序を求める処理を、実行順序決定部１１４にあらためて実行させる必要はない。
【００５５】
図４（ｂ）には、図４（ａ）で示した各テストケースを、「試験装置Ａ」を対象とした、各テストケース間の並び替えの結果が示されている。これにより、「試験装置Ａ」について、同じバージョンのソフトウェアを使用するテストケースが連続して実行されるように、テストケース間の実行順序が並び替えられる。なお上記で説明した、実行順序決定部１１４によるテストケース間の実行順序の並び替えに係る処理が、並び替えステップに相当する。
【００５６】
次に、試験実行制御部１１１は、実行順序決定部１１４により実行順序が並び替えられたテストケースに対応したテストケースデータ及びバージョン管理データを逐次読み出す。試験実行制御部１１１は、バージョン管理データを読み出すと、各試験装置に既に組み込まれているソフトウェアのバージョンを確認する。試験実行制御部１１１は、試験装置に既に組み込まれているソフトウェアのバージョンが、読み出したバージョン管理データで指定されたソフトウェアのバージョンと異なる場合、試験実行部１０を介して該試験装置にソフトウェアの入れ替えを指示する。試験装置に既に組み込まれているソフトウェアのバージョンが、読み出したバージョン管理データで指定されたソフトウェアのバージョンと同じ場合は、該試験装置にソフトウェアの入れ替えは指示しない。
【００５７】
試験装置のソフトウェアの入れ替えが完了すると、試験実行制御部１１１は、読み出したテストケースデータを基に、試験実行部１０を介して各試験装置に動作条件を変更させる。動作条件の変更が完了したら、試験実行制御部１１１は、試験実行部１０を介して各試験装置に試験を実行させる。以降、試験実行制御部１１１は、全てのテストケースに対し、上記したソフトウェアの確認及び入れ替えの処理と、動作条件の変更及び試験の実行に係る処理とを実行する。
【００５８】
次に、第１の実施形態に係る移動体通信端末試験システムの処理について、図５を参照しながら説明する。図５は、第１の実施形態に係る移動体通信端末試験システムの処理を説明するためのフローチャートである。
【００５９】
（ステップＳ０１）
まず試験実行制御部１１１は、操作部１３から操作者が指定した試験条件に従いテストケース記憶部１２よりテストケースデータを抽出する。
【００６０】
（ステップＳ０２）
試験実行制御部１１１は、テストケースデータを抽出すると、抽出したテストケースデータを基にした処理コスト差の算出を処理コスト算出部１１３に指示する。処理コスト算出部１１３は、試験実行制御部１１１からの指示を受けて、各試験装置の処理コストを基に、連続する各テストケース間でソフトウェアの入れ替えに要する時間の和が、最大となる最大処理時間と、最小となる最小処理時間を算出する。処理コスト算出部１１３は、各試験装置について、算出した最大処理時間と最小処理時間との差から処理コスト差を算出する。なお、この処理コスト算出部１１３による処理コスト差の算出に係る処理が、処理時間差算出ステップに相当する。
【００６１】
（ステップＳ０３）
次に、実行順序決定部１１４は、処理コスト算出部１１３から各試験装置に対応する処理コスト差を受けて、処理コスト差が最も大きい試験装置を特定する。例えば図４（ａ）の場合、「試験装置Ａ」の処理コスト差（１２５分）が最も高い。そのため実行順序決定部１１４は、「試験装置Ａ」を特定することになる。
【００６２】
（ステップＳ０４）
次に、実行順序決定部１１４は、特定した処理コスト差が最も大きい試験装置を対象として、連続する各テストケース間の処理コストの和が最小となるように、各テストケースを並び替える。例えば、「試験装置Ａ」を対象としてテストケースの並び替えを行う場合、図４（ａ）をテストケース間の実行順序の並び替え実施前の状態とし、図４（ｂ）に示すような並び替えの結果が得られることになる。なお上記で説明した、実行順序決定部１１４によるテストケース間の実行順序の並び替えに係る処理が、並び替えステップに相当する。
【００６３】
（ステップＳ０５）
次に、試験実行制御部１１１は、実行順序決定部１１４により実行順序が並び替えられたテストケースに対応したテストケースデータ及びバージョン管理データを逐次読み出す。試験実行制御部１１１は、バージョン管理データを読み出すと、各試験装置に既に組み込まれているソフトウェアのバージョンを確認する。試験装置に既に組み込まれているソフトウェアのバージョンが、読み出したバージョン管理データで指定されたソフトウェアのバージョンと異なる場合、試験実行制御部１１１は、試験実行部１０を介して該試験装置にソフトウェアの入れ替えを指示する。
【００６４】
試験装置のソフトウェアの入れ替えが完了すると、試験実行制御部１１１は、読み出したテストケースデータを基に、試験実行部１０を介して各試験装置に動作条件を変更させる。動作条件の変更が完了したら、試験実行制御部１１１は、試験実行部１０を介して各試験装置に試験を実行させる。以降、試験実行制御部１１１は、全てのテストケースに対し、上記したソフトウェアの確認及び入れ替えの処理と、動作条件の変更及び試験の実行に係る処理とを実行する。
【００６５】
以上、第１の実施形態に係る移動体通信端末試験システムは、操作部１３から操作者が指定した試験条件に従い抽出されたテストケース間で、処理コスト差が最も大きい試験装置を特定する。第１の実施形態に係る移動体通信端末試験システムは、特定した試験装置について、同じバージョンのソフトウェアを使用するテストケースが連続して実行されるようにテストケース間の実行順序を並び替える。これにより、処理コスト差が最も大きい試験装置について、ソフトウェアの入れ替えに要する時間がより短くなり、全体の試験時間を短縮することが可能となる。
【００６６】
また第１の実施形態に係る移動体通信端末試験システムでは、バージョン管理データを基に、実行するテストケースに応じて、各試験装置にソフトウェアを入れ替えさせる。これにより、各試験装置のソフトウェアの設定ミスを防止し、誤った結果に基づいて認定をしてしまう事故の発生を抑止することが可能となる。
【００６７】
なお、必ずしも上記説明のように全ての試験装置について処理コスト差を算出する必要はない。テストケース間の実行順序を変更しても試験時間の短縮の効果が小さいことが、あらかじめわかっている試験装置については、処理コスト算出部１１３による処理コスト差の算出に係る処理の対象から外せるようにしてもよい（つまり処理コスト算出部１１３は、あらかじめ決められた一部の試験装置についてのみ、処理コスト差を算出することになる）。この場合、実行順序決定部１１４は、処理コスト差を算出した試験装置の中から、テストケース間の実行順序の並び替えの対象とする試験装置を特定することになる。これにより、処理コスト算出部１１３による処理コスト差の算出に係る処理において、計算量を低減し処理時間を短縮することが可能となる。
【００６８】
（変形例１）
第１の実施形態に係る実行順序決定部１１４は、処理コスト算出部１１３が算出した各試験装置の処理コスト差を受けて、処理コスト差が最も高い試験装置を対象として、テストケース間の実行順序を並び替えていた。
【００６９】
変形例１に係る移動体通信端末試験システムでは、処理コスト差が最大の試験装置以外についても、同じバージョンのソフトウェアを使用するテストケースが連続して実行されるようにテストケース間の実行順序を並び替える。このとき、変形例１に係る移動体通信端末試験システムは、処理コスト差を基に各試験装置間で優先度付けを行い、テストケースの並び替えの対象とする（具体的な処理の内容については後述する）。以降に、変形例１に係る移動体通信端末試験システムについて説明する。
【００７０】
変形例１に係る移動体通信端末試験システムは、第１の実施形態に係る移動体通信端末試験システムと、実行順序決定部１１４の処理内容が異なる。本説明では、第１の実施形態と異なる実行順序決定部１１４ａの処理内容に着目して説明する。なお、その他の処理ブロックの構成及び処理内容は第１の実施形態と同様のため、具体的な説明は省略する。
【００７１】
変形例１に係る実行順序決定部１１４ａの動作について、図６を参照しながら説明する。図６は、変形例１に係る移動体通信端末試験システムにおけるテストケース間の実行順序の並び替えに関する処理を説明するための図である。実行順序決定部１１４ａは、処理コスト算出部１１３から各試験装置に対応する処理コスト差を受信する。例えば図６（ａ）は、テストケース間の実行順序を変更する前の状態を示している。なお、図６（ａ）は図４（ａ）と同じ状態を示している。そのため処理コスト算出部１１３により、図３に示した各試験装置の処理コストを基に算出された各試験装置の処理コスト差は、図４（ａ）と同様に、「試験装置Ａ」が１２５分、「試験装置Ｂ」が６５分、「試験装置Ｃ」が２０分となる。
【００７２】
実行順序決定部１１４ａは、処理コスト算出部１１３から各試験装置に対応する処理コスト差を受けて、処理コスト差が小さい順に各試験装置を対象として、各試験装置について連続する各テストケース間の処理コストの和が最小となるように、テストケース間の実行順序を遂次並び替える。実行順序決定部１１４ａのテストケース間の実行順序の並び替えに係る具体的な処理について、図６を参照しながら、以下に示す＜Ｃ１＞〜＜Ｃ４＞に説明する。
【００７３】
＜Ｃ１＞まず実行順序決定部１１４ａは、各試験装置の処理コスト差を比較し、最も処理コスト差が小さい試験装置を特定する。図６（ａ）の場合、「試験装置Ｃ」の処理コスト差が最も小さいため、実行順序決定部１１４ａは、「試験装置Ｃ」を特定することになる。
【００７４】
＜Ｃ２＞次に実行順序決定部１１４ａは、特定した試験装置（この場合、「試験装置Ｃ」が該当する）を対象として、連続する各テストケース間の処理コストの和が最小となるように、各テストケースを並び替える。図６（ｂ）は、図６（ａ）をテストケース間の実行順序の並び替え実施前の状態とし、「試験装置Ｃ」を対象として、連続する各テストケース間の処理コストの和が最小となるように、各テストケースを並び替えた場合の結果を示している。なお、各テストケース間の処理コストの和が最小となるように、テストケース間の実行順序を並び替える方法は、前述した最小処理時間を求める場合の、各テストケースの並び替えに係る処理と同様である。そのため、このとき最小処理時間の導出時に求めたテストケース間の実行順序を用いてもよい。この場合、＜Ｂ１＞〜＜Ｂ３＞に示した、最小処理時間を導出するためのテストケース間の実行順序を求める処理を、実行順序決定部１１４ａにあらためて実行させる必要はない。
【００７５】
＜Ｃ３＞次に実行順序決定部１１４ａは、直前にテストケース間の並び替えの対象とした試験装置の次に、処理コスト差の小さい試験装置を特定する。直前にテストケース間の並び替えの対象とした試験装置が「試験装置Ｃ」の場合、次に処理コスト差の小さい試験装置は「試験装置Ｂ」となる。そのため、このとき実行順序決定部１１４ａは、「試験装置Ｂ」を特定することになる。
【００７６】
実行順序決定部１１４ａは、処理コスト差の小さい試験装置を特定すると、特定した試験装置を対象として、連続する各テストケース間の処理コストの和が最小となるように各テストケースを並び替える。このとき実行順序決定部１１４ａは、直前に並び替えられたテストケース間の実行順序を、特定した試験装置を対象とした並び替えを実施する前の状態とし、各テストケースを並び替える。図６（ｃ）は、図６（ｂ）をテストケース間の実行順序の並び替え実施前の状態とし、「試験装置Ｂ」を対象として、連続する各テストケース間の処理コストの和が最小となるように、各テストケースを並び替えた場合の結果を示している。
【００７７】
＜Ｃ４＞以降、実行順序決定部１１４ａは、＜Ｃ３＞と同様の方法で、処理コスト差の小さい順に、残りの試験装置についても対象として各テストケース間の実行順序を並び替える。つまり実行順序決定部１１４ａは、「試験装置Ｂ」の次には「試験装置Ａ」を対象とし、テストケース間の実行順序を並び替えることになる。例えば、図６（ｄ）は、図６（ｃ）をテストケース間の実行順序の並び替え実施前の状態とし、「試験装置Ａ」を対象として、連続する各テストケース間の処理コストの和が最小となるように、各テストケースを並び替えた場合の結果を示している。
【００７８】
なお上記では、実行順序決定部１１４ａが、処理コスト差を算出した全ての試験装置を遂次対象として、テストケース間の実行順序を並び替える例について説明した。しかし、必ずしも全ての試験装置を対象として、テストケース間の実行順序を並び替える必要はない。処理コスト差の小さい試験装置は、対象としてテストケース間の実行順序を並び替えても、試験時間の短縮に関する効果が小さい。そのため、テストケース間の実行順序の並び替えを行う前段階で、テストケースの並び替えの対象とする試験装置を特定してもよい。このとき、処理コスト差が所定値以上の試験装置のみを並び替えの対象として抽出してもよい。また、処理コスト差の大きい順に所定数の試験装置を対象として抽出してもよい。
【００７９】
例えば、図６（ａ）を例に、処理コスト差が６０分以上の試験装置を対象として抽出した場合、テストケースの並び替えの対象となる試験装置は、「試験装置Ａ」と「試験装置Ｂ」となる。同様に、図６（ａ）を例に、処理コスト差の上位２つの試験装置を抽出した場合、テストケースの並び替えの対象となる試験装置は、「試験装置Ａ」と「試験装置Ｂ」となる。
【００８０】
また、実行順序決定部１１４ａは、処理コスト差を算出していない試験装置がある場合、この試験装置を対象としたテストケース間の実行順序の並び替えは行わない。この試験装置は、前述した、処理コスト算出部１１３による処理コスト差の算出に係る処理の対象から外した試験装置に相当する。
【００８１】
次に、試験実行制御部１１１は、実行順序決定部１１４により実行順序が並び替えられたテストケースに対応したテストケースデータ及びバージョン管理データを逐次読み出す。以降は、第１の実施形態と同様に、各試験装置のソフトウェアの入れ替えに係る処理と、動作条件の変更及び試験の実行に係る処理を、各テストケースについて実行する。
【００８２】
次に、変形例１に係る移動体通信端末試験システムの処理について、図７を参照しながら説明する。図５は、第１の実施形態に係る移動体通信端末試験システムの処理を説明するためのフローチャートである。なお、ステップＳ０１及びステップＳ０２に係る処理は第１の実施形態と同様のため説明は省略し、動作の異なるステップＳ１１以降について着目して説明する。
【００８３】
（ステップＳ１１）
処理コスト算出部１１３が処理コスト差を算出したら、次に、実行順序決定部１１４ａが、処理コスト算出部１１３が算出した各試験装置の処理コスト差を基に、テストケース間の実行順序の並び替えに係る処理を開始する。このとき、実行順序決定部１１４ａは、処理コスト差を基に、あらかじめ並び替えの対象とする試験装置を抽出するようにしてもよい。
【００８４】
（ステップＳ１２）
次に、実行順序決定部１１４ａは、各試験装置の処理コスト差を比較し、最も処理コスト差が小さい試験装置を特定する。例えば、図６（ａ）の場合、実行順序決定部１１４ａは、「試験装置Ｃ」を特定することになる。
【００８５】
（ステップＳ１３）
次に、実行順序決定部１１４ａは、特定した試験装置を対象として、連続する各テストケース間の処理コストの和が最小となるように、各テストケースを並び替える。例えば、「試験装置Ｃ」を対象としてテストケースの並び替えを行う場合、図６（ａ）をテストケース間の実行順序の並び替え実施前の状態とし、図６（ｂ）に示すような並び替えの結果が得られることになる。
【００８６】
（ステップＳ１４）
次に、実行順序決定部１１４ａは、抽出した全ての試験装置について、該試験装置を対象としたテストケースの並び替えを行ったかを確認する。
【００８７】
（ステップＳ１５）
まだ並び替えの対象としていない試験装置が残っている場合（ステップＳ１４、Ｎ）、実行順序決定部１１４ａは、並び替えの対象としていない試験装置の中から、処理コスト差が最も小さい試験装置を特定する。例えば、「試験装置Ｃ」を対象としてテストケース間の実行順序を並び替えた後ならば、実行順序決定部１１４ａは、「試験装置Ｃ」の次に処理コスト差の小さい「試験装置Ｂ」を特定することになる。
【００８８】
実行順序決定部１１４ａは、試験装置を特定したら、特定した試験装置を対象として、再度テストケース間の実行順序を並び替える。このとき実行順序決定部１１４ａは、直前に並び替えられたテストケース間の実行順序を、特定した試験装置を対象とした並び替えを実施する前の状態とし、テストケース間の実行順序を並び替える。例えば、「試験装置Ｃ」を対象としてテストケース間の実行順序を並び替えた後であれば、まず実行順序決定部１１４ａは、図６（ｂ）をテストケース間の実行順序の並び替え実施前の状態とする。次に実行順序決定部１１４ａは、「試験装置Ｂ」を対象として、連続する各テストケース間の処理コストの和が最小となるように、各テストケースを並び替える。図６（ｃ）が、実行順序決定部１１４ａによる、「試験装置Ｂ」を対象としたテストケース間の実行順序の並び替えの結果に相当する。
【００８９】
（ステップＳ０５）
全ての試験装置について並び替えを行っている場合（ステップＳ１４、Ｙ）、実行順序決定部１１４ａは、テストケースの並び替えに係る処理を終了する。なお上記で説明した、実行順序決定部１１４によるテストケース間の実行順序の並び替えに係る処理が、並び替えステップに相当する。
【００９０】
次に、試験実行制御部１１１は、実行順序決定部１１４ａにより実行順序が並び替えられたテストケースに対応したテストケースデータ及びバージョン管理データを逐次読み出す。試験実行制御部１１１は、バージョン管理データを読み出すと、各試験装置に既に組み込まれているソフトウェアのバージョンを確認する。試験装置に既に組み込まれているソフトウェアのバージョンが、読み出したバージョン管理データで指定されたソフトウェアのバージョンと異なる場合、試験実行制御部１１１は、試験実行部１０を介して該試験装置にソフトウェアの入れ替えを指示する。
【００９１】
試験装置のソフトウェアの入れ替えが完了すると、試験実行制御部１１１は、読み出したテストケースデータを基に、試験実行部１０を介して各試験装置に動作条件を変更させる。動作条件の変更が完了したら、試験実行制御部１１１は、試験実行部１０を介して各試験装置に試験を実行させる。以降、試験実行制御部１１１は、全てのテストケースに対し、上記したソフトウェアの確認及び入れ替えの処理と、動作条件の変更及び試験の実行に係る処理とを実行する。
【００９２】
ここで、テストケース間の実行順序の並び替えの結果について、変形例１に係る移動体通信端末試験システムと、第１の実施形態に係る移動体通信端末試験システムとを、図４（ｂ）及び図６（ｄ）を参照しながら比較する。図４（ｂ）は、第１の実施形態に係る移動体通信端末試験システムにおけるテストケース間の実行順序を並び替えた結果を示している。また図６（ｄ）は、変形例１に係る移動体通信端末試験システムにおけるテストケース間の実行順序を並び替えた結果を示している。
【００９３】
例えば、処理コスト差の最も大きい「試験装置Ａ」を対象として、図４（ｂ）と図６（ｄ）との間でソフトウェアのバージョンを比較した場合、双方で同じ並び順となっている。そのため、「試験装置Ａ」に係る処理の時間は、図４（ｂ）と図６（ｄ）とでは同じである。しかしながら、図４（ｂ）に示した「試験装置Ｂ」に着目すれば、テストケースＣａｓｅ４、Ｃａｓｅ２、Ｃａｓｅ５の実行順序を、図６（ｄ）のように、Ｃａｓｅ４、Ｃａｓｅ５、Ｃａｓｅ２の実行順序に変更した場合、「試験装置Ｂ」についてソフトウェアの入れ替えを行うタイミングが２回から１回に減少する。
【００９４】
図３（ｂ）に示した「試験装置Ｂ」の処理コストを基に、初期状態を基準としてＣａｓｅ２、Ｃａｓｅ４、及びＣａｓｅ５を処理する場合における動作条件の変更に係る処理コストを計算する。この計算結果によると、変形例１に係る移動体通信端末試験システムは、第１の実施形態に係る移動体通信端末試験システムより該処理コストが２０分短縮されることになる。具体的に示すと、図４（ｂ）におけるＣａｓｅ４とＣａｓｅ２の間及びＣａｓｅ２とＣａｓｅ５の間にかかる処理コストの和（４５分）から、図６（ｄ）におけるＣａｓｅ５からＣａｓｅ２の間にかかる処理コスト（２５分）に短縮されることになる。
【００９５】
以上、変形例１に係る移動体通信端末試験システムでは、処理コスト差が最大の試験装置以外についても、同じバージョンのソフトウェアを使用するテストケースが連続して実行されるようにテストケース間の実行順序を並び替える。これにより、処理コスト差が最大の試験装置のみを対象としてテストケース間の実行順序を並び替える場合（第１の実施形態に係る移動体通信端末試験システム）よりも更に、全体の試験時間を短縮することが可能となる。
【符号の説明】
【００９６】
１ 移動体通信端末試験システム ２ 移動体通信端末 １０ 試験実行部
１１ テストケース実行制御部 １２ テストケース記憶部 １３ 操作部
１１１ 試験実行制御部 １１２ バージョン管理データ記憶部
１１３ 処理コスト算出部 １１４、１１４ａ 実行順序決定部
【特許請求の範囲】
【請求項１】
ソフトウェアを有する複数の試験装置を制御し被試験対象である移動体通信端末（２）の各種試験を実行する試験実行部（１０）と、前記複数の試験装置それぞれを動作させるための前記ソフトウェアの入れ替えを含む動作設定を１組のテストケースとして、複数のテストケースを記憶するテストケース記憶部（１２）とを備え、前記試験実行部が前記テストケースに従い前記試験装置の動作設定を変更しながら前記試験を実行する移動体通信端末試験システムであって、
前記複数のテストケースが３以上備えられており、
予め、前記複数のテストケースに含まれる複数の前記試験装置ごとに、前記動作設定を基に、全テストケースを通して前記動作設定を変更する時間が最大となるように前記複数のテストケースを並び替えた場合の最大処理時間と、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替えた場合の最小処理時間との差から処理時間差を算出する処理コスト算出部（１１３）と、
少なくとも、前記処理時間差が最も大きい前記試験装置を特定し、それを基に全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替える実行順序決定部（１１４）とを備えたことを特徴とする移動体通信端末試験システム。
【請求項２】
前記実行順序決定部が、前記処理時間差が最小となる前記試験装置において、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替えた場合の、前記複数のテストケースの実行順序を基礎として、前記処理時間差が小さい前記試験装置の順に前記複数のテストケースの並び替えを行い、かつ、後にテストケースの並び替えを行う前記試験装置については、先に並べ替えられたテストケースの実行順序と、後にテストケースの並び替えを行う前記試験装置に対応した動作設定とを基に、前記複数のテストケースの実行順序を並び替えることを特徴とする請求項１に記載の移動体通信端末試験システム。
【請求項３】
ソフトウェアを有する複数の試験装置を制御し被試験対象である移動体通信端末の各種試験を実行する移動体通信端末試験システムにおいて、複数の試験装置それぞれを動作させるための前記ソフトウェアの入れ替えを含む動作設定を１組のテストケースとして、前記テストケースに沿って前記試験を実行する試験方法であって、
前記複数のテストケースに含まれる複数の前記試験装置ごとに、前記動作設定を基に、全テストケースを通して前記動作設定を変更する時間が最大なるように前記複数のテストケースを並び替えた場合の最大処理時間と、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替えた場合の最小処理時間との差から処理時間差を算出する処理時間差算出ステップと、
少なくとも、前記処理時間差が最も大きい前記試験装置において、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替える並び替えステップとを備えたことを特徴とする試験方法。
【請求項４】
前記並び替えステップにおいて、前記処理時間差が最小となる前記試験装置において、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替えた場合の、前記複数のテストケースの実行順序を基礎として、前記処理時間差が小さい前記試験装置の順に前記複数のテストケースの並び替えを行い、かつ、後にテストケースの並び替えを行う前記試験装置については、先に並べ替えられたテストケースの実行順序と、後にテストケースの並び替えを行う前記試験装置に対応した動作設定とを基に、前記複数のテストケースの実行順序を並び替えることを特徴とする請求項３に記載の試験方法。
【請求項１】
ソフトウェアを有する複数の試験装置を制御し被試験対象である移動体通信端末（２）の各種試験を実行する試験実行部（１０）と、前記複数の試験装置それぞれを動作させるための前記ソフトウェアの入れ替えを含む動作設定を１組のテストケースとして、複数のテストケースを記憶するテストケース記憶部（１２）とを備え、前記試験実行部が前記テストケースに従い前記試験装置の動作設定を変更しながら前記試験を実行する移動体通信端末試験システムであって、
前記複数のテストケースが３以上備えられており、
予め、前記複数のテストケースに含まれる複数の前記試験装置ごとに、前記動作設定を基に、全テストケースを通して前記動作設定を変更する時間が最大となるように前記複数のテストケースを並び替えた場合の最大処理時間と、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替えた場合の最小処理時間との差から処理時間差を算出する処理コスト算出部（１１３）と、
少なくとも、前記処理時間差が最も大きい前記試験装置を特定し、それを基に全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替える実行順序決定部（１１４）とを備えたことを特徴とする移動体通信端末試験システム。
【請求項２】
前記実行順序決定部が、前記処理時間差が最小となる前記試験装置において、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替えた場合の、前記複数のテストケースの実行順序を基礎として、前記処理時間差が小さい前記試験装置の順に前記複数のテストケースの並び替えを行い、かつ、後にテストケースの並び替えを行う前記試験装置については、先に並べ替えられたテストケースの実行順序と、後にテストケースの並び替えを行う前記試験装置に対応した動作設定とを基に、前記複数のテストケースの実行順序を並び替えることを特徴とする請求項１に記載の移動体通信端末試験システム。
【請求項３】
ソフトウェアを有する複数の試験装置を制御し被試験対象である移動体通信端末の各種試験を実行する移動体通信端末試験システムにおいて、複数の試験装置それぞれを動作させるための前記ソフトウェアの入れ替えを含む動作設定を１組のテストケースとして、前記テストケースに沿って前記試験を実行する試験方法であって、
前記複数のテストケースに含まれる複数の前記試験装置ごとに、前記動作設定を基に、全テストケースを通して前記動作設定を変更する時間が最大なるように前記複数のテストケースを並び替えた場合の最大処理時間と、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替えた場合の最小処理時間との差から処理時間差を算出する処理時間差算出ステップと、
少なくとも、前記処理時間差が最も大きい前記試験装置において、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替える並び替えステップとを備えたことを特徴とする試験方法。
【請求項４】
前記並び替えステップにおいて、前記処理時間差が最小となる前記試験装置において、全テストケースを通して前記動作設定を変更する時間が最小となるように前記複数のテストケースを並び替えた場合の、前記複数のテストケースの実行順序を基礎として、前記処理時間差が小さい前記試験装置の順に前記複数のテストケースの並び替えを行い、かつ、後にテストケースの並び替えを行う前記試験装置については、先に並べ替えられたテストケースの実行順序と、後にテストケースの並び替えを行う前記試験装置に対応した動作設定とを基に、前記複数のテストケースの実行順序を並び替えることを特徴とする請求項３に記載の試験方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１９９７１９（Ｐ２０１１−１９９７１９Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６５８８９（Ｐ２０１０−６５８８９）
【出願日】平成２２年３月２３日（２０１０．３．２３）
【出願人】（００００００５７２）アンリツ株式会社 (838)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月２３日（２０１０．３．２３）
【出願人】（００００００５７２）アンリツ株式会社 (838)
【Ｆターム（参考）】
[ Back to top ]