同値分割・境界値分析の解説

同値分割とは

同値分割は、さまざまなテストフェーズで利用できるブラックボックステスト技法の一つです。テスト結果(ソフトウェアの振る舞い)をグループ分けし、それぞれのテスト結果になる代表的なテスト条件を選択してテストします。言い換えれば、すべてのテストをするのではなく代表的なテストをすればよい、という考え方です。一般的にはテスト技法の基礎といわれています。

本来はテスト結果(数学的な表現をすると値域)に着目するテスト技法ですが、ここではテスト条件(数学的な表現をすると定義域)に着目する方法を解説します。

同値分割は大きく5つの作業に分けられます。

  1. 同値クラスを作る
  2. 同値クラスを分類する
  3. 代表値を決定する
  4. テスト条件を決定する
  5. テスト条件を見直す

5つの作業を解説するために、以下のような入力フォームのテストを考えてみましょう。

メールアドレスは「ローカルパート@ドメインパート」で構成される。
ローカルパートは2文字以上50文字以下の半角英数字と記号。
使用可能な記号は-_.のみとする。
ドメインパートはローカルパートと同様の文字で有無のみ確認する。
メールアドレスが仕様に合致し、2つの入力文字列が一致した場合は正常とする。

同値クラスを作る

テスト結果をグループ分けすることをここでは「同値クラスを作る」といいます。通常、グループ分けの基準は一通りではなく複数あります。その基準をここでは「観点」といいます。上記のメールアドレスについては、例えば「アットマークの数」「文字種別」「文字数」「記号の有無」「メールアドレスの一致性」などの観点を挙げることができます。

同値クラスを分類する

同値クラスには、それらが影響を及ぼすテスト結果によって「有効同値クラス」「無効同値クラス」に分類できます。有効同値クラスは、そのテスト結果を正常系にするであろう同値クラスをいいます。一方で、無効同値クラスは、そのテスト結果を準正常系・異常系にするであろう同値クラスをいいます。なお、正常系・準正常系・異常系は以下のような使い方をしています。

代表値を決定する

それぞれの観点に対して、有効同値クラスと無効同値クラスが何であるかを考えた後は、実際にテストする時をイメージして、テスト条件を決定します。具体的には数値であったり、文字列であったり、選択肢であったりします。

テスト条件を決定する

観点が一つの場合は、決定した代表値をそのままテスト条件とします。観点が複数ある場合は、無効同値クラスが重ならないようにテスト条件を組み合わせてテスト条件とします。

テスト番号1はすべての観点で有効同値クラスの代表値を選択しています。テスト番号2~3はアットマークという観点で無効同値クラスの代表値を選択し、テスト番号4~5はローカルパート文字列という観点で無効同値クラスの代表値を選択しています。以下、同じようにそれぞれの観点で代表値を選択しながら、テスト条件を並べていきます。

テスト条件を見直す

前述の4つの作業、テスト実施するための情報はほとんど揃っています。最後に、これらの情報を整理したり、修正したり、追加したりします。ここではこの作業を「見直し」といいます。

例えば、ローカルパート文字列が1文字であって、文字列として「test」を含むことは不可能です。そこで、このテスト条件では何を確認したいのかを思い出してみます。確認したいのは「ローカルパートが1文字ではいけないので、エラー処理となるかどうか」です。従って、ローカルパートが1文字であることは維持しながら、文字を「_」であったり「t」といった条件に修正します。あるいは、文字列を「_」の場合と「t」の場合の2回分に追加するのもよいです。

例えば、「ドメインパートがない」という無効同値クラスを参考にして「ローカルパートがない」という無効同値クラスが気になるかもしれません。その場合は、ローカルパート文字数にもう一つ無効同値クラスを追加します。

このように4つの作業で作成したテスト条件を見直し、必要であれば1~4の作業を繰り返します。見直しの方法としては、セルフレビューやピアレビューの他、テスト実施と並行する場合もあります。特にテスト実施が自動化されている場合は、テスト実施と並行しやすいです。

また、同値クラスの分け方の粒度を変えたり(ズームイン・ズームアウト)、二つ以上の観点を複合的にとらえて新しい観点としたり、メールアドレスに関するドメイン知識を活用した観点を追加したり、プロジェクトに合わせた工夫をするとよいでしょう。


繰り返しになりますが、同値分割の結果から得られるテスト条件は一通りではありません。参考までに上記の解説に沿った手順で作成したテスト条件を以下に示します。


境界値分析とは

境界値分析は、前述の同値分割と関わりが深いテスト技法です。同値分割で得られた同値クラスの境界や端、その近くに注目してテスト条件を考えるブラックボックステスト技法の一つです。テスト設計で同値分割を活用する大きな理由は、効率的にバグを見つけるためですが、境界値分析を活用する大きな理由は、効果的にバグを見つけるためです。

一般的には「境界値にバグが多く存在する」と言われていますが、境界値のそばにもバグは多く存在し、未知の境界や余分な境界が引き起こすバグも少なくありません。ここでは、これら3つの注目ポイントに沿って解説します。

繰り返しになりますが、同値分割と境界値分析は関わりが深いテスト技法のため、前述の入力フォームを例に解説します。

メールアドレスは「ローカルパート@ドメインパート」で構成される。
ローカルパートは2文字以上50文字以下の半角英数字と記号。
使用可能な記号は-_.のみとする。
ドメインパートはローカルパートと同様の文字で有無のみ確認する。
メールアドレスが仕様に合致し、2つの入力文字列が一致した場合は正常とする。

境界値のバグ

ローカルパートの文字数という観点で「2文字以上50文字以下の半角英数字と記号」という仕様から、同値クラスを4つ作りました。

文字数のような連続性を持つ同値クラスの場合は、「数直線」のようなモデルを描くとわかりやすいです。2文字は有効同値クラスに最小値として属し、50文字も有効同値クラスに最大値として属します。

有効同値クラスの最大値および最小値が存在する場合、それらを「onポイント」と呼び、テストすべきです。数学的には最大値(あるいは最小値)が存在しない場合もありますが、その場合は上界(あるいは下界)の最小値(あるいは最大値)をonポイントと考えて、テストするとよいでしょう。

境界値近くのバグ

境界地近くのバグについても、同様にローカルパート文字数という観点で解説します。有効同値クラス(2文字以上50文字以下)と無効同値クラス(51文字以上)はonポイント(50文字)で接しています。無効同値クラスの中でonポイントに最も近い値を「offポイント」と呼び、テストすべきです。

未知の境界と余分な境界

onポイントとoffポイントをテストすることで、同値クラスの境界値とその近くに存在するバグを見つける手助けになります。
境界が含まれるか含まれないかの誤り(閉包バグ, closure bug)は、onポイントのテストで見つけられます。境界が仕様よりもずれてしまう誤り(境界移動, boundary shifted right / left)は、onポイントあるいはoffポイントのテストで見つけられます。想定していた境界が存在しないという誤り(境界抜け, missing boundary)は、onポイントとoffポイントのテスト結果によって発見できます。

ボーリス・バイザーは著書の中で、境界値テストとして「inポイント(内部点)」「outポイント(外部点)」を推奨しています。これらは、有効同値クラスの内側にある任意の点をinポイント、外側にある任意の点をoutポイントとしており、余分な境界を見つける効果があると記されています。同値分割の代表値としてこれらのinポイントとoutポイントを追加するとよいでしょう。


参考までに上記の解説に沿った手順で作成したテスト条件を以下に示します。

※この記事は WACATE2009 冬のテスト技法セッションを参考にしています。

直交表割り付けツール FLMatrix – 禁則の設定案(1)

直交表割り付けでは、本来あり得ない組み合わせ(禁則)を回避して割り付ける必要がある。HAYST法では、禁則マトリクスを利用するが、2因子間の禁則マトリクスを実装してみた。ただし、ここから因子を融合したりする作業が必要なので、そこをツールで支援できるようにしたい。

FLMatrix

禁則マトリクス1

直交表割り付けツール FLMatrix の修正(3)

直交表割り付けツール FLMatrix を修正しました。

FLMatrix

  • 表示インターフェースの変更(タブ表示、レスポンシブ表示)
  • 2因子網羅表の色分け(禁則、テスト未網羅)
  • 状態遷移に関連する表示不具合がまだ残っています。また、禁則設定・禁則回避の自動化が難しく、わかりやすいインターフェースを検討中です。

    メールソフトのFL表

    直交表割り付けツール FLMatrix の修正(2)

    直交表割り付けシミュレーションツールの修正をしました。

    FLMatrix

    修正個所は以下の通り。

  • 多水準化のロジック見直し
  • 入力データの維持(SessionStorage を利用)
  • ログイン機能(CEGTest とアカウント情報は同じ)
  • クラウドへのデータ保存/データ参照
  • 現在は、「排他(EXCL)」の他、「隠蔽(MASK)」の実装中です。

    pict_sample