設計技術：評価方法の設計術 |
適切な評価手順を求めるためには、評価の過程を分析して、思考のステップを明らかにしなければならない。また、各ステップで何を作るのかも調べる必要がある。ただし、いい加減に評価する作業を分析しても意味はない。きちんと評価する作業を分析することが大切なので、論理的な評価を対象とする。
まず、評価結果が異なる場合の原因を考えてみよう。まったく違う結果になるのは、評価の基準が異なるからである。どんな点がどのようになったら良いと判断するのか、評価する人は自分なりの基準を持っている。それが違うからこそ、評価結果も異なる。評価基準が同じなら、大きく異なる結果にはならない。世の中の多くの例では、評価基準を明らかにせず、評価結果だけを発表する。そのため、評価基準が違っていることに気付きにくいが、違いの原因は基準にあるのだ。
次に考えるのは、評価基準が異なる原因である。各人の評価基準は、自分が目標とする姿や形式をもとに作られる。たとえば、役所の情報公開のルールを決める場合、きちんと仕事をしているのか検査できるようにしたいなら、どれだけ多くの情報を公開するのか判断できるように、評価基準を決める。逆に、情報を公開しては困ると思っていれば、公開による不具合が出ないことを重視し、不具合の大きさの判断を評価基準として並べる。同じテーマなのに、まったく正反対の評価基準が出される。この例では、適正に仕事をするか検査することと、公開により不具合のでないことが、それぞれの目標となる。これこそ評価の目的であり、それが異なるからこそ、違う評価基準が導き出される。
以上を整理すると、「評価目的→評価基準→評価結果」の流れが見えてくる。しかし、これだけでは不十分だ。「評価基準→評価結果」の部分で、評価結果を適切に求められない可能性が残る。理由は簡単。評価基準の多くには一般的な表現を採用しやすく、調べる人によって違う結果になることがあるからだ。たとえば、「筐体サイズは80×50×20mm以下」とした場合でも、突起部分の扱いが問題となる。サイズに突起部分を含めるのか、含めないならいくらでも飛び出して良いのか、解釈によって評価結果が異なる。また、顧客の満足度や改善効果の金額など、調べ方によって結果が大きく変わる内容も多い。後から都合良く解釈できるような余地を、可能な限り排除するための工夫が必要である。そのためには、評価の方法を具体的かつ細かく規定するしかない。機器の性能なら測定方法を規定することであり、満足度の確認なら調査方法を規定することを意味する。誰かの意図が入りにくくするのが目的なので、調査する人の選出条件を規定することもある。これを含めると、流れは「評価目的→評価基準→評価方法→評価結果」のように変わる。最初の３つが、評価の作業で設計するものであり、最後の１つは得られた結果となる。この４つこそ、評価の構成要素である。
構成要素が明らかになると、そこから評価の手順が導き出せる。４つの要素を作ることこそ、評価の作業といえる。作成の順序は決まっているので、それぞれを１つの工程として、４つの工程が求まる。
それ以外に追加すべき作業がある。論理的な評価が目標なので、それに沿って評価方法が作られたかを検査する作業だ。検査の対象は「評価目標〜評価方法」なので、４番目の作業として加える。評価結果を得る前に行うので、結果を求める作業を無駄に実施しない。検査の作業を加えた結果、評価手順は以下のようになる。
手順：作業の内容−−−−−−−−−−−−−−（分類） ・１：評価の目的を適切に作成する−−−−−−（設計）
・２：評価目的に合った評価基準を設定する−−（設計）
・３：評価基準から評価方法を規定する−−−−（設計）
・４：評価目的〜評価基準の中身を検査する−−（検査）
・５：評価方法を用いて評価結果を得る−−−−（実施）
・６：評価結果をもとに改善などを進める（結果の利用）
最後の１つは、評価の作業には含まれないが、以降に続く作業を明示する意味で含めた。評価結果によって、採用する技術や方法を決定したり、次回の改善案を考えたりする。
この手順で大切なのは、各工程で決まったものを作成する点である。評価目的、評価基準、評価方法、評価結果の４つを順番に作る。これらの作成物の質を保つためには、ある程度の書式を規定したほうがよい。書き方が決まっていると、作成の効率も上がるので、メリットは大きい。
設計したものの検査に関してだが、基本的には、各工程内でも設計者自身が検査を行う。手順４の検査は、責任者が承認するために実施するのが目的。設計した人が自分で検査しては、本当の意味での検査にはならないからだ。設計者でない人が検査してこそ、検査の質が確保できる。その作業をきちんと実施させるために、あえて工程に組み込む。
作業手順に従ったとしても、作成物の内容がムチャクチャでは話にならない。手順の１〜３で作成した中身が、本当に適切なものであるかどうかで、評価の質が決まる。それを高めるのが、複数の工程に分け、検査の工程を入れた一番の理由だ。評価基準は評価目的と矛盾していないか、評価方法は評価項目と整合性が取れているか、各工程の内容を作成した時点で検査する。論理的に正しいかどうかに加え、漏れがないかも検討することが大切だ。つまり、論理的な思考の流れを確認できるようにと、作業を分割して規定し、各工程での結果を目に見える形で作らせている。
評価する対象が複雑だと、評価目的と評価基準が直接的につながりにくい。その場合は、評価基準を２段階以上の階層で表して作成する。何段階になるかは、評価対象の特性や評価目的によって決まる。このように作成物を仕上げることで、後で検査しやすい形で作るわけだ。検査が容易な作成物は、設計した内容がよく整理できている。何か変だと感じる場合は、工程間の作成物の関連をよく考えたほうがよい。どこかに問題点が含まれているはずだ。
ここまで説明した方法を採用すると、評価方法を求めるまでの過程が論理的かつ科学的になりやすい。逆に見るなら、５つの工程による評価手順は、評価方法の設計を論理的に進めるためのツールである。定められたルールに従って設計することで、適切な評価方法を導き出せる。作成した設計内容は、検査だけが目的なのではなく、次の工程で設計する際にも役立つ。論理的に評価を設計できる点が最初の特徴だ。
もう１つの特徴は、評価方法の論理的な検討過程を明示するために、悪い邪魔を排除する効果が大きいことだ。全体の論理性が検査されるので、不要な組織を維持するといった、悪い意図を組み込むのが難しくなる。残念ながら今までは、評価の途中を明らかにしなかったので、悪い評価方法だと思っても指摘しづらかった。この方法を用いることで、指摘をしやすくできる。この種の効果は、評価の対象が複雑なほど役立つ。
以上の２つの特徴のおかげで、適切な評価を実現する可能性が高まる。評価の質を向上するためには、きちんとした評価手順が必要である。
（1997年12月14日）
評価の構成要素から評価手順を導く |
