設計技術：評価方法の設計術 |
評価目的が決まったら、それに合った評価基準を定める作業へと移る。評価目的から評価基準を導き出すのが、作業の基本的な内容だ。
まず最初に、評価基準とは何かを理解する必要がある。評価基準とは、どんな点がどのようになっていれば良いのかを規定したものである。したがって、「調べる対象」と「評価ルール」の２つを含まなければならない。「調べる対象」としては、重量や体積などの測定しやすいものから、顧客満足度といった測定しにくいものまで含まれる。できるだけ詳しく表現するために、「何の、どの部分」という形で考える。もう１つの「評価ルール」は、「調べる対象」の値によって、良いか悪いかを決めるルールである。合格/不合格のような２値から、10段階評価のようなレベル分けまで、善し悪しのレベルを複数に分けることが多い。以上のことを考慮して、評価基準は「何の、どの部分が、どうなっていれば良いのか」という形式で作成する。
評価基準には、形式のほかにも満たすべき条件がある。主なものは以下の３点だ。
評価基準が満たすべき条件 ・１、評価目的と論理的な整合性がある
・２、何らかの方法で実際に調べられる
・３、評価目的の達成を調べるのに適している
これらを満たすような内容を探し、評価基準として設定しなければならない。順番に説明しよう。
論理的な整合性とは、評価目的と評価基準の間で、論理的に矛盾しないようにすること。最初に評価目的を決めるのは、適切でない評価基準をできるだけ排除するためであった。評価目的と評価基準の論理性をきちんと調べなければ、評価目的を決めた意味がない。
論理的な整合性を満たすだけでなく、実際に調べられることも重要だ。採用する評価基準は、現実に調べたり測定できるものを選ぶ。もし重要なのに調べられない項目がある場合は、調べる方法を何とか考える。基準との比較やアンケートなどを組み合わせることで、たいていの項目は調べられる。
評価目的を達成度を調べる点で、最適かどうかも大切だ。評価基準の候補を比べて、達成度を調べるのにどれが一番適しているかを選ぶ。調べやすいからとか、数値化しやすいと理由で選ぶのではなく、目標の達成度を的確に表すかを重視する。たとえ測定が難しくても、より適した方法を採用すべきである。
評価基準を作成する作業では、前述の３条件を満たすように進めなければならない。そのためには、作業を標準化した方がよい。基本的には、自分たちがやりやすい形で作業手順を決めるべきだ。しかし、何もないところから作るのは難しい人もいるので、１つの例を紹介しよう。
手順：作業の内容 ・１：評価目的を満たす評価基準を思いつくまま数多く挙げる
・２：評価目的ごとに、挙げた候補を分類する
・３：候補の少ない評価目的で、集中的に評価基準を挙げる
・４：具体的でない候補は、より具体的な基準に分解する
・５：候補のうち、論理性の低いものを排除する
・６：得られるデータの適切さ（正確さ）の高い順に並べる
・７：順位の高い候補で測定可能かを検討し、不可能なら排除する
・８：評価目的ごとで、高い順から数個の基準を採用する
これをタタキ台にして、自分たちなりの改良を加えると良いだろう。ここでは、この作業手順をもとに説明を続ける。
まず最初に、評価目的を満たしそうな評価基準を片っ端から挙げる（手順１）。ブレーンストーミングの要領で、何でもよいから思いついたものを記録する。自由に発想したほうが良い基準を思いつきやすいので、善し悪しに関してはまったく言わせずに挙げる。
集まった全部の候補に対し、どの評価目的を満たすのか考え、該当する評価目的に割り当てる（手順２）。１つの候補が、複数の評価目的に割り当てられることもあり、それぞれに入れておく。こうして分類すると、評価基準の少ない評価目的が見付かる。そこだけ集中的に、評価基準の候補を考えてみて、候補の数を少しでも増やす（手順３）。
ひととおりの候補が集まったら、候補ごとの具体的かどうかを検討してみる（手順４）。その際に考えるべきなのは、最終的に得られるデータの細かさだ。たとえば、評価基準の候補が「顧客満足度を調べ、前の製品よりも高ければ合格」だとしよう。ここで問題となるのは、「顧客満足度」の内容である。満足したといっても、いろいろな点があるはずだ。使いやすさ、性能の高さ、価値に対する価格の安さ、デザインなど、何種類かの項目が考えられる。評価する対象によって、どの点を見るべきなのか違う。評価基準を決める際には、どの点を見るのかまで明らかにしなければならない。その意味から、できるだけ具体的な内容を求めてみる。
より具体的な内容に仕上げるためには、考慮すべき点がもう１つある。基準の解釈が曖昧にならないように、条件を付加することだ。たとえば、製品の体積を調べる場合、突起部分を含むのか含まないかで評価結果はかなり違う。評価目的に込められた意図を読みとり、どちらが適しているのかを決めなければならない。突起部分を含むか含まないかだけでなく、突起の量をどのように評価するかまで考える。その検討結果を評価基準に付け足し、都合の良い解釈ができない内容に仕上げる。
具体的な基準に修正できたら、評価目的との論理的な整合性を確認する段階だ（手順５）。分類した評価目的ごとに、候補の評価基準が目的と合っているか考える。誰もが合うと認めれば残すし、明らかに合っていなければ削除する。
もっとも難しいのは、部分的に合っている候補だ。これに関しては、評価基準の内容を変えることで、整合性を高められないか検討する。改良して高められたら残す。どうしても改良できないものは、削除しないものの、不十分な候補の印を付けて入れる。この種の候補は、基本的に削除したものとして扱うが、改良を途中で思いつくこともあるので残しておく。
ここまでで評価基準の内容が整ったはずなので、評価目的ごとに優先順位を付ける（手順６）。評価目的の達成度を調べるのに、どの基準が適しているのか比べる。適している度合いが高い順に並べれば、それが評価基準の順位となる。
順位が決まったら、順位の高い評価基準でだけ、実際の測定方法を詳しく検討する（手順７）。どんなに改良しても正確に計るのが難しいものは、候補から外すしかない。ここで検討した方法は、評価方法を決定するときに利用できるため、きちんと記録を残す。
ひととおりの検討が終わったので、採用する評価基準を選ぶ（手順８）。評価目的ごとに、２つか３つの評価基準を採用するのが一般的だ。評価基準が１つだけだと、質の高い評価は難しい。できるだけ幅広い視点で評価する意味から、最低２つの評価基準を用いる。
以上のような手順で作業すれば、評価基準の質を高められ、悪い評価基準を作成することはない。評価基準に必要となる条件を満たせるように、作業手順の各部に検討や検査の機能を組み込んであるためだ。自分たちで作業手順を決める際にも、検討や検索を含めなければならない。
評価基準が設定できたら、それから評価方法を求める作業へと続く。評価方法はある程度まで検討済みなので、次の作業はそれほど難しくない。逆に評価基準の作成では、評価方法まで考えることから、評価方法設計全体の中で一番重要な部分といえる。だからこそ、もっとも力を入れて行わなければならない。
（1998年５月25日）
評価目的に合った評価基準を設定する |
