設計技術：評価方法の設計術 |
評価方法がきちんと規定されたら、それに従って評価結果を求める。といっても、評価方法を規定するのは、評価対象が出来上がるかなり前なので、すぐに評価を始めるわけではない。一般的な作業手順は、以下のようになる。
評価を実施する一般的な手順 １、実施の際に確定すべき項目を、十分に検討して決める
２、定められた評価方法に従って、調査や測定を行う
３、得られたデータに加え、実施したときの条件を記録する
４、データを加工や集計して、最終的な評価結果を求める
５、実施条件、データ、評価結果をまとめて書類に仕上げる
評価の実施は１回だけとは限らない。開発中の製品なら、途中の決められた段階で何回か行うだろう。市場での反応を調べるなら、発売後の経過期間の違いで２回か３回ほど実施することもある。評価の回数も評価方法に含まれ、そのとおりに行う。同じ方法で２回以上実施する場合は、同じ人が実施するとか同じ装置を使うとか、各回の質にバラツキが出ないように配慮する。
これらの作業は、評価方法を作成した人がやるだろう。しかし、可能なら別な人がやったほうがよい。そうすれば、評価方法として記述された内容が、細かな部分まできちんと規定されているかどうかハッキリする。それを繰り返すことで、誰が実施しても大丈夫な評価方法が作れる。それにより、途中で実施者が入れ替わっても、バラツキなく実施できる。ただし、誰がやるかに関しては、評価対象が重要でない限り、あまり神経質になる必要はない。
最初の作業は、評価対象が出来上がる時期に合わせての準備だ。評価方法の中には、評価を実施する際に決めるべき内容も含まれる。たとえば、広告の放映後に実施する認知度の調査なら、アンケートを行う場所や時刻を特定せず、場所や時刻の条件だけを指定することもある（もちろん調査方法で特定する場合もある）。このよう調査方法なら、条件を満たす具体的な値を、実施の前に決めなければならない。
このような値を決める際には、不安に感じることもあるだろう。そんなときは、評価方法の作成者へ素直に質問したほうがよい。評価方法の書き漏らしや、各人が持っている前提条件が違ったりするからだ。問い合わせによって評価方法の不備な点が見付かれば、誤解が生じないよう修正する。
必要な値を決め終わったら、具体的な準備作業に入る。実験ならば機材を用意するし、アンケートなら用紙をコピーする。また、実施に必要な人数を計算し、人選して各人の予定に組み込む。アンケートなどで実施時期に特定の時間帯が指定されたら、実施に必要な人数をきちんと計算しなければならない。一人の実施者が一定時間に処理できる対象人数を求め、その値から必要な実施者の人数を計算する。この種の計算に用いる基礎データは、実際に試して得られた値でないと役立たないので、過去の実施結果を参考にする。もちろん、実施のたびにデータを記録するのは当然だ。このようにして、実施に役立つデータも残す。
調査や測定を実際に行える時期になったら、規定してある評価方法に従って作業を進める。評価方法には記録すべき内容も含んでいるので、その項目をきちんと記録する。たとえば、開始と終了の時刻を報告するように記載してあるなら、それを実施の際にメモしておく。
評価方法に指定されていないことでも、途中で気付いた点は何でも記録するように心掛ける。評価方法で漏れている点や、予想もしない欠点を見付ける手がかりとなるかも知れないからだ。最終的な報告書に記載するかどうかに関係なく、何でもメモしておきたい。
実験のような場合は、評価方法どおりにやっても失敗することもある。そんなときは、失敗の状況を細かく記録して、評価方法の作成者に見せる。失敗した現場に、作成者を連れてきてもよい。原因が評価方法の不良なら、できるだけ早目に改善してもらう。また、評価方法の説明不足なら、説明書を書き加えてもらう。
実施している途中で重大な問題点に気付いたときは、評価方法と評価対象の両方の作成者に連絡したほうがよい。少しでも早めに伝えることで、問題点へ対処できるからだ。そうでない通常の場合は、通常は後で報告書の形で提出する。
すべての調査や実験が終わったら、評価方法に従ってデータを加工や集計する。これが最終的な評価結果となる。ここまでの全部の内容を含めて、評価の報告書を作成する。この書式も、組織内で標準化したほうがよい。
メモとして残した細かな点については、報告書に記載するかどうか検討する。些細なことまで書く必要はないが、自分で重要と思われる点は、絶対に書いたほうがよい。評価方法の作り方に関する注文などは、評価の報告書に含めず、別な提案書として作成すべきだ。
規定した評価方法が、常に良いとは限らない。経験のない部分を評価するとき、最初は失敗する可能性が高い。評価結果がまったく役に立たないのではなく、ベストとは言えないという形で現れることが多い。一般的には、何回か試しながら最適な評価方法を見付ける。
これだといえる評価方法が確定していないときは、評価方法の作成者が自分で実施したほうがよい。自分で実際に行えば、評価方法を改良するアイデアが出やすいからだ。やっているうちに、いろいろな点に気付くだろう。
評価方法に自信がないときは、意識的に複数の評価方法を含める手もある。良い評価方法を見付けるために必要なのであり、多少の無駄は覚悟する。性能の評価とは違って、明確でない対象の評価で用いることが多い。たとえば、複数の場所で調査し、日本の平均値に近い場所を見付けるといった具合にだ。
安心して使える評価方法を持てるまでは、評価方法が良いかどうかを評価する。この場合の評価も評価方法を設計したほうがよいものの、実際の対象物を評価するわけではないので、それほど厳密に考える必要はない。真剣には考えるものの、その他の細かな作業は手を抜いても大丈夫だ。大切なのは、実際の対象物を評価する方法なのだから。
（1998年９月６日）
評価方法を用いて評価結果を得る |
