設計技術：評価方法の設計術 |
評価基準が決まったら、それに合った評価方法を規定する作業へと移る。ここで言う評価方法とは、評価結果を得るための測定方法や調査方法のことである。
評価方法で重要なのは、基本的に、誰がやっても同じ結果になることだ。評価結果を良くしたい人は、意図的に結果を操作する傾向がある。そんな要素を可能な限り排除できるように、評価方法を定めなければならない。評価方法を曖昧に規定すると、評価する人の意志が反映されやすいので、評価方法は作業手順の形で細かく規定すべきである。
作業手順の説明だけでは、細かな部分まで規定するのを忘れやすい。そこで、各作業ごとに守るべき条件を、別に記述する形を取る。実験などでは、測定条件を細かく規定して、曖昧さを排除する。他の方法でも、第三者に実施してもらうとか、終わるまで実施者を公表しないなどの条件を加える。条件を別に書かせることで、条件だけを細かく考えるようになり、評価方法の質が上がりやすい。
誰がやっても同じ結果になるのが理想だが、アンケートのように、誰がやっても同じ結果にならない評価方法もある。誰がやってもというより、実施するたびに異なるといったほうが正しい。どちらであれ、誤差を最小限にするような実施方法を規定しなければならない。守るべき条件を細かく追加して、最適な結果を得られるように規定する。
評価方法が適切かは、時間が経ってから判明することもある。評価方法自体を後で評価できるように、評価を実施するときに記録すべき項目も最初から定めておく。これも、評価方法の一部となる。以上をまとめると、評価方法には次の３要素が含まれる。
評価方法に含まれる３要素 ・作業手順：評価方法の中身を作業の手順として規定したもの
・測定条件：作業の各部分で満たすべき条件
・記録内容：評価方法を実施するときに記述すべき項目と記述方法
これらの要素を含んだ形で、評価方法を規定しなければならない。
どんなものが対象でも、評価する目的は、対象物の善し悪しなどを判断するためだ。複数の対象を比べてそれぞれが良いのか悪いのか、前回よりも増えたのか減ったのかなど、きちんと評価できる値として結果を出さなければならない。それに最適なのは、評価結果の数値化である。
結果を数値化するのは、科学などの実験によって測定する場合なら簡単だ。測定の値が数値のことが多く、そうでないときでも数値に変換しやすい。デザインの善し悪し、使い勝手、顧客の満足度など、実験できない対象では結果の数値化が難しい。アンケートなどの方法を利用し、その集計結果を数値にする方法で実現するしかない。
数値化で重要なのは、できる限り公平に評価できるような値を採用する点だ。たとえば、複数の地区に分かれた営業成績を評価する場合なら、販売金額だけを比べると、大都市のほうが圧倒的に有利となる。また、市場規模が同じ程度の地区であっても、競合の多さによって厳しさが異なる。そのような要因をできるだけ排除して、環境の異なる地区で比較できる評価方法を定めなければならない。過去何年かの全地区の販売金額を集計し、地区ごとの補正係数を定めるなど、可能な限り公平に近づく数値化の処理内容が求められる。
アンケートによる数値化では、適切な評価を得るのが意外に難しい。質問内容が悪いと誘導尋問のようになり、結果を偏向していがちだ。そうならないように、質問の文章や順序を上手に設計しなければならない。また、質問する相手の選び方、質問する場所や時期なども、よく考えて決める必要がある。
適切な評価方法を求めるには、長く続けてノウハウを蓄積することも大切だ。たとえば、販売前にデザインを評価するなら、何種類かの異なる評価方法を実施する。その結果を残しておき、実際に販売して市場の評価が得られた後で、どの方法が当たっていたのか確かめる。このような作業を繰り返せば、だんだんと適切な評価方法が求められる。
どのような評価方法を採用するにしろ、最終的な判断に役立つ評価結果が得られるものを選ばなければならない。
評価方法がひととおり決まったら、評価基準に合っているのか最終確認をする。公平さを確保するため、これは評価方法を決めた人とは別な人にやらせる。もし問題がないなら、選んだ評価結果が採用となる。逆に、評価基準に合っていないと、別な評価結果を見付けなければならない。
最後に確認を入れることで、評価方法を決める人は、評価基準との整合性を考えながら作業を進めるようになる。それによって、最終時点で整合性が低い状況は起こりにくく、無駄な作業を減らせる。
評価する対象によっては、理想的な評価方法を得られないこともある。最後の確認作業で指摘するのは簡単だが、代替する方法が出なければ、ほどほどの評価方法で我慢するしかない。その際には、複数の評価方法を用いて、互いに補い合うことも考える。当然だが、良い評価方法が見付からなかったことは、評価方法の説明書に明記する。
最適でない評価方法は、対象物の特定部分を強く見る傾向が強い。それを知ったら、評価結果を良くするように対象物を設計することも可能となる。そんな状況を防ぐために、対象物の設計者には評価方法を知らせない対処も必要だ。良い設計を求めるなら、評価方法など意識せず、設計に専念させるべきである。その意味から、評価方法は最後になるまで知らせないほうがよいだろう。
良い評価方法を得るためには、前段階で決めた評価基準に適合させることと、できるだけ適切な評価結果が得られるように考慮することの２点が求められる。また、いろいろな評価方法を知るとともに、統計学などの知識も必要となる。それらを駆使して、できるだけ公平な評価方法を決めなければならない。適切な評価は良い設計や活動の基礎となるため、評価方法を作成する人の重要度はかなり大きいはずだ。
（1998年６月27日）
評価基準から評価方法を規定する |
