データに騙されるな！アンケートとリサーチの違い。

ネットでは、よくこういうアンケートを見かけます。そしてそのアンケート結果を元にした分析記事も、よく見かけます。

はっきり言います。こういうやり方で出てきたデータを元に、世の中を分析しても無駄です。全くもって無意味です。分析している人がデータに騙されているか、データを元に騙そうとしているかのどちらかです。

なぜこういうアンケートはダメなのでしょう？

まず、二択になっているところがダメです。世の中には、あることがらについて、好きな人と嫌いな人と興味のない人がいます。つまり、選択項目が全体を網羅していないのです。

だから、この質問に対し、ちゃんとした調査結果を出そうと思ったら、少なくとも三択にしなければダメです。

例えば何かのサービスを利用しているか、利用しているなら頻度はどのくらいか、といったことを尋ねたい場合、1つの質問で済ませようとしたらこんな感じになります。

だんだん複雑になってきましたね。実際のリサーチでは、たくさんの質問に答える形になるので、”使ったことがある” 人にだけ答えさせる質問、”使ったことがない” 人にだけ答えさせる質問というように、分岐していく場合が多いです。

ただ、選択項目が全体を網羅しているかどうかというのは、確かに調査において重要なポイントです。でも、それ以前にもっと重要なことがあります。それは、回答している人は誰か？です。

ウェブサイトを訪問した人を対象にしたアンケートの場合、まずそのウェブサイトを訪れた人というバイアス（偏り）がかかります。そして、そのアンケートに答えたいと思った人だけが回答をするというバイアスがかかります。

そうやって出てきた数字で、どうやったら世の中を判断できるでしょう？

去年春の都知事選直前に、世論調査.net というところが「誰に投票しますか？」というアンケートをやりました。小池晃さんがぶっちぎりの1位で、なんと過半数を超えていました。選挙結果は御存知の通り、石原慎太郎さんのぶっちぎり当選。

この結果に対し、「ネット世論はあてにならない」という判断をするのは間違いです。小池晃さんを1位にしたのは、世論調査.net を知っていて、回答をした人に限られるからです。ネットを利用している人の中でも、さらに限られた人だけが回答した結果で、全体のことは把握できませんよね。

だから、何かデータを元にした分析記事を読む際は、まず調査概要が載っているかどうかをチェックして下さい。回答者の性別・年齢・居住地域などの構成がどうなっているか？というのが明示されている調査は、それだけでも比較的信頼性が高いと思っていいでしょう。

そして、回答者が限定されている場合、”限定されている調査”だというのを前提にした分析をしなければなりません。例えば回答者が20代男性だけなのに、それで男性全体の傾向を分析していたらおかしいですよね。

次に、いつの調査か？をチェックしましょう。何か大きな事件が起きる前と後では、世論がガラッと変わっている可能性があります。例えば、福島第一原発事故の前と後では、原発賛成／反対の比率は変わっているはずです。

質問に対する選択項目がどうなっているか？は、その次くらいにチェックするといいでしょう。まあだいたいの場合、調査概要が載っていればリサーチを専門としている会社がやっている場合が多いので、そこまでチェックする必要は無いと思います。リサーチを専門にしている会社がいいかげんな調査を行ったら、次から信用してもらえなくなってしまうので、仕事が無くなっちゃうからです。

あなたはデータに騙されてませんか？