大森翔子
NIRA総合研究開発機構研究コーディネーター・研究員

概要

 21世紀に入り、社会調査においてはインターネット調査が普及し、一般的な調査法の一つとなった。しかし、インターネット調査には「バイアス」があり、目標母集団との乖離が問題となる。こうした実態を明らかにするため、本プロジェクトでは、同一の質問項目によって構成される、無作為抽出に基づく面接調査と性別・年齢層で回収目標数を割り付けたインターネット調査を同時に実施し、国勢調査との共通項目と合わせて比較した。分析の結果、インターネット調査の回答者には一定の省力回答者が含まれ、国勢調査と比べて大都市居住者が多く、学歴も高いという特徴のほか、面接調査回答者と比べて外向性・協調性が低く、神経症的傾向が高いというパーソナリティの特性が分かった。一方、面接調査にも、国勢調査よりも「持ち家率」が高いといったバイアスがあり、無作為抽出に基づく調査結果を「正解」とするインターネット調査の補正には注意が必要なことが示唆される。

INDEX

図表

図表1 本プロジェクトにおける各世論調査の概要
図表2 性別・年齢
図表3 居住地域
図表4 教育程度
図表5 配偶者有無
図表6 労働力状態
図表7 従業上の地位
図表8 業種
図表9 住居の種類
図表10 5年前常住地
図表11 パーソナリティ
図表12 1日のインターネット利用時間
図表13 インターネット利用目的
図表14 景況感
図表15 生活満足度
図表16 長期的党派性
図表17 内閣支持率

1.はじめに

 日本の社会調査において長年行われ、最も精度が高いものとして信頼の置かれてきた「住民基本台帳から無作為抽出を行った者に対する面接調査」は、回収率の低下、個人情報保護目的での住基台帳の利用制限、調査員の質の維持困難等の理由により、実施のハードルが非常に高くなっている(本多,2006)。その状況と並行するかたちで、インターネットの急速な普及に伴い、商業目的・学術目的のインターネット調査、特にウェブアンケート調査が数多く行われるようになった。インターネット調査は、回答者が調査会社に登録する「モニター制」であることがほとんどである。「短期間に大量のデータが集められる」、「低コスト」であることが利点で、面接調査と比較した手軽さから多くの調査が行われている。しかしながら、インターネット調査が想定する母集団によっては標本の代表性が損なわれ、集計結果に母集団との「大きなズレ」が発生することは既に指摘されるところである。本論文は、NIRA総合研究開発機構において並行して実施した面接調査とインターネット調査の結果を国勢調査結果等と比較することにより、それぞれの調査モードの特性に関する基礎資料を提供する。

2.問題の所在

2―1.標本抽出法と調査方法

 社会調査においては、想定する母集団(目標母集団)を全て調査する悉皆調査(全数調査)が最も理想的であることに違いないが、あらゆるコストを勘案すれば極めて実現可能性は低く、国勢調査などごく一部の調査を除いて「日本人全員」を母集団とする社会調査目的の悉皆調査は行われていない(注1)

 では、社会調査はどのように母集団から標本抽出を行い、その抽出した対象者の回答をもとに母集団の特徴を推論するのか。以下、代表的なものとして「住民基本台帳による無作為抽出と訪問面接調査法・郵送調査法」と「モニター登録型インターネット調査」を取り上げる。

(1)住民基本台帳による無作為抽出と訪問面接調査法・郵送調査法

 わが国においては、氏名、生年月日、性別、住所などが記載された住民票を編成した住民基本台帳が存在し、学術・研究目的での利用が認められている。母集団を日本人全員とすると、これを利用した無作為抽出が可能であり、他国と比較しても極めて「理想的な確率標本抽出」が可能である。

 住民基本台帳を用いた無作為抽出を行い対象者が決定した後、実査の方法として最も精度が高いとされるのが調査票を用いた個別面接聴取法である。精度が高いとされる理由としては、対象者がサンプルとして抽出された本人であることを確認した上で調査できること、訓練された調査員が質問の意味を回答対象者に対して十分に伝達できることが挙げられる(岩永・大塚・高橋,1996)。一方で、訪問面接調査法は、調査員の確保・教育等に費用がかかること、調査員との接触が避けられるようになったことから、採用する調査の減少が著しい(中瀬,2005)。

 費用面でのコストの高い面接調査法と比較し、安価で実施できる方法として郵送調査法がある。抽出した対象者に郵送で調査票を送付し、回答を記入してもらい調査主体者に返送してもらうのが基本的な方法である。一方で、郵送調査法の不利な点として挙げられるのは、回収に時間がかかる点や本人が回答しているとは限らない点、書面のみで行うがゆえに質問の意味を十分に伝達できない可能性がある点である。特に、未回答者に督促しにくい分、郵送調査法では回収率が低いことがたびたび指摘されており、無回答誤差を生じさせる。

(2)モニター登録型インターネット調査

 2000年代からは、インターネット技術の発展により、多くの人々がインターネット利用の接続環境、デバイスを有するようになった。そこで登場したのがインターネット(メール、Webページ)を通じて調査票を対象者に配布し、回答してもらうインターネット調査法である。多くの調査会社が登録制モニターを持ち、そのモニターに先着順で回答してもらうことが定番の方法である。標本抽出、調査員の確保、郵送の手間を省けるインターネット調査は、従来の調査法と比較しあらゆる面においてコストが低く、マーケティング分野を中心として数多く行われるようになった。

 しかし、モニター型インターネット調査には大きな欠点が存在する。それは、回答者が無作為抽出された確率標本でないという点である。特に、後述する事前割り付けを行わず先着順で実施されるインターネット調査がカバレッジ誤差という大きなバイアスを抱えることは、既に多く指摘されるところである。

2-2.日本におけるインターネット調査の現在

 日本においては、既に2000年頃からインターネット調査についてその問題点が指摘されてきた。例えば、大隅(2002)は、①インターネットユーザーが日本人の全体を代表しているとはいいがたい、②(インターネット調査における)登録者集団が、インターネットユーザーを代表しているとは思われない、③回答者が登録者集団を代表しているとは限らない、と述べている。

 最近のインターネット調査法に関する学術的見解として、日本学術会議社会学委員会 Web調査の課題に関する検討分科会(2020)による提言が挙げられる。ここでいうWeb調査とは、本稿のインターネット調査とほぼ同義である。同提言では、①Web調査の問題点(サンプルと代表性の問題、Web調査の測定上の問題点、現在のWeb環境から考えられるWeb調査の問題点)を的確に理解した上での活用、②データ収集の幅の拡大(従来型社会調査との相補的な役割分担の意識)、③センシティブな質問における積極的活用、④登録モニター情報の公開(性別、年齢、居住地等の属性)の4点を意識するように、Web調査利用者およびWeb調査を実施している調査会社に対して求めている。

 それでは、この約20年間に、特に社会調査目的でのインターネット調査は、悉皆調査である国勢調査や「精度の高い」面接調査とのバイアス(ズレ)の縮小に向けてどのような改善を試みてきたのだろうか。(1)調査設計段階におけるサンプル割り付け、(2)調査分析における重み付け、(3)Satisficerの検出に分けて見てみたい。

(1)調査設計段階におけるサンプル割り付けによる補正

 インターネット調査計画・実施段階におけるバイアスの補正法としてサンプルの割り付けがある。萩原(2009)が、「サンプリングバイアスが生じやすい属性については、割り付けを行うなど調査設計で調整する必要がある」と指摘するように、悉皆調査、あるいは無作為抽出の調査と比較してバイアスが生じやすいことが予想されるデモグラフィック属性については、調査前に各条件(同論文が取り上げた調査では性別、年齢層、正規/非正規の職業形態)で目標数を割り付けること望ましいとされている。

 内閣府が2007年に実施した「インターネットによる国民生活に関する意識調査」では、調査会社のインターネットモニターを対象としたインターネット調査と、住民基本台帳から無作為抽出した国民を対象にした面接調査をほぼ同時期に行った。同調査におけるインターネット調査の割り付け条件は、性別、年齢である。

 近年ではより多くの条件で割り付けたインターネット調査も存在する。例えば、小林(2019)の社会意識調査は性別、年齢、都市規模、職業の条件でサンプルが割り付けられているほか、リクルートワークス研究所「全国就業実態パネル調査」ではサンプルの性別、年齢階層、就業形態、学歴、地域ブロックの分布が総務省の労働力調査と等しくなるように割り付けが行われた。

 しかし、サンプル割り付けの条件を増やせば良いわけではない。前述の日本学術会議による提言でも指摘される通り、「多くの条件で細かく目標数を割り付けるほど、そもそも必要数を満たすだけの登録者がいないセルが出て来てしまうという別の問題」が生じるからだ。割り付け条件数は調査目的に従って設定されるべきであり、日本の社会調査において、現在まで見たところでは基本的に性別、年齢(年代)により割り付けるものが多い。

(2)調査分析におけるウエイトを用いた補正

 さらに大きな問題は、調査設計段階においてサンプルを割り付けたとしても、個別具体的な質問項目を集計すると、インターネット調査と面接調査の回答分布は異なる場合が多いことだ。

 例えば、先に挙げた内閣府「インターネットによる国民生活に関する意識調査」では、「現在の生活に対する満足度」、「去年と比べた生活の向上感」について、インターネット調査回答者の方が現在の生活に不満と回答しており、前年と比べた生活向上感も低かった。また、本多・本川(2005)では、インターネット調査回答者は心の豊かさを好まない、競争社会を好む、日本型雇用慣行に否定的といった傾向が報告されている。

 こうしたバイアスを、調査分析時点で補正(事後補正)する方法がある。広く行われている方法の一つとして、傾向スコア法が挙げられる。傾向スコアとは「関心のある従属変数、独立変数共に関連のある複数の共変量を1つにまとめた値」であり(三輪,2009)、最も簡便には、インターネット調査の回答者であるか/無作為抽出に基づく並行調査の回答者であるかの二値変数を従属変数とし、観察された変数を投入した二項ロジスティック回帰分析で求められる。インターネット調査の回答者が仮に並行調査に回答した場合、計測したい変数はどのような値を取るかを推定し、比較する手法である。星野(2007)は日本においてこの手法を適用した例を多く挙げているが、傾向スコアによる補正は多くの場合、うまくバイアスを改善すると主張する。

(3)Satisficer検出による補正

 しかし、上述した方法ではなお対応できないバイアスも存在する。Satisficer(省力回答者/サティスファーサー)の問題である。インターネット調査のモニターには謝礼目的で調査に応じる者がおり、多くの調査に回答しようと、一つ一つの調査に労力を割くことを避け、例えば、全ての質問に「選択肢1」と回答する、問1は「選択肢1」→問2は「選択肢2」→問3は「選択肢3」などと規則的に回答する、といった行動に出ることもある。

 こうした省力回答が混じるとデータの質を損ねることから、サティスファイサーの検出および分析段階における補正方法が提案されている。三浦・小林(2015)の研究では、例えば「この質問では左から2番目の選択肢を回答してください」といった質問文をきちんと読んでいるかどうかを確認する「トラップ」質問を取り入れることが推奨されている。トラップ質問を混ぜると、データ分析段階においてサティスファイサーを取り除けるほか、調査中に回答者がトラップに気付き、以後注意して調査に取り組む効果も期待される。

3.プロジェクトの目的

 以上見てきた通り、社会調査の方法は多様化しているが、特にインターネット調査データには何かしらのバイアスが含まれており、目標とする母集団に近似させるため、様々な事前・事後の補正方法が提案されている。

 しかし、国勢調査とインターネット調査、無作為抽出に基づく調査とインターネット調査の1対1の比較検討はなされても、これらの3者を比較したものは少ない。

 そこで、NIRA総合研究開発機構では、国勢調査と同一の調査項目を含む、無作為抽出に基づく面接調査とモニター型インターネット調査を同時実施し、3者間比較を行うとともに、インターネット調査の補正を試みることにした。具体的には、国勢調査と同一の項目については、国勢調査を「正解(基準)」として比較を行い、次に、面接調査とインターネット調査間でそれ以外の項目――この2種の調査において回答者の傾向に差異が生じていると考えられるもの――を比較する。これらを用いて、データ収集後、インターネット調査のデータを面接調査データに合わせるかたちで、先行研究で示されている補正法を用いた補正を試みる。

 本論文はプロジェクトの研究成果報告の第1弾として、各調査の概要を説明するとともに、共通調査項目に関する国勢調査・面接調査・インターネット調査の比較結果を基礎資料として提供するものである。

4.方法

4―1.調査の概要

 以上の目的のため、本プロジェクトでは独自に設計した3種の世論調査(面接調査を1回、インターネット調査を2回)をいずれも、実施開始日を202142日開始に揃え実施した(注2)。各調査の概要は図表1の通りである。

 面接調査は、電子住宅地図を用いた層化3段無作為抽出(注3)により選ばれた調査対象者に、調査会社の面接員が対面で聴取したものである。ちなみに、本調査が行われた期間には、改正新型インフルエンザ等対策特措法に基づく緊急事態宣言は発令されていない。インターネット調査は、性別と年齢層の分布が国勢調査と同じになるように回収目標数を指定した上で、調査会社の登録モニターに回答を依頼した。

 また、インターネット調査には、次項で説明するサティスファイサー検出質問を採用した結果、A社では16.0%、B社では9.1%が省力回答者に該当した。インターネット調査会社では省力回答者を減らすためのモニター管理がなされているが、それでもなお、省力回答者と疑われるケースが無視できない割合で存在する(注4)

4―2.調査項目

 質問項目は、調査方法の違いに由来する細かな言い回しの違いを除いて、3種類全ての調査で共通とした。プロジェクトの目標に合わせ、国勢調査の調査項目を多く盛り込んだこと、そして面接調査とインターネット調査の比較を主眼として、差異を予測できる質問を採用したことが特徴である。以下、それぞれの質問項目の概略を述べる。具体的な質問文は付録を参照されたい。

4―2―1.国勢調査との共通項目

(1)居住地域
 面接調査では、訪問先の回答者が住む市区町村を調査会社が記録した。インターネット調査では、A社の回答者は居住地の郵便番号、B社の回答者は居住している市区町村を直接回答した。

(2)男女の別
(3)実年齢
 性別と年齢については、いずれの調査も、調査設計段階において、平成27年度(2015年度)国勢調査に基づき割り付けを行っている。それでもなお調査モードによって誤差が生じるかを確認するため質問した。

(4)教育程度
 教育程度は、国勢調査の質問形式と揃えて全ての調査で採用している。ただし、国勢調査では教育程度は大規模調査の年にしか質問されておらず、比較対象は平成22年(2010年)調査であることに留意されたい。

(5)配偶者の有無
 国勢調査では、回答者の配偶者の有無について、「未婚」、「配偶者あり」、「死別」、「離別」という選択肢を設け質問している。本調査でも、同じ質問文を採用した。

(6)労働力状態
(7)勤めか自営かの別(従業上の地位)
(8)本人の仕事の内容(産業)
 国勢調査に倣い、「有職者かどうか」・(有職者に対し)「勤めか自営か」・「仕事の内容」を質問した。面接調査やインターネット調査に回答しやすい職業があるのかを確認することが、これらの質問を採用した目的である。なお、国勢調査では回答者は「勤め先・業主などの名称および事業の内容」を記入し、それを調査者(国)がコーディングする。本調査では、平成27年度国勢調査匿名データの符号表を参考に、区分と具体例を示し、回答者に当てはまるものを選んでもらうかたちを採用した。

(9)住居の種類
(10)5年前の常住地
 国勢調査と同じく、回答者の居住状態を質問した。一般に面接調査では集合住宅――特にオートロック付きのもの――に住む調査対象者からの聴収が厳しいことが指摘されている(中瀬,2005)。その点、任意の時間と場所で回答できるインターネット調査の方が、国勢調査の分布と近い結果が得られるかもしれない。5年前の常住地は、国勢調査との比較を目的に採用した。

4―2―2.面接調査とインターネット調査の共通項目

(1)サティスファイサー検出をする質問
 2つのインターネット調査においては、サティスファイサーを検出する質問を1問、(2)のパーソナリティに関する質問群に紛れ込ませた。具体的には、同じ回答形式の質問を11個並べたうちの7番目に「この質問には、『おおよそ違うと思う』を選択してください。」と指示した。この項目で「おおよそ違うと思う」以外の選択肢を挙げた者は、指示を無視してでたらめに答えた省力回答者の疑いが強い。

(2)パーソナリティ(TIPI-J)
 調査モードによって回答者のパーソナリティが異なるのか、というクエスチョンを検討するために設けた質問である。本調査では、10項目によりビッグ・ファイブ(外向性、協調性、勤勉性、神経症傾向、開放性)を測定する日本語版Ten Item Personality Inventory(TIPI-J)を採用した(小塩ら、2012)。各項目は以下の通りである。

① 活発で外向的だと思う
② 他人に不満を持ち、もめごとを起こしやすいと思う
③ しっかりしていて、自分に厳しいと思う
④ 心配性で、うろたえやすいと思う
⑤ 新しいことが好きで、変わった考えを持つと思う
⑥ ひかえめで、おとなしいと思う
⑦ 人に気をつかう、やさしい人間だと思う
⑧ だらしなく、うっかりしていると思う
⑨ 冷静で、気分が安定していると思う
⑩ 発想力に欠けた、平凡な人間だと思う

 回答者は上の10項目の質問に対して、それぞれ「1.全く違うと思う」~「7.強くそう思う」の7点尺度で答えた。
 
 分析における尺度構成は、小塩ら(2012)に従い以下のように計算した。

外向性:項目①+(8−項目⑥)
→値が大きいほど、「外向性が高い」を意味する。
協調性:(8−項目②)+項目⑦
→値が大きいほど、「協調性が高い」を意味する。
勤勉性:項目③+(8−項目⑧)
→値が大きいほど、「勤勉性が高い」を意味する。
神経症傾向:項目④+(8−項目⑨)
→値が大きいほど、「神経症傾向が高い」を意味する。
開放性:項目⑤+(8−項目⑩)
→値が大きいほど、「開放性が高い」を意味する。


(3)インターネットの利用時間・目的
 面接調査とインターネット調査の回答者に違いが予測される大きな点として、インターネットの利用度がある。大隅ら(2019)は、インターネット調査とそれ以外の調査の対象者間には「デジタル・デバイド」が存在すると主張する。

 そこで、本調査においては、平日1日当たりのインターネット利用時間を問うことで、それぞれの回答者のインターネット利用度の違いを明らかにする。ただし、インターネット普及率は高まっており、利用時間のみでは差異をはっきりと捉えられないかもしれない。そこで、回答者のインターネット利用目的を合わせて聞くことにした。

 利用時間については総務省情報通信政策研究所「令和2年度情報通信メディアの利用時間と情報行動に関する調査」(注5)、利用目的については総務省「平成29年度通信利用動向調査」(注6) の結果とも比較する(注7)

(4)景況感
(5)生活満足感
 景況感、生活満足感は、世論調査において問われることの多い項目である。インターネット調査の補正を行う際の目的変数・説明変数のいずれかに用いられうる項目として採用した。

(6)長期的党派性
(7)内閣支持
 人々の政治意識を測定する代表項目である。マスメディア等が定期的に実施する世論調査と比較しやすいことから、調査項目として採用した。

5.結果

 以下、各項目を測定した面接調査、インターネット調査の結果を、国勢調査の結果と比較する。なお、国勢調査の結果は、断りのない限り平成27年(2015年)調査である。

5―1.国勢調査との共通項目

 まず、性別(女性の割合)と年齢(平均値)については、図表2の通りである。

図表2 性別・年齢

()内はサティスファイサー除外データにおける数値

 性別については、面接調査・インターネット調査A・B共、国勢調査と差異はない。ただし、インターネット調査で省力回答者を除外した場合、それぞれ2%強、国勢調査からズレが生じる。

 年齢については、いずれの調査も国勢調査をもとに10歳刻みで割り当てを行っている。しかし、サティスファイサーを除外するかどうかに関係なく、面接調査はインターネット調査よりも4歳程度回答者の平均年齢が高い。国勢調査データベースから求めた平均値と比較しても、面接調査は平均年齢が4歳程度高い(注8)

 回答者の居住地域は、図表3の通りである。全国12地域別の回答者のシェアを算出した。面接調査は全数調査(国勢調査)から誤差の範囲内で収まっているが、インターネット調査はA・Bの2社とも、京浜(東京都区・横浜市・川崎市)ブロック居住者の比率が高い。21大都市(東京都区部と政令指定都市)住民の割合に至っては、インターネット調査では実際より10%も高い。インターネット調査においては、しばしば用いられている性別と年齢に基づく回収目標数の割り付けだけでは、回答者に大都市偏重のバイアスが生じることが分かる。

図表3 居住地域

()内はサティスファイサー除外データにおける数値

 次に教育程度を見る(図表4)。これは調査モードによる差異がはっきりと表れる。とりわけ、インターネット調査と国勢調査の差異が大きい。インターネット調査においては、大学在学・卒業者の割合が45%以上と、国勢調査(平成22年度)の22%と比べ極めて高い。対して、(新制)高卒/(旧制)中学以下は、インターネット両調査とも30%程度である。サティスファイサーを除外したデータでも同様の傾向が見られる。面接調査の分布は国勢調査に近づくが、(新制)中学/(旧制)小・高小の回答者を拾いきれていない。

 ただし、本調査においては他の多くの社会調査との比較可能性を重視する観点から、中退と卒業を区別しないで「最後に在籍した学校」を聞いた一方、国勢調査では中途退学者はその前の卒業学校を答えることとされているため、完全な比較になっていない点に注意が必要である。それでも国勢調査と面接調査の大学卒業または在籍者比率には大きな差はなく、また全国民の4分の1(国勢調査とインターネット調査の差)が大学中退者とは考えにくいから、大学に通った経験を持つ人がインターネット調査回答者に占める割合は過大という点に間違いはなかろう。

図表4 教育程度

()内はサティスファイサー除外データにおける数値

 配偶者の有無については、面接調査・インターネット調査とも国勢調査よりも配偶者ありと答える者が多い(図表5)。特に面接調査で未婚者や離別者が少ない点は、センシティブな内容を調査する際に配慮が必要であることを示唆していると思われる。

図表5 配偶者有無

()内はサティスファイサー除外データにおける数値

 労働力状態、従業上の地位、業種について合わせて見ていこう(図表6~8)(注9)。面接調査・インターネット調査のいずれでも、「主に仕事」の割合は、国勢調査の49.0%より少ない。「家事のみ」に関しては面接調査・インターネット調査とも国勢調査より多いが、その差の一定部分は「その他(高齢者など)」で吸収されよう(注10)

 従業上の地位のうち「正規の職員・従業員」が最も多い点では、本プロジェクトの調査も国勢調査も同じであるが、面接調査とインターネット調査1社(B社)ではパート・アルバイトが国勢調査と比較して多い。インターネット調査の回答者には自営業が特別多いというほどではないようである。

 業種についてみると、面接調査は国勢調査とあまり変わらない分布である。「その他」がインターネット調査より少ないのは、面接調査では「その他」という選択肢を明示しなかった(注11)測定法の影響かもしれない。インターネット調査は2社とも、概ね全体的な分布としては国勢調査と変わらないものの、強いて挙げれば「農業、林業、漁業」、「鉱業、採石業、砂利採取業、建設業」が少なめである。

図表6 労働力状態

()内はサティスファイサー除外データにおける数値

図表7 従業上の地位

()内はサティスファイサー除外データにおける数値

図表8 業種

()内はサティスファイサー除外データにおける数値

 国勢調査との比較の最後に、居住に関する質問を図表9~10で確認する。管見の限り、回答者の住居の種類について、国勢調査と面接調査、インターネット調査を比較した例は少ないが、各モードでははっきりと違いが現れた(注12)。面接調査回答者の「持ち家」率は85%と、国勢調査よりも10ポイント以上高く、その分借家率は低い。インターネット調査回答者では国勢調査に近い分布が見られたから、前述の大都市(都市ほど借家率が高い傾向がある)偏重の裏返しというわけではなさそうだ。5年前の常住地については、面接調査回答者は5年前も現在と同じ住所との回答率が非常に高く、上記の持ち家率の高さと平仄が合っている。

図表9 住居の種類

()内はサティスファイサー除外データにおける数値

図表10 5年前常住地

()内はサティスファイサー除外データにおける数値

5―2.面接調査とインターネット調査の共通項目

 ここからは、今回、実施者が追加した面接調査とインターネット調査の共通質問項目について差異を確認していく。以下では、インターネット調査はサティスファイサーを除いたデータを用いる。

 パーソナリティ(ビッグ・ファイブ)では、非常に興味深い傾向が見られた(図表11)。

 まず、外向性について、面接調査回答者の平均得点は8.4であり、2社それぞれ7.9、7.4のインターネット調査回答者と比較して、有意に高い。協調性も、面接回答者が平均10.6点と、インターネット調査よりも高く、この差は統計的有意である。神経症傾向についても、面接調査回答者が平均7.3と、インターネット調査回答者よりも有意に低い結果が示された。勤勉性では差は見られず、開放性については面接調査とインターネット調査Aの間にのみ、5%水準で面接調査の方が低かった。郵送調査回答者とインターネット調査回答者のビッグ・ファイブを比較した林(2016)は、郵送調査回答者の協調性と開放性が高かったとしているが、ネット調査との比較対象を面接調査に替えた本調査の場合、調査モードによる回答者の性格の違いがさらに顕著に観察された。

図表11 パーソナリティ

*p<0.05, **p<0.01
面接調査データとの比較

 インターネット利用時間・利用目的については予測通り、インターネット調査回答者は、 1日当たりのインターネット利用時間が面接調査回答者よりも長かった(図表12)。面接調査回答者のインターネット利用時間が総務省の情報通信メディアの利用時間と情報行動に関する調査を約1時間下回っているのは、後者(総務省調査)には70歳以上のサンプルが含まれないことに拠ると思われる(注13)

 インターネットの利用目的を見ると、当然ながら、全体的にインターネット調査回答者では各項目の選択率が高い(図表13)。「クイズ・懸賞応募、アンケート回答」を選んだインターネット調査回答者が約5割にとどまるのは、ほとんど全員が利用しているメールの利用などのサービスと比べたときの「普段利用している」という質問文の語句の解釈であろう。「商品・サービスの購入・取引(金融取引及びデジタルコンテンツ購入を除く)」にも、面接調査と比較して開きがある。

 ちなみに、面接調査回答者の「電子メールの送受信」、「天気予報」、「地図・交通情報の提供サービス」、「ニュースサイト」、「無料通話アプリやボイスチャット」、「ソーシャルメディア」選択率が総務省調査よりも低いのは、前述の調査対象年齢の違い以上に、本プロジェクトの面接調査はインターネットを利用しない人にもこの質問を行っているのに対し、総務省調査は「インターネットを1年間の間に(1度でも)利用している人」のみを対象としたために生じた差である。

 図表14と15に示されているのは、景況感(暮らし向き)と生活満足度の回答分布である。前者は「変わらない」、後者は「まあ満足している」と中間的な回答が最も多いのはどの調査でも同じである。ただし、インターネット調査、特にB社では、「悪い」「不満」寄りの回答がほかよりも多い。面接調査とインターネット調査の差はインターネット調査回答者の生活満足度が低いことを報告した本多・本川(2005)と同じ傾向を示唆するものである。一方、インターネット調査Aとインターネット調査Bの回答者間に差が生じたのは、表13で「商品・サービスの購入・取引」の選択率がA>Bであったこととも関連しているのかもしれない。

 最後に、政治的意識の項目について確認する(図表16~17)。長期的党派性および内閣支持については、4月10日~12日にNHKが行った世論調査(電話聴収法・RDD)の結果が公表されており、そちらとも比較する(注14)

 インターネット調査における自民党支持率はA:28.3%、B:24.8%とNHK調査の37.4%よりも低い。ただし、日本維新の会については高めである。無党派(「そのような政党はない」)はインターネット調査Aが31.6%と低く見えるが、「わからない・答えない」と合わせると同水準である。

 内閣支持率は、インターネット調査ではA:23.5%、B:21.8%と、面接調査の33.6%、NHK調査の43.9%を大きく下回った。「わからない・答えたくない」という回答も、面接調査とインターネット調査ではNHK調査よりも多かった。面接調査では、この質問には「わからない・答えたくない」の選択肢を記した回答カードを提示しなかったことが、「支持する」が減り、DK・NAが増えた一因かもしれない。面接調査とインターネット調査は、それぞれ別の挙動を示すと考えた方が良さそうである。

6.結論

 以上、本論文では、インターネット調査のバイアスを検討するプロジェクトの第1弾として、実施した調査の概要を説明するとともに、各調査で共通の項目に関する比較を試みた。分析で得られた知見を整理すると、以下のようになる。

 インターネット調査回答者には、省力回答者(サティスファイサー)が9~16%存在する。それらの回答者を除外した上で国勢調査と比べると、インターネット調査の回答者には、性別・年齢によって回収目標数を割り当てても、全体的に大都市に居住する大学在学・卒業以上の回答者の比重が高く、第1次産業従事者は少ないバイアスが存在する。一方、面接調査の回答者は、配偶者ありが多く、持ち家率、5年前から現在と同じ住所に居住している割合が実際よりも高い。

 面接調査とインターネット調査の比較では、パーソナリティー(ビッグ・ファイブ)において、面接調査回答者の外向性・協調性が高く、神経症傾向が低かった。また、インターネット調査回答者はインターネット利用時間が長く、利用目的も多岐にわたっている。生活・政治意識についても、インターネット調査回答者には景況感や生活満足度が低く、自民党支持率・内閣支持率が低く、日本維新の会の支持率が高いという傾向が見られた。

 これらの結果から、各種調査のバイアスを考慮する上で、どのような問題が考えられるだろうか。以下3点を指摘する。

 第1に、性別や年齢層の分布が国勢調査と等しくなるように回収目標数を割り当てさえすればインターネット調査の歪みは小さくなる・インターネット調査会社はモニターの品質管理を厳密に行っている、といった言説は、まだ十分に信頼しうる水準には達していない。事前に回収数の割り付けを行えば、そこで用いた条件「だけ」は目標母集団の分布と揃うが、省力回答者を除外した段階で早くもズレを生じ、まして、全ての社会的属性を割り付け条件にすることは不可能である。

 第2に、無作為抽出に基づく面接調査の回答者も、もはや目標母集団の縮図と捉えて良いか疑問である。国勢調査と比較したとき、面接調査の回答者は持ち家率が高いなど、比較的安定した生活を送っている人々のように映る。本研究では測定しなかった項目――例えば年収など――でもバイアスが生じている可能性が否定できない。無作為抽出に基づく調査結果を「正解」に見立てて、インターネット調査データを補正する際の留意点となろう。

 第3に、インターネットモニターの一般的な傾向だけでなく、インターネット調査会社間での結果の差異(ハウス・エフェクト)も皆無ではない。本調査では、職業(パート)、インターネットの利用目的や生活満足度といった一部の項目で、2社のインターネット調査間に差が見られた。

 本論文の意義は、無作為抽出に基づく面接調査とモニター型インターネット調査(2社)による質問票と調査開始時点を揃えた並行調査を行ったこと、質問票の作成に当たっては国勢調査の項目と比較可能にしたこと、そしてパーソナリティ質問など社会的属性以外の基底的変数についても調査間の差異を明らかにしたことである。本調査結果が、各調査モードのバイアスに関する最新の基礎資料となれば幸いである。

 次なる課題はインターネット調査データの補正可能性を探ることにある。本プロジェクトでも引き続きこの点に取り組む予定である。

付録:各調査における質問と選択肢

 本プロジェクトでは各調査で共通の質問を行っているが、面接調査においては選択肢の多い質問のみ、調査員が選択肢の記載された用紙を回答者に提示し、答えさせている。その質問については◎印を付した。

 また、ほとんどの質問には、「わからない・答えない」の選択肢を設けていない。インターネット調査では、いずれかの選択肢で回答をしないと終了できない仕組みになっているが、面接調査では、口頭で回答を拒否され、「わからない・答えない」とコーディングされることもある。面接調査のみ「わからない・答えない」とコーディングされることがあった質問については、カギ括弧(【】)で示した。

問1 あなたのお住まいの地域をお教えください。
都道府県(   ) 市区町村(   )

問2 あなたの性別をお答えください。
1.男 2.女

問3 現在の年齢は、おいくつですか。 
□□歳

問4 あなたが最後に在籍した(または現在、在籍している)学校はこの中のどれにあたりますか。
1.(新)中学/(旧)小・高小
2.(新)高校/(旧)中学
3.(新)短大・高専/(旧)高校・専門
4.(新)大学・大学院/(旧)大学・大学院

問5◎ 次の1から11まで(面接調査では1から10まで)のことばがあなた自身にどのくらい当てはまるかについて、もっとも適切なものをそれぞれ1つずつ選んでください。

私は自分自身のことを
1.全く違うと思う 2.おおよそ違うと思う 3.少し違うと思う 4.どちらでもない 5.少しそう思う 6.まあそう思う 7.強くそう思う 【8.わからない】

1.活発で外向的だと思う
2.他人に不満を持ち、もめごとを起こしやすいと思う
3.しっかりしていて、自分に厳しいと思う
4.心配性で、うろたえやすいと思う
5.新しいことが好きで、変わった考えを持つと思う
6.ひかえめで、おとなしいと思う
7.この質問には、「おおよそ違うと思う」を選択してください。
※インターネット調査のみ
8.人に気をつかう、やさしい人間だと思う
9.だらしなく、うっかりしていると思う
10.冷静で、気分が安定していると思う
11.発想力に欠けた、平凡な人間だと思う

問6 あなたは、平日にスマートホンやパソコン等を用いて、どの程度の時間インターネットを利用していますか。1日当たりの平均的な利用時間をお答えください。(インターネット利用時間)
インターネットを利用していない方は「0」とお答えください。

1日当たり□□時間□□分 【1.わからない】

問7◎ 次のインターネット機能・サービスのうち、普段利用しているものをすべてお答えください。(インターネットの利用目的)
1.電子メールの送受信
2.天気予報
3.地図・交通情報の提供サービス
4.ニュースサイト
5.無料通話アプリやボイスチャット
6.ソーシャルメディア
7.動画投稿・共有サイト
8.ホームページ・ブログの開設・更新又は閲覧、書き込み
9.商品・サービスの購入・取引(金融取引及びデジタルコンテンツ購入を除く) 10.辞書・事典サイト
11.オンラインゲーム
12.ラジオ、テレビ番組、映画などのオンデマンド配信サービス
13.デジタルコンテンツの購入・取引
14.クイズ・懸賞応募、アンケート回答
15.金融取引
16.インターネットオークション
17.e-ラーニング
18.電子政府・電子自治体
19.その他(電子掲示板やウェブアルバムの利用、電子ファイルの交換など)
20.その他(具体的に:     )
21.利用しない
【22.わからない】

問8◎ 現在のお宅のくらしむきを1年前と比べると、どうでしょうか。この中から1つだけお答えください。(景況感)
1.かなり良い 2.やや良い 3.変わらない 4.やや悪い 5.かなり悪い 
【6.わからない】

問9◎ あなたは、現在の生活にどのくらい満足していますか。この中から1つだけお答えください。(生活満足感)
1.満足している 2.まあ満足している 3.どちらともいえない 4.やや不満だ 5.不満だ 【6.わからない】

問10◎ 多くの人が「長期的に見ると、自分は○○党寄りだ」とお考えのようです。短期的に他の政党へ投票することはもちろんあり得るとして、長い目で見ると、あなたは「何党寄り」と言えるでしょうか。この中から1つだけお答えください。(長期的党派性)
1.自由民主党
2.公明党
3.立憲民主党
4.日本共産党
5.日本維新の会
6.国民民主党
7.社会民主党
8.れいわ新撰組
9.NHK受信料を支払わない方法を教える党
10.その他の政党(具体的に:     )11.そのような政党はない
12.わからない・答えたくない

問11 あなたは、菅内閣を支持しますか、支持しませんか。(内閣支持)
1.支持する 2.支持しない 3.わからない・答えたくない

問12◎ 現在、あなたには、配偶者はいらっしゃいますか。届け出の有無に関係なく、この中から1つだけお答えください。(配偶者の有無)
1.未婚 2.配偶者あり 3.死別 4.離別 5.答えたくない

問13◎ 2021年3月25日(木)から2021年3月31日(水)までの1週間にお仕事をしましたか。この中から1つだけお答えください。
1.主に仕事
2.家事などのほか仕事
3.通学のかたわら仕事
4.普段仕事をしているが、この期間は仕事を休んでいた
5.普段仕事はしていないが、仕事を探していた
6.家事のみ
7.通学のみ
8.その他(高齢者など)
【9.わからない・答えたくない】

問14◎ 問13で1から4までの回答をした方におうかがいします。あなたのお仕事の地位はどれに当てはまりますか。この中から1つだけお答えください。
1.正規の職員・従業員
2.労働者派遣事業所の派遣社員
3.パート・アルバイト・その他(契約社員・嘱託を含む)
4.会社などの役員
5.自営業主(雇人のある業主、雇人のない業主)、家庭内職者
6.家族従業者 
【7.わからない・答えたくない】

問15 問13で1から4までの回答をした方におうかがいします。あなたのお仕事の種類はどれに当てはまりますか。この中から1つだけお答えください。
1.農業、林業、漁業
2.鉱業、採石業、砂利採取業、建設業(金属や原油などの採掘、土木や建築全般)
3.製造業、電気・ガス・熱供給・水道業(食品や工業製品の製造、発電所や上下水道など)
4.情報通信業(通信や放送、新聞や出版物の制作など)
5.運輸業、郵便業(鉄道、道路運送、倉庫、郵便事業など)※郵便局は 14.複合サービス業へ
6.卸売業、小売業(各種卸売や小売、商社や貿易など)
7.金融業、保険業(銀行や金融商品取引、各種保険サービスなど)
8.不動産業、物品賃貸業(土地・建物の売買や賃貸、各種リースなど)
9.学術研究、専門・技術サービス業(研究機関、法律事務所、総合広告サービス、建築設計など)
10.宿泊業、飲食サービス業
11.生活関連サービス業、娯楽業(洗濯、理美容、冠婚葬祭、旅行業、各種娯楽施設など)
12.教育、学習支援業(各種学校、図書館、学習塾、稽古(けいこ)、スポーツ教室など)
※保育園は13.医療、福祉へ
13.医療、福祉(病院や診療所、保健衛生施設、保育園、介護施設など)
14.複合サービス業、サービス業(他に分類されないもの)
(郵便局、農林漁協、自動車・機械の整備、警備、宗教団体、講演会や集会の施設運営など)
15.公務(他に分類されるものを除く)(行政・司法・立法の非現業公務員全般や警察署など)
※学校、図書館、医療、また、現業の方は1~14の中から選んでください
16.その他
【17.わからない・答えたくない】

問16◎ あなたの、お住まいの種類についてお教えください。この中から1つだけお答えください。(住居の種類)
1.持ち家 2.公営の借家、都市機構・公社の借家 3.民営の借家 
4.給与住宅、間借り 5.会社等の独身寮・寄宿舎 6.その他 
【7.わからない・答えたくない】

問17◎ あなたは、5年前にはどこに住んでいましたか。この中から1つだけお答えください。(5年前の常住地)
1.現在と同じ住所 2.同じ区・市町村内の他の場所 3.他の区・市町村 4.外国 
【5.わからない・答えたくない】

参考文献

岩永雅也・大塚雄作・高橋一男(1996)『社会調査の基礎』放送大学教育振興会.
大隅昇(2002)「インターネット調査の適用可能性と限界―データ科学の視点からの考察―」『行動計量学』29(1),pp.20-44.
大隅昇・鳰真紀子・井田潤治・小野裕亮(2019)『ウェブ調査の科学』朝倉書店.
小塩真司・阿部晋吾、・カトローニ・ピノ(2012)「日本語版Ten Item Personality Inventory(TIPI-J)作成の試み」『パーソナリティ研究』21,pp.40-52.
小林良彰(2019)「社会意識に関する異なる調査方法比較 : インターネット調査と面接調査の比較検討」『法学研究』92(4),pp.1-21.
谷口将紀・谷口尚子(2008)「インターネット調査の可能性―東京大学・朝日新聞社共同世論調査の比較―」『日本政治研究』5(1・2合併),pp.222-233.
中瀬剛丸(2005)「面接調査の現状と課題:調査実施の立場から」『放送研究と調査』2005年12月号,pp.66-73.
日本学術会議社会学委員会Web調査の課題に関する検討分科会(2020)「提言 Web 調査の有効な学術的活用を目指して」日本学術会議, (2020年8月22日)
萩原牧子(2009)「インターネットモニター調査はどのように偏っているのか―従来型調査手法に代替する調査手法の模索―」『Works Review』Vol.4,pp.8-19.
星野崇宏(2007)「インターネット調査に対する共変量調整法のマーケティングリサーチへの適用と調整効果の再現性の検討」『行動計量学』34(1),pp.33-48.
本多則惠(2006)「インターネット調査・モニター調査の特質、モニター型インターネット調査を活用するための課題 特集:あらためて『データ』について考える」『日本労働研究雑誌」48(6),pp.32-41.
本多則惠・本川明(2005)「インターネット調査は社会調査に利用できるか―実験調査による検証結果―」『労働政策研究報告書』No.17,労働政策研究・研修機構.
三浦麻子・小林哲郎(2015)「オンライン調査モニタのSatisficeに関する実験的研究」『社会心理学研究』31,pp.1-12.
三輪哲(2009)「傾向スコア法によるワーキングパーソンWeb調査補正の可能性」石田浩・佐藤香・佐藤博樹・豊田義博・萩原牧子・萩原雅之・本多則惠・前田幸男・三輪哲『信頼できるインターネット調査法の確立に向けて 報告書』(SSJ Data Archive Research Paper Series No. 42)東京大学社会科学研究所,pp.123-132.
林明明(2016)「インターネット調査と従来型紙面調査による調査結果に違いはあるのか」『電気通信普及財団 研究調査助成報告書』No.31,pp.1-8.

引用を行う際には、以下を参考に出典の明記をお願いいたします。​
(出典)大森翔子(2021)「インターネット調査のサンプル特性:国勢調査・面接調査との比較」NIRAワーキングペーパーNo.1

脚注
1 国勢調査も、平成27年(2015年)度からはインターネット回答と紙調査票回答の併用式になった。
2 調査の実施に当たっては、NIRA総合研究開発機構倫理審査委員会の承認を得た(承認番号20105_2021R37_02)。
3 全国の市町村を12ブロックに分類、さらにブロック内で市郡規模に分類し層化を行った上で、国勢調査の基本単位区から調査地点を抽出し(1段目の抽出)、さらに住宅地図データベースを用いて対象世帯を抽出し(2段目の抽出)、対象世帯の居住者のうち割り当てられた性別・年代に該当する人を調査対象とするもの(3段目の抽出)。
4 本調査のサティスファイサー検出質問は1問のみであり、たまたま当該項目で回答ボタンを押し間違えた可能性もあるが、それはそれで調査会社にとっては深刻な問題である。
5 令和31月実施、訪問留置調査、1369歳対象。
6 平成29年11~12月実施、郵送調査、20歳以上の世帯構成員対象。
7 通信利用動向調査は毎年実施されているが、最近の調査はインターネットの利用目的に関する選択肢を統合・除外している場合があるため、本調査では多くの選択肢が設けられていた平成29年度調査を比較対象とした。
8 国勢調査の数値はデータベースから18歳以上を対象に集計している。なお、国勢調査の平均年齢は110歳以上の者を全員110歳として計算したが、2021年9月現在の国内最高齢は男性111歳・女性118歳である。
9 国勢調査の従業上の地位および業種の割合は、「平成27年国勢調査 最終報告書 第2章 就業状態等基本集計結果」の値(15歳以上の集計結果)を記載している。
10 仕事をしていない高齢者は「家事のみ」「その他(高齢者など)」のどちらも当てはまりそうである。
11 回答者が「どれにも当てはまらない」と言ったときのみ「その他」に分類する。
12 住居の種類について、国勢調査の数値は5歳刻みのものが提供されているため、ここでは20歳以上の日本人における割合を示した。
13 総務省「令和2年度情報通信メディアの利用時間と情報行動に関する調査」では、13歳以上69歳以下を対象に調査をしている。
14 NHK選挙WEB「2021年4月政治意識月例電話調査」(最終閲覧日:2021年10月14日)。ただし、長期的党派性/政党支持率に関しては、本調査(付録参照)とNHK調査(いま、あなたは、何党を支持していますか)で質問文が異なる点に注意を要する。

© 公益財団法人NIRA総合研究開発機構

※本誌に関するご感想・ご意見をお寄せください。E-mail:info@nira.or.jp

研究の成果一覧へ