アンケート調査における自由回答分析の提案

元木 幹雄
元木 幹雄

リサーチグループ
マネジャー

人事制度及び人材育成制度の導入・定着に向けたコンサルティング、人事情報システムやタレントマネジメントシステムの導入支援、リサーチ&アセスメントの企画・実行支援に従事し、現在に至る。

とりっぱなしの自由回答

アンケートの自由回答、コールセンターやWebサイトなどに寄せられる顧客からのクレームや意見など、我々の身の回りには、放置されている従業員や顧客の 声が存在している。これらは従業員意識調査や顧客満足度調査といった本格的に調査した結果であったとしても、数値データである定量情報はきちんと分析され ているが、自由回答といった定性情報は一通り目を通しておしまい、というケースが多い。

自由回答は、100件程度であれば分析者が一通り目を通し整理することで、傾向を掴み、解釈することができるかもしれない。しかし、これが1,000件、 10,000件と件数が増加すると、分析者が全体の傾向を掴み、解釈することは不可能に近いことから、結果として放置されることになっている。

自由回答の分析ツールにまつわる誤解

大量の自由回答を分析するためのツールとして世の中には多くの「テキストマイニング」のツールがある。本格的なものではなく、自由回答を単語レベルに分解し、単語量を把握する程度であれば、フリーソフトを入手することで容易に分析できたりもする。

マイニング(mining)とは「発掘」という意味で、テキスト(自由回答)の山から価値ある情報を掘り出す、といった意味が込められている。そのため貴 重なテキスト(自由回答)データが大量にあれば、テキストマイニングにかけることで価値ある情報が自動的に得られるのでないか、というように誤解されてい ることがよくある。そのためテキストマイニングツールを購入し、マニュアル通りにテキストマイニングを実行しても期待していた結果が得られなかった、とい うことがよく起こる。その結果として「やっぱり自由回答の分析はできない」というあきらめに変わっているのが実態ではなかろうか。

自由回答の分析に向けて

自由回答の分析は、自由回答を「コンピューターによって解析できること」と、「分析者が判断や解釈しなければいけないこと」がある、ということを忘れてはならない。

コンピューターによる解析は手順さえ標準化できれば、誰がやっても同じ、客観的な結果を得られる。しかし、これだけでは価値ある、欲しい情報を手に入れる ことはできない。理由は大きく三つ。一つめは日本語特有の問題でコンピューターの解析だけでは限界があること、二つめは自由回答の分析手法が確立されてい ないこと、三つめは分析者によって得られた結果を意味づけし、まとめなければならないことが挙げられる。

つまり、上記三つの問題を解決するためには、分析者による判断や解釈が必要となる。これらは分析者の主観や能力に負う部分が多く、分析者によって得られる 結果が異なる。つまり客観的とはいえない結果になる。しかし、分析者による判断や解釈がなければ、価値ある、欲しい情報を手に入れることはできない、とい う矛盾に立ち向かわなければなりません。

分析者による判断や解釈が必要で、それが難しい理由

価値ある情報を手に入れるためには、分析者の判断や解釈が必要だが、その判断や解釈は想像以上に難しい。それでは、具体的に何が難しいのか。上記で示した3つの問題それぞれについて説明する。

  • ■日本語の特有性に起因する問題

一つめは日本語特有の問題である。例えば「優秀な営業担当者の上司」という文章があったとする。こういった文章は「優秀なのは、営業担当者なのか、上司な のか」は、コンピューターでは判断できない。もちろん分析者もこれだけの情報では判断できないが、前後の文章や、実際の営業担当者や上司を見ることで判断 ができる。つまりこういった文章などは、最終的に分析者が判断しなければならない。また「この商品は売れないわけではない」といった二重否定の文章があっ た場合、分析者が読めば「この商品は売れる」と判断できるが、コンピューターで判断するのは難しい。

その他にも、自由回答中の単語の「散らばり」を整理することが求められる。具体的には、「お客様」「お客さま」といった表記ゆれを吸収するほか、「顧客」 も「お客様」も同じ意味の語(同義語)として一つにまとめるといった作業が重要なのだ。「客」「お客」「お客様」「お客さま」「顧客」「クライアント」 「カスタマー」「ユーザー」等、お客様を表現する言葉は多数存在する。人が見れば、同義と解釈できても、コンピューターでは同義と解釈できないため、人が 判断した上で、コンピューターに指示しなければならない。しかし、この作業も極めて難しい。「お客様」と「お客さま」は問答無用で同義といえそうだが、 「お客様」と「クライアント」では自由回答の記載者は、あえて書き分けている可能性がある。また、お客様といった単語も、「お客様のお客様」というと、最 初に表現している「お客様」と、後者で表現している「お客様」とでは指している対象が異なるため、別物と解釈することもできるからだ。

まだまだある。自由回答の文中に存在する「?」や「!」といった記号や特殊文字、「こそあど(指示代名詞)」「もの」「こと」などの「頻出はするけれどそ れ自体にあまり意味のない語」を整理し、場合によっては(分析対象から外す)不要語と設定することが求められる。なぜならば、頻出はするけれどそれ自体に あまり意味のない語が、分析結果にも反映されていると重要なことがフォーカスされず、見過ごされてしまう可能性があるからだ。

このように日本語特有の問題は、分析者自身が判断しなければいけないことが多いと認識しなければならない。

  •  

■解釈手法に起因する問題

二つめは分析を進める上での分析手法だ。これは定量情報を分析するときも同様なのだが、定量情報の場合は、例えば、全体傾向を見るためには「平均値」を算 出し、ばらつきを見るためには「度数分布」を表示し「標準偏差」を算出する、といった分析手法がある程度確立され、一般化している。しかし、定性情報(自 由回答)の分析は、これといった分析手法が一般化しているわけではないので、分析者が、自分で分析手法から考えなければいけないことが多い。私の場合は、 頻出している単語量を計算し、単語間の共起(共に語られている)頻度の計算・可視化(グラフ化)しながら、代表的な意見を抽出し、意味を見出す、という感 じで分析をしているが、「自由回答の量が多い場合と少ない場合」「自由回答の記述が文法的にもきちんと記載されている場合と、いい加減な場合」「自由回答 内に長い文章でたくさんの意見が記載されている場合と、箇条書きのような形で一文に一つの意見のみが記載されている場合」等、それぞれ分析方法も工夫しな ければならず、その都度、悩んでいるのが実情だ。

  • ■分析者の解釈に起因する問題

三つめはテキスト分析によって得られた結果をまとめなければいけない、ということがある。定量情報を分析し、報告書にまとめたことがある人は多いと思う が、定性情報(自由回答)を分析し、報告書にまとめたことがある人は少ない。そのため周囲に相談する人も少なく、これといった参考書があるわけでもないの で、まとめ方も極めて難しい。この問題は一つめの日本語の問題と、二つめの分析手法の問題と関連してくるのだが、記載されている日本語をどう判断し、どの ように分析するかによって得られる結果が変わってくるため、まとめる方法もその都度、じっくり考えることになる。しかし、そうはいってもある程度は、まと める手順を標準化しておかなければ、同じ分析者が、同じ自由回答データを分析しても、同じ結果を再現できないということになりかねない。

アンケート調査を実施すると、定点観測するために、毎月とか、毎年といった形で定期的に調査を実施することがある。そのとき調査結果が前回と、今回とで、 まとめかたが大きくかわると一貫性がなくなり、信頼の出来ない報告書になってしまう。自由回答分析に限ったことではないが、まとめ方もある程度、標準化し ておかなければ、報告書の品質を担保できない。そのため自由回答を分析し、報告書を作成した際は、後にこの分析者以外の第三者が分析し、報告書を作成した としても、基本的に同じ報告書が再現できるような分析の前提条件や、手順書を整理しておくことが必須である。

自由回答を分析するにあたり、分析者がきちんと判断や解釈できるようになるためには、ある程度の基礎知識や経験が求められるため、一朝一夕にできるように なるわけではない。その意味では、分析すべき自由回答が年に1回程度、アンケート調査を通じて手に入れることができるというのであれば、専門の分析者に委 託するほうが、時間的にも早く、コスト的にも安くすむであろう。しかし、頻繁に自由回答が手に入れることができるのであれば、テキストマイニングツールを 手に入れ、分析者の育成に取り掛かるべきだ。そうすることで、価値ある情報を手に入れられることになる。

価値ある情報とは

それでは価値ある情報とは、どのようなものだろうか。
それは、今まで気付かなかった情報、あるいは今までも気付いていた情報でも、それがより具体化されており、次なるアクションが明確になるような情報だと考える。

自由回答は分析し、定量化することでその単語量や、単語間の共起頻度から、どんなことがたくさん語られているのかが、短時間でわかるにようになる。「男女 別」「年齢別」といった属性データもあれば、10代の男性はどんなことを語っているのか、というところまで絞り込んで意見を抽出できる。更に定期的に自由 回答をとることができれば「年別」「月別」「季節別」といった形で、どのようなことが語られているか、推移も確認できる。

たくさんの自由回答を短時間で読み取れ、それも対象層を絞り込んで傾向を具体的に捉えることができれば、何をすべきか自ずとアクションが見えてくる。そし てアクションをとった後、定期的にとっている自由回答を分析、検証することで、そのアクションの効果まで把握できる。アクションの効果がなければ軌道修正 し、効果があれば更にそのアクションを強化する。こんなことが実現できる。

従業員意識調査の自由回答の分析事例

毎年、従業員意識調査を実施し、スコアはきちんと分析しているが、自由回答は一通り目を通すだけ、というA社に対し、自由回答分析を提案し、実施したときの話だ(但し、会社を特定できないよう、話を脚色しているのでご了承願いたい)。

A社が「今期、自由回答の分析をしてみたい」と考えたきっかけは、自由回答の記入率が大幅に上昇していたことだった。A社の従業員規模は10,000人を 越えており、そもそも記入された自由回答を全て読むことには限界があった。毎年、どんなことが書かれているのか、全体像を掴みたかったのだが、一つひとつ 読んで分析することは現実的ではなかったため、従来は実施していなかったのだ。

A社の従業員意識調査における自由回答は、従業員に任意で記入してもらっており、例年は2割程度の従業員しか記入していなかった。それが今期、記入した従 業員の数が、特に質問形式を変えたわけではないのに3割を優に超えていた。更に年代別でみると30代や40代、部門別でみるとスタッフ部門や研究開発部門 の従業員の記入率が大幅に増えている。A社の従業員意識調査における自由回答は、ざっと見る限り、不満や、否定的な意見が語られることがほとんどだ。その ため30代や40代、スタッフ部門や研究開発部門に不満があることが、これだけで予想ができ、特にこの層の自由回答の内容を検証したかった。

実際に自由回答の内容を分析すると、毎年、「上司」「評価」に関する意見が圧倒的に多かった。代表的な意見は「上司の評価に納得ができない/不満がある」 だ。それが今期になって「上司」「評価」に関する意見に加え、「経営方針」に関する意見が激増していたのだ。これも属性別まで分析していくと、特にスタッ フ部門や研究開発部門が多くの記入されていることがわかった。

A社では経営環境が厳しく、業績の低下に伴い、イノベーション活動と称して新たな経営方針を掲げ、展開していたのだ。そして、スタッフ部門や研究開発部門 といった特に経営方針の影響が直撃している部門で、特に30代、40代は、「将来を見据えた展望が見えないといい、将来に悲観している」ということが自由 回答の内容から検証ができたのだ。

スコアだけ見ていると、こんなことは全く見えなかったが、自由回答を分析していくと、上記のような従業員の生の声が聞こえてくる(見えてくる)。それも明 確に、定量的に把握できる。従業員がどんな意見を持っているのかがわかると対策は打ちやすく、不満を持っている層にターゲットを絞り、会社の意図を丁寧に 説明し、誤解があればそれを解消していく、というアクションもすぐに移せる。その意味で、自由回答の分析結果は、大変価値ある情報だったと認識され、来期 以降も継続して分析していくこととなった。

また、自由回答分析を進めていく中では、いろいろな発見がある。A社では、高いスコアをつけた従業員(=モラールが高い)と、低いスコアをつけた従業員 (=モラールが低い)とでは、たくさん使われる語句が異なっていた。高いスコアをつけた従業員は「必要」という語句をたくさん使っている。例えば「・・・ することが必要だ」という感じだ。つまり、モラールの高い従業員は、不満ばかりいっているのではなく会社に対して具体的な提案をしていた。それがわかり、 モラールの高い従業員の意見をもっと分析し、施策に活用しようというアクションに移すことができた。

一方、モラールの低い従業員は「上司」という語句をたくさん使っている。それに対しモラールの高い従業員は「上司」という語句をあまり使っていない。つま りモラールの低い従業員のモラールを下げている原因は「上司」に起因している可能性が高いことがわかった。また「上司」について語っている従業員は、「経 営方針」についても語っている傾向があることがわかった。つまり上司に不満を持っている従業員は、経営方針についても不満を持っている傾向があったのだ。

A社では、経営方針については社長から全社へメッセージを投げかけると同時に、「社長から担当役員」「担当役員から部門長」「部門長から課長」とブレーク ダウンするような方法で、展開・浸透をはかっていた。しかし、この今回の自由回答分析の結果から、上司に不満を持っている従業員は、経営方針についても不 満を持っている傾向があることから、その理由について考え、対策を検討してみた。

その結果、上司に不満を持っている従業員は「①上司から伝えられる方針は、どんな方針であっても心理的に受け入れることが難しい」「②上司との関係性が希 薄であるため、経営方針について十分な説明を受けていない」「③上司が経営方針についての理解が浅いために、歪めた形で経営方針を説明されている」のでは ないかと考えた。その結果として、上司に不満を持っている従業員は、経営方針を正確に受け止めておらず、不満を持っているのではないかと考えた。そこで、 経営方針については、直属の上司からだけではなく、上司の上司にあたる部門長か、担当役員からも、説明を加えていくことにした。

自由回答分析結果を読み取る際の注意点

自由回答とはその名の通り、自由に書くことができる。記入される意見は多種多様だ。そのため、自由回答を分析して抽出できる代表的な意見は、全体の10%にも満たない記入率をもって、代表的な意見としているケースがよくある。

A社における従業員意識調査の自由回答の中から分析、抽出された代表的な意見(最も多い意見)は「上司の評価に納得ができない/不満がある」だった。 10,000人の従業員のうち、35%が自由回答を記入した。つまり3,500人だ。この3,500人のうち10%が「上司の評価に納得ができない/不満 がある」といっていた。つまり350人程度だ。全従業員10,000人のうち、350人なので、3~4%の意見を持って、代表的な意見としている。

このような数字を見たときに、たった3~4%の意見を持って、従業員の代表的な意見とし、アクションに移すことはリスクが大きいのではないか、という議論 もあった。しかし「上司の評価に納得ができない/不満がある」という意見があったことを、A社の経営幹部や従業員意識調査を企画・実施をした事務局、及び 複数の従業員に報告すると、大半の方に共感を得ることができた。つまり自由回答には記入していないが、そう感じていた従業員が多かった、ということではな いだろうか。

自由回答形式の特性上、意見は拡散する。そのため、その中で3~4%でも共通した意見を見出せれば、大半の従業員の潜在的な意見も含めた代表的な意見と いってしまってもよいのではないかと考えている。今のところ、この何%の意見を抽出できれば、代表的な意見といってよいのか、検証した結果は持っていない。

今後の自由回答分析の課題の一つに、何%の意見が見出せれば代表的な意見といってよいのか、このあたりの数字と根拠を明確にしたいと考えている。この根拠を明確に語ることができれば、アクションへ展開する際の自信にも繋がるからだ。

さいごに

定性情報である自由回答は、定量情報であるスコアを分析し、結論を見出すのは難しい。しかし、自由回答はスコアより具体的な意見を確認できるため、説得力 のある価値ある情報が得られる。その意味では、分析するためには難しい側面もあるが、それを克服するために時間やコストをかけてでも試行錯誤する価値が十 分にあるのではないだろうか。
是非、皆さんの周囲にも、とりっぱなしの自由回答があるならば、分析にチャレンジすることをお勧めしたい。

(2009.5.15)

著者プロフィール

元木 幹雄
元木 幹雄

パーソルラーニング リサーチグループ マネジャー

人事教育コンサルティング会社及び遠隔通信制(オンライン)ビジネススクールにて営業や企画スタッフを経験後、2001年にパーソルラーニングに入社。人事制度及び人材育成制度の導入・定着に向けたコンサルティング、人事情報システムやタレントマネジメントシステムの導入支援、リサーチ&アセスメントの企画・実行支援に従事し、現在に至る。産業能率大学大学院経営情報学研究科(MBA)修了。

Contact Us

営業革新・営業力強化

に関するお問い合わせ

01
  • どのくらい費用がかかるのか知りたい
  • 研修内容の詳細を確認したい
  • どのようなコンサルティングを受けられるか知りたい
  • 自社に合う提案をしてほしい

営業革新・営業力強化
に関するお問い合わせ

リーダー革新・組織開発

に関するお問い合わせ

02
  • どのくらい費用がかかるのか知りたい
  • 研修内容の詳細を確認したい
  • どの研修が適切か提案してほしい
  • 人材や組織の課題を明らかにして提案してほしい

リーダー革新・組織開発
に関するお問い合わせ

その他

お問い合わせ

03
  • 関連資料を送ってほしい
  • おすすめの事例やコラムを教えてほしい
  • イベントや公開セミナーに参加したい
  • まずは悩みをコンサルタントに相談したい

その他
お問い合わせ