TRANS.Blog

経営(ヒト・モノ・カネ)に関して定量的な分析を発信する 株式会社トランスのブログ

「似ているチーム」と「多様性の高いチーム」はどちらが成果が高いのか?

今回は、企業の実データをもとに
「多様性」と「成果」の関係を「チーム」の観点から分析
していきます。

 

「似た思考」と「多様な思考」どちらのチームが成果が高いのか? 

みなさまの会社では「配置」や「異動」を決める際、どのような判断基準をもっていますか?

 

チーム構成を決める際に、
・似た考え方の人でチームを組んだ方が、意思決定が早くなる
・多様な考え方の人でチームを組んだ方が、色々なアイデアが生まれやすい
という異なる2つの話があがることがあります。

 

どちらの話も、感覚としては正しく感じられますが、実際にはどちらの方が”成果”があがりやすいのでしょうか?

 

今回は、「チームの成果(業績)」と「チームのメンバー構成」に注目して、「似た考え方のチーム」と「多様性のあるチーム」のどちらが"成果につながる"チームなのか?を分析してみます。

 

「チームの成果」と「チームの多様性」について

今回の分析では、「チームの成果」を全社横断で共通化するために、「チームの成果」=「マネージャーの評価」と考えます。
※もちろん、「チームの成果」と「マネージャーの評価」が連動しない会社もあると思いますが、「チームの責任者」が「マネージャー」である会社は、比較的「チームの成果」と「マネージャーの評価」は相関関係があるのではないかと考えています。

 

また、チームが「似た考え方」なのか「多様な考え方」なのかを判断するために「適性検査」を使って、チームの「多様性」スコアを計算します。

※チームにおいて、似ている考え方の人が多ければ「多様性」スコアは低く異なる考え方の人が多ければ、「多様性」スコアは高くなります。

 

 

チームの「成果」と「多様性」の関係

ある会社の約50チームのマネージャーについて、「チームの成果(=マネージャーの評価)」と、「チームメンバーの多様性」の関係性を分析してみます。

 

以下のグラフより、
「高評価」のマネージャーのほうが、チームメンバーの「多様性」が高い
ことがわかります。(対象チーム数は少ないですが、統計的に優位な差がありました。)

f:id:trans-inc:20190412223807p:plain

すなわち
「多様なチーム」の方が、「チームの成果」(=マネージャーの評価)が高い傾向がある
と言える結果になりました。

 

 

チームの「“短期的”な成果」と「多様性」の関係

次に「マネージャーの評価」として、「短期業績評価(各期の評価)」を用いて、これを「チームの短期的な成果」と仮定し、「チームの多様性」との関係性を見てみます。

 

以下のグラフより、
「短期的の成果」の場合、「高評価」と「低評価」のチームで「多様性」に差はあまりない
ということがわかります。 

f:id:trans-inc:20190412223948p:plain

そのため
「チームの"短期的"な業績」には「多様性」の影響があるとは言えない
という結果になりました。

 

まとめ

今回、いくつかの仮定の基での結論ですが、
「多様なチーム構成」のほうが「チームの成果」が高い
※ただし、短期的な成果を目指す場合には、多様性はあまり影響がない
”可能性がある”という結果を得ることができました。
※今回の「多様」は「考え方」の意味です。 

 

一方で、別の分析では、
「1つの会社・チームの高評価者/低評価者 には共通した"考え方"が見られる」
ことも明らかになっています。

 

2つの結論を合わせると
「チームの"軸となる考え方"はそろっており、"軸"以外の考え方は多様」
なチームが、中長期的な成果を上げやすいのかもしれません。

 

 

配置や異動の効果を高めるために、まずは、
チームにどのようなタイプ(考え方)の人がいるのか・活躍しているのか を可視化
するとよいと考えています。

(弊社で開発した適性検査を使った「会社・チームのカルチャー診断・分析」を無料(先着30社)にて承っています。興味を持っていただけた場合には、こちらよりお問い合わせください。)

 

みなさまの会社では、チームを作る際にどのような点を意識して配置を考えられていますか?ぜひご意見をいただけますと嬉しく思います。

 

 

※執筆者:塚本鋭

 東京大学・大学院において、複雑ネットワークや大規模シミュレーションに関する研究に従事。人工知能学会研究会優秀賞・東京大学工学系研究科長賞 等を受賞。 大学院修了後、株式会社野村総合研究所コンサルタントとして入社し、ICT・メディア領域を担当。2013年1月より株式会社クラウドワークスに8番目の社員として参画し、2014年12月に上場を経験。データ分析・産官学連携を軸としながら、B2B事業立ち上げ、カスタマーサポート部門立ち上げ、子会社副社長等を歴任。2018年より現職。

「適性検査」で「休職」や「退職」をどれだけ予測できるか?

今回は、様々な会社におけるストレスによる休職・退職者300人の調査結果から
個人の資質と「休職」「退職」の関係性
について、分析した結果を報告します。

 

「個人の資質」と「休職」「退職」は関係するのか?

「適性検査」を使って、「ストレス耐性」を図ることは可能でしょうか?

人によって「ストレスを受ける因子」は異なるかと思います。

「適性検査」からストレスによる「休職」「退職」を予測できますか?

どの程度予測できるのか検証してみましょう。

 

採用には多くのコストがかかるため、企業が採用する際に
・できる限り長く自社で活躍してほしい
・自社において、休職・離職しにくい人を採用したい
と考えている場合も多いです。(卒業前提の会社もありますが。)

今回は、
個人の資質によって、「休職」「退職」のしやすさはあるのか?
について、実際のデータを用いて分析してみます。

 

ストレスによる「休職者」「退職者」の特徴

今回、弊社適性検査を用いて、ストレスによる休職・退職者300人を分析し、個人の資質と、休職・退職の関係性を分析しました。

同条件で取得した1000人の適性検査の平均を「0」としたときに、「休職者」と「退職者」の試験結果を示すと以下のようになります。

f:id:trans-inc:20190402105129p:plain
グラフより
・休職者は「内省」「規律」「ストレス」が高い
・退職者は、「内省」「ストレス」がやや高い
という結果になりました。

※「内省」の特徴:少数の人と深い関係を構築する、一人で深く考える
※「規律」の特徴:決められた通りに正しく行う、一貫性・公平性を重要視する
※「ストレス」:ストレスの感じやすさ(独自指標)

 

結果より、
ストレスによる「休職者」「退職者」は、一定の傾向がある
ことがわかりました。

 

ストレスによる「休職者」「退職者」を予測できるか?

先ほどの特徴を踏まえて、機械学習(AI)を用いて、休職者・退職者の予測を行ってみます。休職・退職の発生率を「100」としたときの、予測正解率を以下に示します。

f:id:trans-inc:20190402105155p:plain
グラフより
・「休職者」は、適性検査を用いることで、通常の約4倍の確率で予測ができる
・「退職者」は、適性検査を用いても、予測できる確率はあまり高まらない
という結果になりました。
※予測できた休職者は、休職者全体の約2割でした。

 

これは、ストレス起因の休職・退職について
休職の約2割は、会社に関わらず、個人の特質が影響している
 ※ただし、休職のうち8割は、適性検査では予測できない
・退職には、個人の特質はあまり影響しない
可能性があることがわかります。

 

一方、過去の分析事例では
「会社ごと」に分析すると、「退職しやすい個人の特徴」が存在する
ことがわかっています。

そのため、今回の分析と合わせて解釈すると
ストレス起因の退職には、会社(仕事)と個人の”相性”の影響が強い
可能性があることがわかります。

 

まとめ

今回の分析では、ストレスに起因する休職・退職について、
・(会社に関わらず)休職につながりやすい、個人の特質は一定ある
 ※「一人で考えるタイプ」「規律を重んじるタイプ」は要注意
・退職には、会社(仕事)と個人の”相性”の影響が強い
 ※個人の特徴のみでは、ストレスによる退職は予測しにくい
可能性があることがわかりました。


「退職」につながるストレスについては、「会社との相性」が重要という点は興味深いなと感じます。相性の良し悪しを定量化することで、採用時のミスマッチを減らすことができる可能性があると考えております。

(弊社で開発した適性検査を使った「会社のカルチャー診断・分析」を無料(先着20社)にて承っています。興味を持っていただけた場合には、こちらよりお問い合わせください。)

 

みなさまは、休職・退職に対して、どのような対策をされていますか?ぜひご意見いただければ幸いです。

 

 

※執筆者:塚本鋭

 東京大学・大学院において、複雑ネットワークや大規模シミュレーションに関する研究に従事。人工知能学会研究会優秀賞・東京大学工学系研究科長賞 等を受賞。 大学院修了後、株式会社野村総合研究所コンサルタントとして入社し、ICT・メディア領域を担当。2013年1月より株式会社クラウドワークスに8番目の社員として参画し、2014年12月に上場を経験。データ分析・産官学連携を軸としながら、B2B事業立ち上げ、カスタマーサポート部門立ち上げ、子会社副社長等を歴任。2018年より現職。

「異動」では誰を選ぶべき?成果につながる選び方とは?

今回は実際の企業データを基に
誰を「異動」させると、成果がでやすいのか?
について考えてみます。

 

異動することはプラス?マイナス?

 

異動によって、本人の成長につなげることは可能ですか?

異動がプラスに働く人と、マイナスに働く人がいるとは思います

配属において異動させる人はどう選定すればよいでしょう?

異動した方が、成果があがる人の特徴をみてみましょう

 

会社の戦略によって、「異動」は一定生じる現象かと思います。
・「異動」によって、経験を積むことができ、成長につながる
という意見がある一方で、
・「異動」によって、退職につながってしまった
という経験をされている会社もあるかもしれません。

 

今回は、「異動」を会社にとっても本人にとっても有効な打ち手とできるよう、「本人の特質(性格)」と「異動の成否」の関係について分析してみます。

 

分析の方法

今回はある企業の新卒配属において、
・配属後の業績達成率:「高評価」OR 「低評価
・配属における勤務地の異動:「異動した」OR 「異動していない
という2つの軸で、本人の特質(適性試験の結果)を分析してみます。

上記の条件をそれぞれにわけると、以下の4つのカテゴリに分類することができます。
1.「高評価×異動
2.「低評価×異動
3.「高評価×非異動」(異動していない)
4.「低評価×非異動」(異動していない)

この4つのカテゴリにおいて、「本人の特質」に違いがあるかをみてみます。

 

分析の結果

4つのカテゴリと「適性試験」(SPI)の結果を合わせると以下のようになります。 

f:id:trans-inc:20190304203500p:plain

グラフより
高評価×異動」の特徴:「達成意欲が高い」「懐疑的思考性が低い」
低評価×異動」の特徴:「持続性が高い」「従順性が高い」
  ※「高評価×異動」と比べて「身体活動性が低め」「達成意欲が低め」
低評価×非異動」の特徴:「身体活動性が高い」「達成・活動意欲が高い」「高揚性が高い」
  ※「高評価×非異動」と比べて「従順性が低め」「批判性が高め」
ということがわかります。

※ちなみに異動」した人の共通特徴は、「慎重性が低い」「従順性が高い」「懐疑的思考性が低い」であり、「リスクテイク志向」で「主張が強くない」人が異動している傾向がありました。

 

この結果をまとめると
・「達成意欲が高い」「懐疑的思考性が低い」タイプ
 →「異動」して「高評価」になりやすい
・「持続性が高い」「従順性が高い」「身体活動性が低い」タイプ
 →「異動」して「低評価」になりやすい(「非異動」が望ましい)
・「達成(活動)意欲が高い」「従順性が低い」「批判性が高い」タイプ
 →「非異動×低評価」の場合、「異動」を検討することで「高評価」になる可能性もある
と解釈することができるかと感じます。

 

上記のように
本人の特質によって、異動後の成果に傾向がある
可能性があるということがわかりました。

 

まとめ

今回、実企業において
異動して成果を出せるタイプと、異動しないほうが成果を出せるタイプがいる
ということがわかりました。

 

もちろん「新卒/中途」「勤務地変更の有無」「成果をなにで測るか」など前提条件が変われば結論は変わりますが、データによって「異動」を定量的に検討できる可能性が示されているかと感じます。

※実際の施策に生かす場合には、要素の”組み合わせ”を考慮する必要があり、機械学習(AI)を使うと効果的な分析が可能です。ご興味を持っていただけた方はこちらよりご連絡いただければ幸いです。

 

みなさまは、配属や異動にデータは活用されていますか?ぜひご意見いただけますと幸いです。

 

 

※執筆者:塚本鋭

 東京大学・大学院において、複雑ネットワークや大規模シミュレーションに関する研究に従事。人工知能学会研究会優秀賞・東京大学工学系研究科長賞 等を受賞。 大学院修了後、株式会社野村総合研究所コンサルタントとして入社し、ICT・メディア領域を担当。2013年1月より株式会社クラウドワークスに8番目の社員として参画し、2014年12月に上場を経験。データ分析・産官学連携を軸としながら、B2B事業立ち上げ、カスタマーサポート部門立ち上げ、子会社副社長等を歴任。2018年より現職。

「能力テスト」と「仕事の評価」は関係するのか?

今回は
・「能力テスト」(適性試験)と「(入社後の)仕事の評価」の関係性
について、分析してみます。

 

「能力テスト」と「仕事の評価」は関係ある?

 

適性試験における「能力テスト」の点数が高いのに、仕事では低評価の人が多くて困っています。

「能力テスト」と「仕事の評価」の関係性を分析したことはありますか?

いえ、「能力テスト」が高い方が、仕事もできると思っていました。

 

「入社後に活躍する人を採用する」ために、「適性試験」を導入されている企業も多いかもしれません。

一方、
本当に「適性試験」が「入社後に活躍する人」を予測できているか?
については、意外と分析されていない企業が多いと感じています。

 

今回の結論としては、
「能力テストの点数」と「仕事の評価」には関係ない
※ただし、著しく点数が低い場合には、低評価になりやすい
可能性がある、と言えます。

 

以下で、3社の実際の企業データを見てみます。(全て別の適性試験のデータです)

 

1.100人規模

まず100人規模の会社において、「能力テスト」の点数と「入社後の仕事の評価」の関係性をみてみます。
※「仕事の評価」は(高評価/普通評価/低評価)の3段階に区分しています。

f:id:trans-inc:20190306113314p:plain
※「全体」の棒グラフには「標準誤差」をエラーバーで表示(以下同様)

 

結果、
・「高評価者」は「能力テスト」の平均が高い
・「低評価者」は「能力テスト」の平均が低い
という結果になりました。

 

ただし、この会社は学力を採用判断に一切反映していませんでした。
以下のデータは、「能力テスト」が「偏差値50未満」の人における、「仕事の評価」の内訳を示したグラフです。

f:id:trans-inc:20190306113339p:plain
グラフより
・「能力テスト」が「偏差値50未満」の場合、「低評価」の割合が高い
ことがわかります。

 

そこで、全体のデータに対して「偏差値50以上」に絞ると、「能力テスト」の点数と「入社後の仕事の評価」の関係は以下のようになります。

f:id:trans-inc:20190306113410p:plain

結果、この会社では
「偏差値50以上」の場合、「能力テスト」と「仕事の評価」に関係性はない
という結論になりました。

 

2.新卒50人

同様に、先ほどとは別の企業において「新卒50人」における 「能力テスト」の点数と「仕事の評価」(入社後1年)を見てみます。

f:id:trans-inc:20190306113437p:plain
グラフより
・「高評価者」も「低評価者」も「能力テスト」は「全体平均」を下回る
ことがわかります。

これは、新卒に求められる仕事の内容にも影響を受けている可能性はありますが、いずれにしても、
「新卒」において「能力テストの点数」と「入社後の仕事評価」に正の関係性はない
ということがわかります。

 

3.管理職300人

最後に、また別の企業において、管理職層300人の「能力テスト」の点数と「入社後の仕事の評価」の関係をみてみます。

f:id:trans-inc:20190306113504p:plain
グラフより、
「管理職」においても、「能力テスト」と「仕事の評価」の関係性はない
ということがわかります。
※ただし、平均値は「仕事の評価」に関係なく高いため、「能力テスト」が一定以上でないとそもそも「管理職」になれていない可能性もあるかとは感じました。

 

まとめ

今回は、
「能力テストの点数」と「仕事の評価」には関係ない
※ただし、著しく点数が低い場合には、低評価になりやすい
可能性があることを、データから確認しました。

 

今回のデータを見ると
適性試験は使えない??」
という疑問をいただかれる方もいるかと思います。

一方、「適性試験」を適切に利用することで、「入社後の仕事の評価」を予測することができる事例もあるため、適性試験の選び方・使い方」が重要だと考えています。

※今回の分析は、詳細を公開しにくい事情もあるため、もしご興味を持っていただいた場合には、お手数ですが【こちらよりご連絡いただき、お話させていただければ幸いです。

 

みなさまは「能力テスト」をどのように活用されていますか?ぜひご意見いただけますと嬉しいです。

 

 

※執筆者:塚本鋭

 東京大学・大学院において、複雑ネットワークや大規模シミュレーションに関する研究に従事。人工知能学会研究会優秀賞・東京大学工学系研究科長賞 等を受賞。 大学院修了後、株式会社野村総合研究所コンサルタントとして入社し、ICT・メディア領域を担当。2013年1月より株式会社クラウドワークスに8番目の社員として参画し、2014年12月に上場を経験。データ分析・産官学連携を軸としながら、B2B事業立ち上げ、カスタマーサポート部門立ち上げ、子会社副社長等を歴任。2018年より現職。

AI×性格診断による未来予測結果一覧

本記事は、いろいろな企業(パターン)における
機械学習(AI)×性格診断による、評価・退職の未来予測結果
をまとめて整理します。
※関連記事は「性格診断の未来予測は再現性があるのか?(まとめ)」よりご覧ください。

 

 

「未来予測」の表の見方

※数字は一部丸めて表示しています。
※四捨五入の関係で合計値が合わないことがあります。

「入社後評価」の予測

 f:id:trans-inc:20190422151932j:plain

上記の表の場合、
機械学習による予測が高評価」で「実際も高評価」の割合が「全体の17%
と読み取ることができます。

また「正解率」は、「高評価」「普通評価」「低評価」の予測がそれぞれ実際の予測とあっている場合のため、今回だと「17%」+「26%」+「16%」=「59%が「正解率」となります。

 

「退職」の予測

 f:id:trans-inc:20190422152026j:plain

上記の表の場合、
機械学習が退職と予測」したのは「13人」、うち「実際に退職」したのは「8人
と読み取ることができます。

※この場合
・「退職率」(全体人数のうち実際に退職した割合)は「10%」(30人/300人)

・「再現率」(退職と予測し、実際に退職だった割合)は「62%」(8人/13人)
・「正解率」(退職・在職の予測があっている割合)は「91%」((8人+265人)/300人)
となります。

 

「入社後評価」の予測結果

※「総合評価」は主に、各期ごとの点数評価を踏まえて総合的に上長が判断した評価
※「点数評価」は主に、各期ごとの人事評価の点数

100人 × 総合評価 → 正解率59%

※使用データ:SPI適性試験)のみ

 f:id:trans-inc:20181122220147p:plain

※関連記事:性格診断だけで入社後の評価をどれだけ予測できるのか?

 

200人 × 総合評価 → 正解率58%

※使用データ:SPI適性試験)、職種

f:id:trans-inc:20181126205938p:plain

実際の総合評価に偏り(低評価が少ない)がある企業での予測結果です。
実際の「低評価」の人数が少ないため、共通した特徴が見つけ出せず、機械学習で「低評価」の予測精度が低くなっています。総合評価の場合でも、しっかりと誰が低評価者なのか、会社における認識をそろえられると、より予測精度が上がる可能性があると感じます。

300人 × 総合評価 × 管理職 → 正解率57%

※使用データ:NMAT適性試験)、職種

f:id:trans-inc:20181122220245p:plain

※関連記事:性格診断結果から「マネージャー」の評価を予測できるか?

 

2000人 × 点数評価 → 正解率51%

※使用データ:性格診断等級

f:id:trans-inc:20181126205838p:plain

※関連記事:AI×性格診断で「入社後評価」をどれだけ予測できるか?

 

「退職」の予測結果

※「再現率」=「実際に退職した人」÷「退職と予想した人」
※数字については、企業が特定できないよう、全体をキリの良い数字に丸めています。

300人 × 3年以内退職率 → 再現率62%(退職率の6.2倍) ※正解率91%

※使用データ:SPI適性試験)、職種

f:id:trans-inc:20181122220336p:plain

3年以内退職率が10%(全国平均は約30%)の企業のデータです。
機械学習で退職と予測した13人中8人(62%)が実際に退職しています。また退職者30人中8人(27%)の退職を今回のモデルで予測することができています。

2000人 × 3年以内退職率 → 再現率49%(退職率の4.0倍)※正解率88%

※使用データ:性格診断職種

f:id:trans-inc:20181122220356p:plain

 ※関連記事:入社前に「早期退職」をどのくらい予想できるか?

300人(営業) × 3年以内退職率 → 再現率73%(退職率の6.1倍)※正解率90%

f:id:trans-inc:20181127231025p:plain

 

100人(コンサルタント) × 3年以内退職率 → 再現率48%(退職率の1.8倍)※正解率72%

f:id:trans-inc:20181127231051p:plain

このモデルは「実際に退職した人」のうち「退職を予測できた人」が41%となっており、性格診断によって「退職者全体の約4割を予測できる」モデルになっている点が優れています。

 

 

 

入社前に「早期退職」をどのくらい予想できるか?

今回は実際の企業データを分析した結果から
機械学習(AI)を用いて、入社前で“早期退職”を予測することはできるか?」
という課題について考えてみます。

 ※関連記事は「適性検査の未来予測は再現性があるのか?(まとめ)」「退職(予測)に関するデータ分析結果(まとめ)」よりご覧ください。

 

入社前に「早期退職」は予測できるのか?

 

AIを用いると、退職(離職)も予測できるのでしょうか?

退職は要因が多いので難易度は高いですが、傾向はあると思います。

採用予定者の入社前に早期退職可能性を予測できますか?

それでは、適性検査×機械学習で退職を予測してみましょう。

 

人材獲得競争が激しい昨今、「採用」だけでなく「退職」の改善をすることが重要な打ち手と考えています。(費用面でも、「退職」は「採用費」「教育コスト」「マネジメントコスト」が大きく、悩まれている企業も多いです。)

 

「退職」については、いくつかの企業で予測をする試みが行われていますが、主に「エンゲージメント」や「勤怠」など「入社"後"」の議論が多いと感じています。

 

一方、そもそも「退職しやすい人」を「入社"前"」に予測して、早期退職者を防ぐことはできないのでしょうか?

 

今回は機械学習(AI)」×「適性検査」を用いて、入社前に退職者をどの程度予測できるのかを分析してみます。

 

 

「適性検査」の結果から「退職」を予測できるのか?

 

今回は入社前の「適性検査結果」×「機械学習(AI)」を使って、「退職」を予測してみます。

 

機械学習の分析はアルゴリズムが頑張ってくれるので、早速結果です。
※今回は「退職」の定義は「入社から3年以内に退職」したか否かをデータとして用います。

f:id:trans-inc:20190221232204p:plain

 

上記より
機械学習(AI)が「退職と予測」した55人(27人+28人)のうち49%(27人)が実際に退職
という結果でした

 

今回の対象企業では、3年以内退職率が12%(245人/2000人)のため、
適性検査×機械学習によって 4倍(49%/12%)の確率で退職を予測できる
ということがわかりました。

 

入社前にわかる「退職」しやすい人の特徴とは?

次に、具体的に機械学習(AI)が予測した、退職しやすい人の特徴を見てみます。今回は「職種」によって、退職しやすい傾向が分かれたため、職種ごとに記載します。

 

■「営業」の場合(平均退職率12%)
・「対人問題解決」が著しく低い退職率35%(20人中7人)
・「コミュニケーション能力」が著しく高い退職率23%(56人中13人)
 ※さらに「専門家思考」が低いと退職率73%(11人中8人)

f:id:trans-inc:20190226113240p:plain

 

■「コンサルタント」の場合(平均退職率27%)
・「対人問題解決」が高く、「変化受容」が低い退職率60%(25人中15人)
・「行動力」が高いと退職率75%(8人中6人)

f:id:trans-inc:20190226113306p:plain

 

対象人数が少ない条件もあるため、実際の運用には少し工夫が必要ですが、
「特定の特徴を持つ人」は「職種」によっては、退職率が高まる可能性がある
ということがわかります。

 

特に、興味深い内容として
・「営業」の場合、「対人問題解決」が低すぎると退職しやすい
・「コンサルタント」の場合、「対人問題解決」が高いと退職しやすい
という傾向が出ており、今回の企業の場合には、配置を工夫することによって、退職率を低下させることができる可能性が示唆されています。

 

 

まとめ

 

今回、入社前に退職を予測できるか?という課題に対し、
機械学習×適性検査である程度の早期退職を予測できる
・職種によって、退職しやすい個人特徴がある
可能性があることがわかりました。

 

もし自社と個人の特徴が合わず、早期退職傾向がある場合には、入社面接で確認をしっかりしたり、入社後のフォローを手厚くすることで、早期退職者を防ぐ効果があると考えています。

 

また退職予測については、
今回の「入社"前"の退職予測」(退職者全体のうち1~3割を予測可能)
 =そもそもの特質・カルチャー不一致
前回「入社"後"の退職予測」(退職者全体のうち2~5割を予測可能)
 =評価・給与の問題
などを組み合わせることで、より精度が高められることがわかっています。

 

 

まだまだデータや成功事例が少ない領域ではありますが、もしご一緒にお取り組みをさせていただける企業様がいらっしゃいましたら、ぜひこちらよりご連絡をいただけますと幸いです。

 

 

※執筆者:塚本鋭

 東京大学・大学院において、複雑ネットワークや大規模シミュレーションに関する研究に従事。人工知能学会研究会優秀賞・東京大学工学系研究科長賞 等を受賞。 大学院修了後、株式会社野村総合研究所コンサルタントとして入社し、ICT・メディア領域を担当。2013年1月より株式会社クラウドワークスに8番目の社員として参画し、2014年12月に上場を経験。データ分析・産官学連携を軸としながら、B2B事業立ち上げ、カスタマーサポート部門立ち上げ、子会社副社長等を歴任。2018年より現職。

未来予測における予測精度のいろいろな算出方法

今回は、
退職予測「正解率80%」はどれだけ意味があるのか?
の記事の補足として、「未来予測における予測精度の算出方法」 についてまとめます。

 

未来予測(機械学習)の結果を理解するうえで、必要になる概念をまとめてみます。
※もし間違えた理解をしてしまっている場合には、ご指摘いただけますと幸いです。

 

「混同行列」(Confusion matrix)

未来予測をする場合には、

  1. 「学習用データ」を用いて、「予測モデル」を作成する
  2. 「予測モデル」を用いて、「検証用データ」の未来予測をする
  3. 「検証用データ」の予測した結果と、実際の結果を比較して、「予測モデル」の精度を確認する

という手順で行われます。

この手順の最後の「予測した結果」と「実際の結果」の関係性を表にしたものが「混同行列」といわれる表です。

f:id:trans-inc:20181010155740p:plain

 

上記の表は「A」と「B」の2つのカテゴリへの分類ですが、カテゴリが「3つ以上」でも混同行列を作ることができます。(後述します。)

 

「正解率」(accuracy)

「正解率」と聞くと
「予測があっている数」÷「全体の数」
でしょ?

と思われると思います。

まさにその通りなのですが、予測でカテゴリを分類する場合、先ほどの例だと「A」と「B」のカテゴリがあるため、カテゴリをふまえた予測全体での「正解率」を計算する必要があります。

 

説明のため、先ほどの混同行列を少し書き換えます。

f:id:trans-inc:20181010160338p:plain

それぞれの象限を「TP」「FP」「FN」「TN」と呼ぶことにします。

「正解率」は予測があっている割合という意味の指標で、
正解率」 = (TP + TN) / 全体(=TP+FP+FN+TN)
と表されます。

 

プレスリリースなどでよく「未来予測の正解率80%」といっている指標は、この指標の場合が多いです。

 

予測率80%」といわれると、直感的に「TP」だけをイメージしてしまうため、注意が必要になります。

 

「再現率(recall)」「適合率(precision)」

次に、以下のようなケースを考えます。
(イメージしやすいように退職に置き換えました)

f:id:trans-inc:20181010162305p:plain

前述の通り、
「正解率」 = (TP + TN) / 全体(=TP+FP+FN+TN)
を計算すると
「正解率」 = (1人 + 100人) / 121人 ≒ 83%
となります。

 

「正解率83%」と聞くと、一瞬すごそうに聞こえますが、よくよく表を見てみると「11人(TP+FN)」の退職者のうち、適切に予測ができたのは「1人(TP)」だけです。

このように「正解率」だけでは、予測精度の評価を見誤る可能性があるため、「正解率」のほかに、「再現率」と「適合率」という指標を用います。

 

「再現率」 = TP /(TP + FN)
 ※実際に「退職」した人のうち、どれだけ「退職」と予測できたか

「適合率」 = TP /(TP + FP)
 ※「退職」と予測した人のうち、どれだけ実際に「退職」したか

 

先ほどの例で「再現率」と適合率を計算すると
「再現率」 = 1人 /(1人+11人) = 11%
「適合率」 = 1人 /(1人+11人) = 11%
となり、「正解率」は83%と高いものの、予測精度として高くないと判断することができます。

 

これまでに出てきた「混同行列」「正解率」「再現率」「適合率」をまとめると以下の図になります。

 

f:id:trans-inc:20181010164440p:plain

※個人的には、「再現率」と「適合率」が、どちらの計算式を指すのかをよく間違えます。。

 

F値」(F-measure)

ここまでくると
「正解率」「再現率」「適合率」のうち、結局どれを見ればよいの?
という疑問が生まれてくるかもしれません。

 

特に「再現率」と「適合率」は、多くの場合トレードオフ(一方を高めると、もう一方が低くなる)の関係にあるため、この2つの指標を統合した指標=「F値」が考えられています。

F値」 = 2 * 「再現率」* 「適合率」/(「再現率」+「適合率」)

※「再現率」と「適合率」の「調和平均」と呼ばれます。

 

そのため、予測モデルの結果を見る場合には、
F値はどの程度か?」
を確認すると、そのモデルの予測精度の高さを知ることができます。

 

「Kappa係数」(kappa coefficient)

F値」は予測精度を考慮するうえで1つのよい指標と考えていますが、1つ問題があります。

それは「3つ以上のカテゴリ」に分類する場合です。

f:id:trans-inc:20181010171549p:plain

※表中の「AA」「XA」などの文字表記は、一般的ではありませんのでご注意ください。

 

分類するカテゴリが「3つ以上」の場合、
・「A」「B」「C」それぞれに関する「再現率」「適合率」は出せる
・一方、予測モデル全体としての評価が難しい
という問題があります。

「マクロ平均」「ミクロ平均」などの考え方もあるのですが、モデル全体のばらつきを考慮できる指標として「Kappa係数」を紹介します。

 

「Kappa係数」は、
「1つの事象を2人が観察し分類した際に、結果がどの程度一致しているか」
を表す指標です。

これを「2人の観察結果」ではなく「予測」と「実際」に置き換えて考えることで、予測の一致度を測る指標として用いることができる可能性があります。

 

ちなみに、Kappa係数の計算式は以下の通りです。

「正解率」= (AA + BB + CC)/ ALL 
「偶発正解率」=(AX*XA + BX*XB +CX*XC)/ ALL 
「Kappa係数」 =  (「正解率」- 「偶発正解率」)/ (1 - 「ランダム正解率」)

※「偶発正解率」も造語です。すみません。
※「Kappa係数」は「ランダムに予測したときの正解率(=偶発正解率)」と比べて、「正解率」がどれほど正確かを表す計算式と理解しています。

 

まとめ

今回は、
未来予測における予測精度の算出方法(主に指標)
についてまとめてみました。

 

今回のシリーズでは、この知識を使って、
退職予測「80%」はどれだけ意味があるのか?
を深堀していきますので、ぜひこちらの記事もご覧ください。

 

 

※執筆者:塚本鋭

 東京大学・大学院において、複雑ネットワークや大規模シミュレーションに関する研究に従事。人工知能学会研究会優秀賞・東京大学工学系研究科長賞 等を受賞。 大学院修了後、株式会社野村総合研究所コンサルタントとして入社し、ICT・メディア領域を担当。2013年1月より株式会社クラウドワークスに8番目の社員として参画し、2014年12月に上場を経験。データ分析・産官学連携を軸としながら、B2B事業立ち上げ、カスタマーサポート部門立ち上げ、子会社副社長等を歴任。2018年より現職。