【その分析、もう失敗しているかも……　失敗を回避し、成功に近づくためのガイド】 本書は、第一線で活躍するデータサイエンティストたちが経験した、データ分析プロジェクトの「失敗」をもとに再構成された25の事例が収録されている。これらの臨場感あふれる事例から、データの活用に関わる人たちが、失敗を避けるために何をしてはならないのか、について学びとることができる。プロジェクトの失敗の予兆となる致命的な要因を察知し、失敗に至る「毒薬」を飲まないように注意するための知見が本書には随所に含まれている。 データの活用に関わる分析者、そして、分析を依頼する立場となる経営者や企画部、マーケティング部に所属する方々に送る、失敗から学び、成功への道筋を描くための必読書――失敗は成功の母である！

データサイエンスの現場において，その業務は「前処理」と呼ばれるデータの整形に多くの時間を費やすと言われています。「前処理」を効率よくこなすことで，予測モデルの構築やデータモデリングといった本来のデータサイエンス業務に時間を割くことができるわけです。本書はデータサイエンスに取り組む上で欠かせない「前処理スキル」の効率的な処理方法を網羅的に習得できる構成となっています。ほとんどの問題についてR，Python，SQLを用いた実装方法を紹介しますので，複数のプロジェクトに関わるようなデータサイエンスの現場で重宝するでしょう。

ビジネスで利用されるデータの多くは，その施策の意思決定を行う人物や組織の目的にそった活動の延長上で作られています。具体的には，DM送付などの広告施策であれば，担当者はユーザの反応率を上げるために，反応しやすいであろうユーザに対してのみDMを発送します。ここで発生したデータでDMの効果を計る場合，単純にDMを受け取っているか否かで結果を比較することは，DMの効果以外にも意図的にリストされたユーザの興味や関心を含んでしまうことになります。 データが生まれるプロセスに人の意思が関わる場合，単純な集計では判断ミスとなる可能性があります。わずかな計算の狂いでも後々のビジネスにおいて大きな影響を及ぼすことになるため，バイアスのない状態で効果検証できることが望まれるのです。 本書では「単純に比較すると間違った結論に導くデータ」から，より正しい結果を導くための分析手法と考え方を提供します。計量経済学における効果とは何か？ を提示し，RCT（ランダム化比較試験）がいかに理想的な方法かを説明し，RCTができない場合でも因果推論を用いてRCTの再現が可能だということを説明していきます。

予測に基づいた広告配信や商品推薦など，ビジネス施策の個別化や高性能化のために機械学習を利用することが一般的になってきています。その一方で，多くの機械学習エンジニアやデータサイエンティストが，手元のデータに対して良い精度を発揮する予測モデルを得たにもかかわらず，実際のビジネス現場では望ましい結果を得られないという厄介で不可解な現象に直面しています。実はこの問題は，機械学習の実践において本来必要なはずのステップを無視してしまうことに起因すると考えられます。機械学習を用いてビジネス施策をデザインする際に本来踏むべき手順を無視して予測精度の改善だけを追い求めると，「解くべき問題の誤設定」や「バイアス」といった落とし穴に気づかぬうちにハマってしまうのです。 この問題を解決するためには，機械学習のビジネス応用において必要となる前提条件を着実にクリアしなくてはなりません。しかし多くの現場では，「学習」や「予測精度」などに関する手法やテクニックのみに注目してしまう傾向があり，「機械学習にどのような問題を解かせるべきなのか」「実環境と観測データの間の乖離（バイアス）の問題にどのように対処すべきか」といった効果的なビジネス施策をデザインするために重要な観点が軽視されがちです。機械学習をビジネス施策に活かすための前提が整えられていないにもかかわらず，発展知識を身に付けたり論文の内容をそのまま実装したところで，望ましい結果を継続的に得ることは難しいのです。 本書では，ビジネス施策を自らの手で導くために必要な汎用的な考え方を身につけることを目指します。そのため本書ではまず，機械学習をビジネス現場で活用する際に本来踏まねばならないステップを明文化した汎用フレームワークを導入します。そしてその汎用フレームワークを活用しながら，効果的な施策を自らの手で導出する「施策デザイン」の流れを繰り返し体験します。これまで軽視されてきた「機械学習の威力を担保するために必要な前提のステップ」をフレームワークとして明文化し，データから施策を導くプロセスを自らデザインするという斬新なコンセプトで，ビジネスにおける変幻自在/臨機応変な機械学習の応用を可能にすることが，本書の最終目標です。

※この商品はタブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字だけを拡大することや、文字列のハイライト、検索、辞書の参照、引用などの機能が使用できません。 因果推論は経済学や医学で発展し、現在ではIT企業のデータドリブンな意思決定や機械学習との融合により注目を集めています。しかし、既存の関連書籍は「A/Bテストの解説書」か「数式中心の難解な学術書」に二極化しており、実務で強力なツールとなる「グラフィカルモデル」を解説したものがありません。 　本書は、グラフィカルモデルを中心に据えることで因果推論を直感的に理解し、A/Bテストの先の実践（観察データからの因果推論）へとつなげるための橋渡しとなる一冊です。 ■本書の見どころ ・視覚的な理解を助けるグラフィカルモデル 数式による難解な説明を極力減らし、グラフという視覚的な表現を用いて因果関係を整理します。「グラフ理論による操作が数式変形と等価である」という事実を活用し、直感的かつ本質的な理解をサポートします。 ・Pythonライブラリ『DoWhy』を用いた実践 理論の解説にとどまらず、Pythonと因果推論パッケージ『DoWhy』を用いた実装コードを提供します。読者が自らの手で動かしながら、実務レベルの分析手法を習得できる構成です。 ■こんな方におすすめ 因果推論について理解を深めたいデータサイエンティスト・データアナリスト・エンジニア、レベルアップしたいマーケティング分析の実務家 ■目次 第1章：因果関係を取り扱う技術の登場 ・1-1 因果関係の直感的な理解 ・1-2 古典的統計学における因果関係 ・1-3 喫煙と肺がんの因果関係をめぐる論争 ・1-4 ポテンシャルアウトカムモデルの登場 ・1-5 グラフィカルモデルの登場 ・1-6 ベイジアンネットワークと因果グラフ ・1-7 ポテンシャルアウトカムモデルと因果グラフの立場の違い 第2章：因果効果と交換可能性 ・2-1 反事実とポテンシャルアウトカム ・2-2 平均因果効果の推定 ・2-3 ランダム化比較試験のデータが交換可能性を満たさない場合 ・2-4 観測データにおける平均因果効果 ・2-5 推定対象と因果推論の流れ 第3章：因果グラフで因果関係を記述する ・3-1 因果関係を記述する方法 ・3-2 因果グラフの基本構造における従属と条件付き独立 ・3-3 効果検証が失敗するケース ・3-4 因果グラフをプログラムで記述する方法 第4章：識別とバイアス ・4-1 バイアス ・4-2 交絡バイアス ・4-3 選択バイアス ・4-4 測定バイアス 第5章：因果効果の推定 ・5-1 識別から推定へ ・5-2 因果グラフと確率 ・5-3 構造的因果モデルによる因果効果の定義 ・5-4 観測条件付き平均では平均因果効果を表現できない ・5-5 介入 ・5-6 平均因果効果と調整化公式 ・5-7 点推定値と信頼区間 ・5-8 層別解析 ・5-9 線形回帰モデル ・5-10 一般化線形回帰モデル ・5-11 傾向スコア分析 ・5-12 傾向スコアマッチング ・5-13 逆確率重み付け（IPTW）による調整 ・5-14 二重ロバスト推定量 ・5-15 バックドア基準による因果効果推定のベストプラクティス ・5-16 フロントドア基準 ・5-17 操作変数法 第6章：因果効果の反証テストと感度分析 ・6-1 データの識別条件 ・6-2 オーバーラップの反証テスト ・6-3 因果グラフとデータの整合性確認 ・6-4 負の対照（negative control） ・6-5 データ安定性の検証 ・6-6 感度分析 ■著者プロフィール ●【著者】島田哲朗：GO株式会社にて、タクシーアプリ『GO』の事業意思決定を支えるデータ分析を牽引する。ユーザー分析やデジタルマーケティングを軸とした「組織の意思決定の進化」をミッションに掲げ、機械学習、ベイズ統計学、統計的因果推論のビジネス応用に関心を持つ。 ●【著者】佐竹功次：2022年よりGO株式会社に入社し、現在はタクシーアプリ『GO』のユーザー分析や施策効果の検証を担当する。ビジネスの意思決定支援を軸に、機械学習や統計的因果推論のビジネス応用に関心を持つ。 ●【監修】株式会社ホクソエム：2016年設立。修士号・博士号を持つ統計家・データサイエンティストによる専門家集団。ベイズ統計モデリング、因果推論、臨床試験デザイン、機械学習を軸に、マーケティング・製造業・医療などの領域で受託研究・分析顧問・執筆活動を展開している。

「評価指標でXXXという最高のスコアが出た！」と喜び勇んで，機械学習モデルが出力してくる予測結果をもとにビジネスを運用したとします。 ところが，ビジネス上のKPIと相関が高い評価指標を選んでいなかったために，KPIの推移を見てみると大した変化がありませんでした。 あるいは「毎日夜遅くまで残業をして，特徴量生成とクロスバリデーションによって評価指標を改善しました！」というデータサイエンティストがいたとします。ところが，KPIの改善のためには そこまで高い評価指標の値を達成する必要ありませんでした。このようなケースでは，データサイエンティストが費やした工数がすべて水の泡となってしまいます。----------（はじめにより）---------- このような状況が起きてしまう背景にはさまざまな原因が考えられますが，あえて一言で言うと「データサイエンスの問題が解くべきビジネスの問題と乖離していた」ためです。 機械学習モデルの”良し悪し”を決めるときには，評価指標（Evaluation Metrics）を必要とします。本質的に評価指標の設計方法は自由であり，ビジネス上の価値を考慮して自ら作成することも可能です。RMSEやAUCといったスタンダードなものから，ドメインに特化した数値まで，あらゆる指標が評価指標になりえます。では評価指標はどのように決めるのが良いのでしょうか。また，どのように決めれば冒頭のような悲しい状況を生まずに済むのでしょうか。 本書はこれらの疑問に答えるため，機械学習の良し悪しを決める評価指標を軸に，解くべきビジネスの問題をどうやってデータサイエンスの問題に落とし込むのか，その原理を解説していきます。この原理が普遍的なものであれば，ビジネスがどんなものであっても応用できると考えることができます。 回帰，分類で使用するスタンダードな評価指標についても，基本から丁寧に解説します。本書を読むことで，どのようなケースでどの評価指標を選ぶべきかがわかり，評価指標の読み間違いを避けることができます。