石田基広のレビュー一覧

とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた―

標本平均の平均値、標本平均の標準偏差。
中心極限定理

帰無仮説と対立仮説を建てる。帰無仮説を前提とした場合のｔ値から確率を求める。０．０５未満であれば帰無仮説を棄却する。対立仮説が採択される。

ダミー変数（０か１か）。
自由度＝データ数からパラメータを引いた数。

決定木。

対数は、右肩の乗数を求めること。

とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた―

弁当の売上分析、売上予測をテーマに書かれた統計本。
銀座のデータサイエンティストというブログでも紹介されています。
物語ベースでの説明になっているため、初心者でも分かりやすく書かれていた。
仮説検定についても分かりやすく書いていたので、
少し理解が深まったように感じた。

【参考になったこと】
・データ分析でみるべきは、平均からのバラツキ。

・帰無仮説とは「係数を0と考えること」で、
　係数が0でないことを対立仮説と呼ぶ。
　帰無仮説の基で統計量（t値）が計算される確率を求め、
　その確率が0.05より小さい場合は、帰無仮説を棄却し、
　対立仮説を採択する。
　つまり、今回の係数はまずまず信頼出来るという意味。

・回帰分析のときは、予測値と実測値のあてはめの良し悪しを
　見る必要があり、このときに使うのが「決定係数」
　1に近ければあてはめが良い。

・重回帰分析では、説明変数が多くなるとあてはめそのものは
　無条件に改善されてしまうリスクがある。
　これをチェックするために、自由度調整済み決定係数を使う。

・自由度とはデータ数からパラメータ数を引いた値。
　これだけのデータが揃えば残りが特定されてしまうという意味。

・説明変数間は相関が無いデータを選ぶべき。
　例えば、天気と気温は選んではいけない。
　多重共線性という問題が起きてしまう。

・カイ二乗検定では、クロス集計表の行列に相関がないかを
　チェックする。ロジスティック回帰で行う検定。

・箱ひげ図の上下線が四分位範囲の1.5倍と定義したのは、
　正規分布の特徴からである。これで99%近くを網羅するので、
　それより外れたデータは外れ値としての検証が必要。

・母集団全体でバラツキを調査する場合は、
　データ量で割ってもデータ量-1で割っても変わらないが、
　一般的に標本集団でのバラツキを調査することが多く、
　標本集団のバラツキは母集団よりも小さくなる傾向にある。
　それを補正するために、データ量-1で割る。
　これを不偏分散という。

・カイ自乗検定において、クロス集計表に5より小さいデータが含まれるとき、
　検定の結果が不正確となることがある。
　この場合は、フィッシャーの正確確率等を検討すること。

とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた―

ラノベ小説仕立ての統計入門書。

内容は「平均」「分散」「相関」「重回帰分析」「カイ二乗検定」など。

表紙に反し、”統計入門書”として一通り詳しく説明されており、その解説もかなりわかりやすかったように思います。

巻末の「あとがき」で筆者が〈小説は素人〉と告白されています。たしかに物語としてはテンプレ的ですが、純粋に統計入門書として優秀だと思います。

小説の端々に「R（統計ソフト）」が登場しますが、それについての解説はほぼ皆無です。

とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた―

統計の基本がわかりやすいです。
Ｒも出てきて面白い。
でも、残念なのは、ここにわけのわからない恋愛話を
交えてしまったことでしょうか。

統計に興味がある初心者の方は読んだ方が良い一冊です。

それはあくまで偶然です 運と迷信の統計学

人は何かが起こると、魔法や運を信じてそこにストーリーを見い出したくなるらしい。しかし、すべてが起こるのは「たまたま」らしい。よくも悪くも。
数学的な話が結構出てきて難しいところもあるが、筆者の人柄もあり楽しく読めた。

とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた―

4？5？章から後は急に説明が端折られた感じで、
1番知りたいところがわかりにくかった。
また、あとがきに書いてあることは、各章の後ろが良かった気がします。

とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた―

統計学の超入門として会社の本棚に入っていたので手に取りました。

内容としては、弁当屋の売上に焦点を当てて統計学を用いてどのように分析をするのかを解説しながら展開をしていきました。

ただ、その形式で進めているからか、小説部分の比重が重くなってしまっているようでした。

統計学について概要を掴むよりこんなシーンで利用想定ができるということを考えたり想像できるのに有効だと思いました。

それはあくまで偶然です 運と迷信の統計学

タイトルが本書のすべてを表している。
宝くじなどのギャンブルや、傍から見ると運命とか奇跡としか思えないような出来事について、それらの事象は果たして「偶然」なのか、はたまた何かしらの作為（神の手を含めたもの）が介在した「必然」なのかを、確率や統計学の観点から判定し、結論からいうとほとんどの事象は「偶然」として説明できる、というのが本書の大まかな内容である。
結論が最初から分かっているので、新鮮な驚きを得ることはあまり無く、人間がなぜ「偶然」を否定し「必然」を欲するのかの説明も44ページ目で早くも述べられている。一部の判定で使用される「統計的に有意か否か」および「P値」についても12章で軽く説明されているくらい。なので知識を得ることを目的にして本書を読むと、あれれと肩透かしを食らうかもしれない。
では本書の読みどころはというと、400ページにわたって挙げられている様々な事象を、ユーモアと皮肉たっぷりに著者が解説するさまを味わう点にあると思う。冗長と言ってしまえばそれまでなんだけど、よくもまあこれだけのネタを手を変え品を変え、うまいこと料理したもんだなあと個人的には感心した。

新米探偵、データ分析に挑む

後半のテキストマイニング以降の話やRstudioのプログラミング内容はほとんど読み飛ばしながらだったが、個人的には統計学の勉強のは入りとしては最高の一冊だった。
これは、自分が「統計学がわかる」を一通り読んだことがあったり、大学の授業でR（統計ソフト）を使ったことがあったので、そこまで忌避感なく読めていたことも影響していると思う。
専門的な言葉を説明なしに使ったり、統計の内容やRstudioの使い方に関する説明が少なすぎるため、統計を全く知らなかったり、プログラミングを全くしたことのない場合は訳がわからないまま読む部分が多くなりそう。
ただし、計算方法や難しい説明がないおかげでストーリーを楽しむことができ、統計の使い方がすんなり頭に入ってきた部分もあるので、ミステリーなどが好きなタイプが統計学を勉強するきっかけ作りとしては一番だと思う。

とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた―

表紙は・・・ですが、意外と内容はきちんとしています

昔、統計を少し勉強している方に有意義だと思います（復習という意味で、、、）
統計初心者のかたは、少しハードルがあるかもしれません

とある弁当屋の統計技師(データサイエンティスト) 2―因子分析大作戦―

前作ではです・ます調だったのが，今回はそうでなくなり，「小説」部分がうんと長くなりました。統計学としての情報量は期待しない方がいいです。

因子分析，主成分分析，t検定，分散分析

*****
現実のデータ分析はあくまで仮説の妥当性を判断する補助手段でしかないんです。データ分析の結果が妥当かどうか，あるいは使えるかどうかは，また別の次元での判断が必要になるわけですから。(p.62)

因子分析の場合，想定した因子でテスト結果全体が説明できるかどうかは分かりません。なので誤差を想定します。一方，主成分分析は，そもそもテスト結果全体を圧縮しようという発想です。(p.159)

とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた―

やっぱりストーリーが余計に思えますが，こういうのが分かりやすいと思う人もいるんでしょう。

中央値、四分位偏差、箱ひげ図、平均値、分散、標準偏差、t検定、標準化、F検定、z検定、回帰分析、重回帰分析、ロジスティック回帰分析、決定木、カイ自乗検定

*****
　重回帰分析では，説明変数を増やすと，実際に役立つ説明変数であろうがなかろうが，あてはめそのものは無条件に改善してしまうんです。
　自由度調整済み決定係数というのは，説明変数が追加されることで無条件にあてはめが改善されてしまうことを差し引いて調整した値です。(pp.142-143)

とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた―

普通とばらつき　データの特徴を掴もう
　平均、中央値、箱ひげ図、四分範囲
平均と分散
　正規分布　平均＋ー1.96×標準偏差／sqrt(N)
　二項分布
相関と回帰　気温から売上を予測しよう
　相関、偏差、共分散、t検定、p値
重回帰分析　気温と曜日から売上を予測しよう
　調整済み決定係数、F検定
ロジスティック回帰分析　買うか買わないか予測しよう
　ロジット、対数オッズ
決定木　特徴を調べる
χ二乗検定

とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた―

統計の授業を取っていなかったので、なんとなくだった知識の基礎を確認しておきたかったのと、あとはちょっと某界隈で噂になっていたので購入してみた。

p値についてのイメージや、分析のアプローチ、その妥当性の確認、などを説明していてわかりやすく感じた。

ただ、専門的な統計の入門書というわけではないので、これともう一冊をやらないと実践で使えるという感じではないかもしれない。

とりあえずストーリ仕立てでとても読みやすかった点はポイントが高い。
何のポイントかは自分でもよくわからないけれど。

とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた―

最近良く巷で聞く「データサイエンティスト」って、実は大半が「統計技師」のことじゃないかと思って、ちょっと買ってみた。

とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた―

初心者向けというにはちょっと難しいし、恋愛モノには全然なっていないし、むずかしいところ。でも、真面目に統計を勉強する気持ちになれば、初心者レベルとしては、実例を交えてよく書かれていると思う。