竹村彰通のレビュー一覧

データサイエンス入門
著：竹村　彰通
岩波新書　新赤版　1713

アメリカの主な大学には統計学科が存在する。中国でも最近は同様の状況である
これに対して、日本の大学には統計学部や統計学科がなかった。
日本におけるデータサイエンティスト育成には、初等中等教育における統計教育やデータサイエンス教育の充...続きを読む実からはじまって企業内人材の再教育まで、あらゆるレベルの教育が必要である。

ビッグデータと統計について、広く紹介する書と理解しました

気になったのは、以下です。

■ビッグデータの時代

・データサイエンスの３要素とは、①データ処理、②データ分析、③価値創造　である
・科学的研究のパラダイム
　第１）自然を経験的に理解する研究方法　天動説
　第２）理論と実験との組み合わせによる研究方法　ニュートン力学
　第３）コンピュータの発展によるシミュレーションよる研究方法
　第４）ビッグデータから新たな、科学的発見を見出す研究方法　データ中心科学、データ駆動型化学

・２つの通信技術　高速な５Ｇと、低速なＬＰＷＡ（ＩｏＴ向け）

・データサイエンティストの台頭の背景
　　データ処理とデータ分析手法の進展
　　機械学習や人工知能の進展
　　⇒質の良いデータが大量に得られるいることが条件

・ビッグデータを支えるのは、大数の法則

・フィッシャー　統計的モデル　正規分布などの確率分布をもちいて、データのばらつきや誤差を定型化する手法　データにあうパラメタを選ぶことをパラメタの推定とよび、機械学習では、モデルの学習という

・フィッシャー　実験計画法　

・日本では工業製品の品質向上に、統計的管理や、実験計画法がつかわれた

■データとは何か

・時間をおって計測されるデータ　時系列データ
・１時点でさまざまな個体に関して得られたデータ　クロスセクションデータ
・表計算ソフトのシートに入力、整理できるデータ　構造化データ
・テキスト、音声、画像、動画　シートに入力できないデータ　非構造化データ

・非構造化データは、生のままでは処理できないので、元のデータから特徴のある数値を求めるか、決めなければならない

・データの中で不要と考えられ部分　⇒　ノイズ
・データの中に含まれる傾向やパターン　⇒　シグナル

・観測しにくいデータを観測するには、コストがかかるが、そのコストに見合うだけの価値があるかが問題

・ウェブページのＡ／Ｂテスト　デザインＡ、デザインＢの２つを用意して、デザインをランダムに表示することで、どちらがクリック率がいいかなどのテストをするもの　インターネットマーケッティングの代表的手法

・データのばらつき　⇒　ヒストグラムで表したもの分布、その曲線を密度関数、確率密度関数という

・２変数間の傾向　⇒　相関　⇒　直線であらわしたもの　回帰直線　⇒　回帰

・予測を目的として統計的モデルをたてること　予測的モデリング　という

・人を層別に分類することを、セグメンテーションという
・さらに個人ベースまで細分化すること　パーソナライゼーションという

・不確実性を扱う理論　確率論
　⇒起こりうる結果が最初から網羅されている
　⇒それぞれの結果の確率が与えられている　の２条件がなり立てば有効

・大量のデータ解析から何らかの有用な知見が得られられないかを探索することを、データマイニングという

■データに語らせる

・ＢＩツールで、データを可視化したら、地図データと組み合わせて表示する

・データを分析する前に、整理する作業を、データクレジングという
　データの表記の揺れ　2021/1/1、2021年１月１日　などを書式統一すること
　異常値、外れ値の排除
　欠測値　データがはいっていない
　項目の定義の変更　など

・データの分析、モデリング
　回帰分析
　判別分析
　クラスタ分析

・機械学習　目的変数がある場合を、教師あり学習といい、ない場合を、教師なし学習という

・分析ツール　エクセルをはじめ、Ｒ，ＳＡＳ，Ｐｙｔｈｏｎ
・ビッグデータの処理　Ｈａｄｏｏｐ　分散処理フレームワーク
・非構造化ＤＢ　ＮｏＳＱＬ

・深層学習　ＤＮＮ　深層学習用のマイクロプロセッサ　ＮＶＩＤＩＡが出しているＧＰＵ
　現在の深層機械学習をつかった、ＡＩの中心である

目次

はじめに

Ⅰ　ビッグデータの時代
　１　データサイエンスの登場
　２　台頭するデータサイエンティスト
　３　統計学の流れ
　４　コンピュータとインターネットの発展

Ⅱ　データとは何か
　１　定義と種類
　２　コストと価値
　３　ばらつきと分布
　４　相関と因果、回帰
　５　データに基づく意思決定と不確実性
　６　取り扱い上の倫理

Ⅲ　データに語らせる──発見の科学へ向けたスキル
　１　データサイエンスのスキルの学び方
　２　データ処理と可視化
　３　データの分析とモデリング
　４　ビッグデータの処理と分析
　５　人工知能とデータサイエンス

付録１　統計学の歴史の概要
付録２　コンピュータの歴史の概要
おわりに
あとがき
参考文献

ISBN：9784004317135
出版社：岩波書店
判型：新書
ページ数：192ページ
定価：880円（本体）
発売日：2018年04月20日第1刷

研究主任など，データを分析しないといけないポジションの人は読んでみると良いかなと思います。
多くの学校の校内研究に欠けている視点が見えてきます。

データサイエンスの専門的な内容というより，
「データを分析するってこういうこと」
ということがわかる本です。

難解だという意見もあるようですが，僕には...続きを読む難しく感じませんでした。

データサイエンスの入門書。「入門」と言っても、データサイエンスを学ぶ人が最初に読むべき内容というより、データサイエンスをよく知らない人間がどのような領域を対象にどのような役割を果たしどのような手法が活用されているか見通すための概要書というべきか。著者は滋賀大学のデータサイエンス学部の立ち上げに学部長...続きを読むとして寄与した統計学者。図表やまとめがあると分かりやすいと思うのだが、岩波新書ならではの趣きもあってそれはそれで良いのかも。アカデミアの人ならではの広い視野と知見が随所に散りばめられ、今ちょうど話題のGDPRを含めてデータの処理や分析にまつわる諸々の問題点を広く触れています。特にEBMや各種バイアスなどの実例の話はとても参考になりました。

数理統計学の大御所が書いたデータサイエンスのガイダンス書。著者のバックグラウンドを考えると統計学的な観点からの議論がメインなのだろうと思っていたら、そんなことはなく、現代のデータサイエンスについてとても広範かつバランスよく書かれていて、読んで勉強になった。また、データサイエンスに馴染みのない人にでも...続きを読むとっつきやすい内容になっていて、とても価値ある一冊だと思った。

ビッグデータからAIの手法等の話から入り、統計学を用いたデータの扱いについて立ち戻って行き、そしてまた現在の新しい問題(セキュリティ、AIシステム間のネットワーク、等々)に触れていく。数式の展開よりはストーリーや、データサイエンス概観に重きを置いているので、本書でこの膨大な分野を俯瞰してから、各専門...続きを読む領域に入っていくのが良さそう。とはいえ、扱っている範囲が非常に広いので、初見の話もとても多く学びが多いと思う。

なぜ読もうと思ったのか
・データサイエンスという言葉の意味を知りたかった
・調査項目やデータ分析設計に携わる機会があり、データとは何かを改めて知りたかった

・データサイエンスの基礎は「情報学」と「統計学」＋「数学」。基礎の学び方は講義を聞いたり本をじっくり読むなど伝統的なやり方が良い。基礎に関して...続きを読むは『統計検定2級』の受講も効果的
・データサイエンスを情報学、統計学、価値創造の3つの要素を統合する分野と位置付ける。

感想
・データサイエンスとは何かといった概要を知れる本。実用書ではない。
・統計に仕事で携わっているが、統計の歴史については無知であった。統計の起源や日本での統計調査の歴史を知れ、通常の仕事に深みが出そう。

実用書。多様な専門用語を解説する事で、データやAI界隈がどこまで進んでいるか、どんな事を意識しているのかが良くわかる。統計的な基礎知識から、AI倫理などの留意事項まで幅広い。とりわけ今の私に有益だったのは、データ解析の手法や利活用について。実用可能性のヒントを得られた。

例えば、標準的消費者の行動...続きを読むを数式で表現した消費者行動モデル。これに時間と場所と少数のデモグラフィック情報を条件として与えると購買予測ができる。ビックデータのパターン分類を基礎とするデータドリブン。顧客離反理由を分析するチャーン分析や同時購入傾向を示すをバスケット分析。最適価格を自動決定するダイナミックプライシングという手法など。レコメンデーションやパーソナライゼーションを駆使して、買い手をその気にさせる。

我々は、知らない内に、テクノロジーに心理操作されている危険がある。しかし、それは一面ではとても心地の良い世界なのかも知れない。好きなものを次々と提案される仕組みは、敢えて見たくないものを見ないようにする仕組みでもある。子供に有害な情報を与えないプログラムは、有害な情報と対象者の設定によっては、危険思想を少なくともネット社会からは遮断する事が出来るはずだ。閲覧する媒体だけではなく、AIにも同様のフィルターをかける事は可能。では、有害な情報や、その対象を設定する側の思想とは。テクノロジーは前を向いて進化しても、使い手は、動物である自らの感情を制御しなければならない。

データサイエンスについて今勉強していて、授業だと背景や他の分野とのつながり、体系的に学ぶためにも本を読もうと思って読んでみた。統計の基礎的な復習にもなったし、データサイエンスで何ができるかを知ることができた。データの取り方に、バイアスがないかや、そもそも正しいデータかなどデータを扱う際の注意点も知る...続きを読むことができた。データサイエンスが今後ビジネスなどで重要になるらしいので、データを見て分析できるような力をさらに勉強して身につけたい。

１回目ざっと読み完了。
３回は読まないと、中身については理解が追いつかないので
あと２回。
概要が書かれているので、全体像をはあくするには良い本ではとおもうけれど
比較できるものがないので、よくわかりません。

120ページあたりから急に全くついていけなくなる。
プログラムの固有名詞とプログラミング関係の用語羅列で思考停止に陥る。
まあ、そんなんだから、紙の本を求めるわけですが。

データとどう向き合っていくかを考える入門書。ただし、データがこれまでどのように使われてきたのかリアルタイムで過ごしてきた世代と、smart phoneがすでに発達した世代では、読んだ時の印象が違うかもしれない。

本書は表題のとおり、データサイエンスの入門書である。とても読みやすい文体でそう時間をかけずに一読することができた。洋の東西を問わず膨大な知が蓄積され、体系化され、ディシプリンとして確立し、欧米の大学のケースを参照し、日本の大学にも学部・学科という教育組織が誕生し、教育内容も整理され、この本のような教...続きを読む科書されるまでに形成されたのが、近年のデータサイエンス分野といえる。この分野では、データ処理には情報学（コンピュータ科学）、データの分析には統計学、またデータから価値を引き出すためにはそれぞれの応用分野といった領域を理解・習熟することが求められる。この3方向からのスキル習得や知識の理解を気に留めたい。

またエビデンスに基づく意思決定という考え方は、わりと一般化している印象があるが、対する事例・エピソードに基づくそれを意識することも、一つの仕事や研究に対するアプローチ方法として有用だと思った。ただし「一部の成功例が強調され過ぎたり、失敗例が報告されないようなバイアスが生じ得る」（p.83）可能性もあるので、報告者の倫理感が必須となろう。「データに基づく判断をベースとして、人間の経験と勘に基づく判断も活かす」（p.90）ことが、実務の場での理想的な判断の仕方だと思った。

本書のタイトルにある「データサイエンス」って何？と思い、読んでみました。
本書では「データサイエンスとは情報学、統計学、価値創造の3つの要素を統合する分野」として解説。

スマホを携帯して移動したり、お店で品物を購入する際にポイントカードを提示したりしながら、便利さやポイント還元などと引き換えに無意...続きを読む識にビッグデータの元を提供していたことに改めて気付いた。

統計学は昔からある学問だし、学校や会社で学ぶ機会もあったので、Ⅱ章「データとは何か」はとても分かりやすかった。

Ⅲ章「データに語らせる -発見の科学へ向けたスキル」はコンピュータや情報学に明るくないので、やや難解だった。

ビッグデータやAIの進歩で新しい学問分野が生まれ、時代は変わったなぁ、と実感した。

デジタルって何？という基礎の基礎から説明している。教養のレベルにかなり差があってどの層向けかわからない。しかし、ITテクノロジーを始め統計知識、予測モデル、データリテラシー、表の表現方法まで幅広く紹介されている。全部読めば知らないことは結構多いのではと思う。

統計学と情報学の基礎がわかる。

【概要】
●社会におけるデータ・ＡＩ利活用
●データリテラシー
●データ・ＡＩ利活用における留意事項

【感想】
●ＡＩと統計学の基礎について書かれている。両者についてこれから勉強しようと思う人は、この本をサラッと読んでそれから専門書に入っていくというのもいいかもし...続きを読むれない。

データの見方及びデータサイエンスの動向を理解したい人におすすめ

【概要】
●データサイエンスとは、データサイエンティストとは何か。
●データサイエンスの３要素は、データ処理、データ分析及び価値創造
●データ処理には情報学、データ分析には統計学が必要
●データには、主にテキストデータ、音声データ、画...続きを読む像データがある。

【感想】
●人工知能が発展している世の中であっても、人間は統計学を学ぶ必要があると思った。
　結局は、人工知能が出した答えの良し悪しを客観的に判断した上で意思決定をおこなうのは人間だからである。
　人工知能に責任を負わせることの問題をどう解決するかが進まない限り、このような状況は変わることはないだろう。

文系の私には内容が難解でしたが、データがどのように私達の生活の中で使用されているのか知る事ができた。

データを集めて解析を行えば、仮説に基づくデータを得る事ができると思っていたが、その集めたデータについても考慮しなければいけないという事に気付かされた。

今後、ビックデータの活用が飛躍的に進んでい...続きを読むけばデータサイエンティストは必要なくなる可能性がある。
そのデータをどのように活用していくのかを考える能力がデータサイエンティストに残された道になるのかも知れない。

１．この本を一言で表すと？
・数学など専門的な話にはあまり立ち入らず、データ分析の重要性や分析手法などを一般の人にもわかりやすく説明
した本
２．よかった点を 3〜5 つ
・公表バイアス、確証バイアス、後知恵バイアスの話
→よくある話なので読み手が注意すべき所
・エビデンスに基づく意思決定
→「学力...続きを読むの経済学」という本で教育に関する EB を論じていたが、この考え方は日本にもっと取り入れられるべき
だと思う。
・データ処理と可視化
→SQL とはどういうものかよくわかった。
・現在の人工知能技術はビッグデータと表裏一体であり、データに基づく適切な意思決定を支えるという意味でのデ
ータサイエンスは今後もしばらくは重要な分野（p135）
→データサイエンスはあくまでも意思決定のサポートであるということが重要なこと
3．参考にならなかった所（つっこみ所）
・「人工知能」＝「深層学習」という呼び方は適切ではない（p132）
→違うのか？
5．全体の感想・その他
・現代のデータサイエンスについてバランスよく書かれているのがよい

ほんとうに入門のための本です。概括的な紹介に留まり深堀はしてないのですが、専門外のひとに概要を理解してもらうために紹介するのはありかもと思いました。