高木章光のレビュー一覧

データ分析基盤（データ分析プラットフォーム）としてApache Sparkを採用し、「今井ファーム」のペグ型土壌検知センサからのストリームデータをデータ収集から最終は機械学習までのデータ処理・分析を具体的なコード共に紹介している。

1章 データ分析プラットフォームの概要
2章 Spackの概要
　...続きを読む　概要、Sparkは大きなミドルウエアなので全てをこの本で紹介しているわけではない。また網羅的に紹介しているわけでもない。「今井ファーム」というユースケースをとうして必要なことをコードで説明している。またそのコードも１つ１つ詳細に説明しているわけではないので事前にPython,Flutentd,Zookeeper,Kafkaなどについても前提知識が必要。一言で言うと入門書ではない。
3章 サンプルユースケース概要
　　この本でデータ分析をするサンプルの紹介。今井ファームの概要。こんなユースケースを想定していると実業務に展開するときわかりやすい。
4章 Flutentd,Kafkaによるデータ収集
　　データ分析基盤にApache Sparkを採用しているが全てSparkでできるわけではなくFlutentd,Kafkaなどのツールも併用している。上流から下流まで全て設定してあるのがよい。
5章 Spark Strreamingによるデータ処理
　　データ収集から上がってくるストリームデータをマイクロバッチで処理していく手順を紹介
6章 外部ストレージへのデータ蓄積
　　カサンブラというデータが増えてもすばやく対応できるデータベースを採用Sparkと組み合わせて使うことが多いとか。
7章 Spark Streamingによるデータ分析
　　データが遅延、ロストすることが多いストリームデータ特有の問題に対して解決方法を提示している
8章 Spark SQLによるデータ処理
　　Jupyter、matplotlibによる前処理、探索的データ分析を紹介
9章 Spark Mlibによるデータ分析
　　Spark Mlibによる機械学習の紹介
10章 プロダクションに向けたシステムアーキテクチャを考える
　　実運用に有効な考え方を紹介


かなりのボリューム、この１冊でSparkを理解できたとは思わないあと数冊読み込む必要があるが概要、Sparkの使いどころわかった。なかなかない中級、上級者向けの本

タイトル通り、データサインエンスの入門書。初学者がデータサイエンスの全体像を把握するには好適。６章でデータサイエンティストに求められる人物像が紹介されているけど、この条件を満たす人はレアじゃないかな。

総括としては分かりやすくてよい。一通りカバーできてる気がする。いろいろ、勉強しなくちゃいけないな、と刺激になった。

若干すでに古い情報もあるけど、業務プロセスが理解しやすく、データサイエンスを主眼に置きながらも、エンジニアリングのことも書かれていてよかった。

データサイエンスの概要をつかむには非常に良い本。
概要がよくまとまっていて、理解もしやすい。
初心者の方はこの本を最初に読むと良いかもしれない。

個人的にはAWS、Azure、Google cloudの部分のPros/Consをもう少し知りたかった。
ただ内容は概要、俯瞰的に書かれているので良かっ...続きを読むた。

データサイエンスがビジネスで活用される際のプロセスごとに何が必要なのか書いてある。データ分析を
どう活用するかから、チーム、インフラまで。

データサイエンス周りについて広く説明する本
図と文章でうまく説明している。内容も概要から分析の中身、人材の動き方など広く丁寧に説明している。１冊目としてなら星4

最新の書籍ということもあって情報に富んでいる。
データ分析プロジェクトの計画から、ビジネスへの適用までをわかりやすく解説した入門書。先進的な企業の取り組みや、データ分析のプロセス、分析手法、クラウドサービス、チームビルディングなど幅広い。
個人的に気になったのは、機械学習を使用したシステムに必要な技...続きを読む術要素の図。プロジェクトの中で、機械学習のコーディングが占める割合極めて小さい。一方で、課題定義とインフラ整備の割合が大きい。モデルや分析手法の獲得に勉強時間の多くを注いできたが、実のところそれ以外のところが重要なのだ。

ー以下、メモー
近年、大学にデータサイエンス学部が設立されるなど、業界全体が広がりを見せている。SIerとプログラマの如く、データサイエンティストも分業が進むのは容易に創造できる。AWSやAzureなどのクラウドサービスでは、機械学習サービスを提供しており、誰でも簡単にAIを作れる時代になった。分析手法やアルゴリズムはAI・データ分析の醍醐味であるが、本質的な価値がどこにあるのかを見極めなければならない。