西田圭介のレビュー一覧

Googleを支える技術 ……巨大システムの内側の世界

西田圭介

Googleのサービスを作る上での技術が記載された本。

理解はある程度できるが個人レベルでは、ハードウェアの費用面で実際にその凄さを試すことが難しい。

とはいえ、そのさわりだけでも理解することで自分のスキルアップになるだろう。

無料のVirtualBox、VMWare環境と、LinuxOSで試すことができました。

Googleを支える技術 ……巨大システムの内側の世界

西田圭介

グーグル。この巨大な検索エンジンを支えているシステムを解説したのが本書です。正直、僕はこの本の3割程度しか分かりませんでしたがそれでも最新のテクノロジーを組み合わせているということはよく分かりました。

僕はもともと情報系の大学、もしくは専門学校を卒業していないので、ここに書かれていることは正直、専門外の門外漢に過ぎませんが、現在、自分がやっている商売に少しでも役立てることができるならと、そして、日ごろ自分が何気なく使っている検索エンジンのグーグルがどういったシステムで運用されているのだろうという興味からこの本を手にとって読んでいました。

内容はというと、いやはや、やっぱり難しい。ここにこうして感想なんぞをアップしてはおりますけれども、この段階でこの本に書かれていることの3割が分かったかどうかは自分でも非常に疑わしいものです。しかし、さすがIT業界のトップエリートをひた走る会社なだけのことはあるということだけはよく分かりました。このシステムを自宅のガレージで考案した、ラリー・ペイジとサーゲイ・ブリンの二人には本当に頭が下がります。

それでも、僕が唯一この本の中で分かったことはこのシステムを24時間365日休みなく運営するにはとてつもない電気代がかかるということだけでした。それと社員全体の人件費をほぼ広告収益で稼ぎ出すというのは、その裏でグーグルの社員の一人一人がどれだけ日ごろがんばっているのかを、僕に教えてくれるものでございました。

Googleを支える技術 ……巨大システムの内側の世界

西田圭介

インデックスの話などは押さえておきたい。（転置インデックスなど）
・当然だが、大規模化したシステムとそうで無いシステムは大きく違う。その典型が、GFSとwork queue
cpuバウンドな処理はwork queue 、ioバウンドな処理はGFSというように、スケールアップなシステムを作る。
・Googleなど大規模システムでは、①ソフトウェアでの信頼向上②大量なハードウェアでの負荷分散③コストパフォーマンスの高い安価なハードウェアという観点で大規模システムを作っている。
やはり、ソフトウェアのスキルが重要。
・gfsの概要が理解できた。大規模システムにはなくてはならない、ネットワークファイルシステムだと感じた。冗長性や、スケーラビリティ技術が興味深い。チャンク単位での取り扱いや、マスターの動きなど興味深い。そういったシステムに自分も触れてみたい。
・大規模システムでは、レガシーなスキル、知識も大事だが、大規模を想定した自動運用などの工夫がかなり重要になってくる。そう考えると、今までの手法は通用しないことがよくありそうだ。
・分散dbのbigtableは興味深い。
クライアントはライブラリ経由でのアクセスで、抽象化されたアクセスを行う。唯一のロックが行ロックのようなことらしい。blob型のようなことらしい。xmlデータベースともちかいのかなぁ？
・bigtableのアルゴリズムが難しい。一度で理解できない。最大容量は2EBらしい。
・chubbyという分散ロックサービスがあるらしい。gfsやbigtableの機能を支える基盤技術のようで、排他制御を実現するみたい。また、分散ファイルシステムであり、変更がすぐに反映されるため、dnsサービスとしてもしようしているみたい。
・hadoopのところは興味深い。map とreduceの概要があり、これからどんどん勉強していきたい。
sawzallという分散処理で使われる言語があり、共通化が行われている。rdbmsのsqlみたいなもの。
・プロトコルバッファという、共通のプロセス間通信の仕組みがあるらしい。
・大規模分散システムはとても興味深い。hadoopとか、本当に勉強していきたい。hdfsやpigなどは、googleの分散処理システムのオープンソースプロジェクト。
・電力消費の説明は説得力がある。cpuは最大の消費で大体半分前後を占めているみたい。以前の自分で測定した時のものをみて納得。
『パソコン起動時稼働時80〜100W程度 アイドル時60W前後 電源オフ 5w
パソコンプライムPC
電源オフ 0w フル稼働 89w』
・動作クロックを上げるのは消費電力に大きな影響を与えるらしい。パフォーマンスを20%上げるには1.2*3乗で1.78倍の電力消費になるという話。故に、クロック周波数を上げるのは限度があり、マルチコアCPUの流れにいっている。
・電力消費のところはとても詳しく、かつ、計測データを用いた説得力あるせつめいだとおもった。また、実際の機器のデータシートを元にした電力見積もりと、最適化した電力設備設計ではコストが二倍ほど違うというのも、感心した。
・節電対策としてのクロック周波数のコントロールは確かに有効みたい。実際の変化を計測してみたいものだ。
・hddの故障頻度は温度や読み書き頻度に影響のあるという通説は、疑って見る必要があるらしい。また、smartで障害の予兆は多少分かるみたいだが、それでも64%程度で、残り36%はなかなか予兆がないみたい。なので、壊れても大丈夫なようにシステムを組んでおくことが大事

・全米のデータセンターのスケールにはテンションがあがる。ひとつのさいとあたりに、何十万台という規模のよう。

Googleを支える技術 ……巨大システムの内側の世界

西田圭介

何かの役に立つかというとそうでもない、基本は「へー」と感心しっぱなしの内容。普段の開発と根本的に違うなーとか思いながら読みました。
話のネタにはなるかなーと言う感じです。正直、詳細は理解が及んでません。

Googleを支える技術 ……巨大システムの内側の世界

西田圭介

世界最大規模のWeb企業であるGoogleともなると、その規模の大きさから様々な面で特別な配慮をしなければならなくなる。数十万台にもなるサーバの性能を引き出し、また冗長性を保つためのGFS,Bigtable,Chubby,MapReduceなどの分散処理ソフトウェアの解説や、それらサーバの電力消費量を下げるための工夫など、タイトルの通りGoogleを支える技術が上手くまとまっている。
読み物としても十分おもしろい。

Googleを支える技術 ……巨大システムの内側の世界

西田圭介

Googleほどの存在が使う技術というのは、本当に自分が想像もつかないような技術をもっていて、とてもとても理解しがたいところなのかと思っていました。しかし、これを読んでみると、少なくとも「想像はつく」レベルなんだと感じました。自分の立ってる地面の先には、どんなに遠くても同じ地面に Googleはいるのだと。

かといってGoogleたいしたことない、と言ってるわけではありません。
われわれには想像することしかできないことを、Googleはとてつもない規模・精度・技術で、愚直に実行しているのです。
やはり、Google。

Googleを支える技術 ……巨大システムの内側の世界

西田圭介

Googleで使われている技術を公開されている論文を元に詳細に解説した本。高度な内容をわかりやすく伝えていて読みやすい。クラウドのプラットフォームとしても使われ始めたGoogleの基礎を学べる本として価値は高いと思う。

Googleを支える技術 ……巨大システムの内側の世界

西田圭介

Googleのシステムってどうなってんの？というのは素直な興味としてあるので、読んでみました。

私自信プログラマではないので、きちんと理解できないところはありましたが、全体としてなんとなく納得。消費電力の抑制が大きなテーマのひとつになるっなんていうのは非常によく分かります。CPUだけの話ではなく、大規模ネットワークの通信機器も同じように消費電力の問題に直面しつつありますし。

また、テスティングやドキュメンテーションを非常にしっかりやっているところなど、まったく当たり前のことなのですが、感心です。20%ルールなどが有名ですが、具体的な開発ルールがしっかりと整備されているところが強みなような気がしました。

Googleを支える技術 ……巨大システムの内側の世界

西田圭介

平易な表現でGoogleの基盤技術について述べられていて、おおまかにでもGoogleの全容の一端を垣間みれた気がする。イノベーティブな感覚が醸成される一冊。

Googleを支える技術 ……巨大システムの内側の世界

西田圭介

技術の記述が深すぎて、結構難解。
技術知識が読んでもさっぱり理解できないと思う。
コアに理解している人は楽しいかも。

Googleを支える技術 ……巨大システムの内側の世界

西田圭介

「ググる。。。」今や当たり前の言葉となってるけど、、、
ググるを実現する為に綿密に設計された技術が背景にあることを学びました。

あらゆる技術がよぅ考えられてるが、GoogleのGoogleによるGoogleのための技術やろなぁと思いました。。。(´Ａ｀)

収穫としては☆☆☆

Googleを支える技術 ……巨大システムの内側の世界

西田圭介

Facebookは映画ソーシャルネットワークを見て、その生い立ちを理解したが、Googleについてはほぼ毎日使っている割には、その仕組みを知らなかったので読んでみた。先日、欧州出張の際、ネット接続条件が悪い中Googleだけはそこそこ動いた記憶があったが、Googleシステムの強さの舞台裏の一部を本書で知ることができた。
また、後半、消費電力の話が出てきたのは、今後のITインフラの課題の一つを垣間見ることができ、印象に残った。

Googleを支える技術 ……巨大システムの内側の世界

西田圭介

参考にはなる本ですね。詳細な技術説明がほとんどなので、正直半分程度しか理解できませんでしたが…ただ、概念というか大まかな思想と構成はよくわかりました。こういう観点で書かれている本って少ないので、希少な情報ではありますね。Webの中の人はたしなんでおくべきかと。SEOなんかのヒントになることもありそうな。

Googleを支える技術 ……巨大システムの内側の世界

西田圭介

googleのしくみ本。概説よりも詳しいが、詳解というほど詳しくない微妙な位置づけ。前半はHadoop始める時に役立つかも。後半のハードの話は直近で使えそうなネタがいくつか。ただし実践データだけど科学的な論理付けは記してないという。うーむ。もう一押しあれば良書。