Googleを支える技術 ……巨大システムの内側の世界

西田圭介

たとえば，ふだんなにげなく行っているWeb検索。背後には，想像以上に膨大な計算，多数のコンピュータの働きがあります。
本書では，論文やWebなどで公開されているパブリックな情報をもとに，Googleの基盤システムについて技術的な側面から解説を試みています。世界規模のシステムにおける『分散ストレージ』『大規模データ処理』『運用コスト』など注目の話題を盛り込み，学部生をはじめ初学者の方々にもお読みいただけるように基礎知識から平易に説明します。

• カテゴリ: ビジネス・実用
• ジャンル: IT・コンピュータ / OS
• 出版社: 技術評論社
• タイトル: Googleを支える技術 ……巨大システムの内側の世界
• タイトルID: 562710
• ページ数: 288ページ
• 電子版発売日: 2018年11月14日
• コンテンツ形式: EPUB
• サイズ(目安): 14MB

[ブクログ · ★★★★★]

最近（というほど最近でもないかもしれないけど）、BigDataなるキーワードが脚光を浴びているので、事前知識を得るために読んでみました。

ざっくりと概念的に、Google検索がどういうことをやっているのかということがわかるとともに、GFS、MapReduceという大規模分散データ処理を扱う仕組みがわかりました。
また、本書では基本的にざっくりとした構造・仕組みの説明をしているのですが、随所に原典論文URLが書かれていて、詳しく調べるのにも便利だと思います。（自分は、たぶんそこまで読み込まないけどｗ）

わかりやすく、内容も適度な詳細さですので、私はかなりの良書だと思います。

[ブクログ · ★★★★★]

Googleの基本技術GFS、BigTable、Chubby、MapReduceなどに関する概要解説本。名前だけは聞いたことあったけど、詳しい内容については知らなかったので大変参考になった。最近Hadoopなどがはやってきているので、一見の価値あり。

[ブクログ · ★★★★★]

最初に本書の内容はほぼ全てgoogleの発表した論文にあり、英語が読めない人にとってはいい本。
googceのシステムがどのようにして、分散化システムを構築し、そのハードウエアの持てるパワーをいかにひきだしているかがわかる。Googleの検索能力の早さは使用している人ならわかるが、それを支える技術力というのは想像を絶する。
中でも興味深いのは、Googleは
一度検索するとコーヒー2杯分のお湯が沸くといわれるほど電力消費が激しいと言われているが、そのサーバの電力は緻密に計算された上での、最低限の電力消費であり、最高に高いの電力効率で運営されている事がわかる。

[ブクログ · ★★★★★]

スケールアウトを考慮すると
インフラだけでなくアプリでもかなり考慮が必要ですね

電気代については今まで考えたことなかったー
消費電力ベースのパフォーマンスは目鱗

[ブクログ · ★★★★★]

現在のIT業界を牽引するとも言える企業のGoogle。
そのGoogleのビジネスの根底にあるものは当然ITとしての基盤と技術。
それを公開されている確かなる情報を基に、
丁寧にわかりやすく解説、まとめてくれている。
クラウドコンピュータから、CPUの電源効率まで、一挙大公開。

元々がまとまっているから、要約しにくい・・・。
以下ほぼ単語抜粋。

○Google的意味のあるページの評価基準（今は昔）
　−PageRank：ページリンクを得点する
　−アンカーテキスト：アンカーされていたら得点する

○インデックス構造：文字を数値にすることで二つのメリット
　−コンパクトになり、ディスクのシーケンス時間が短くなる
　−階層化させて、キーに結びつく値を意味を持たせられる

○インデックス生成
　−docID：WEBページ固有の番号
　−wordID：WEBページ内に存在する単語
　−wordIDをdocIDと紐付けする。
　　その要素は「位置」、「大きさ」、「その他」の3要素。

○GFS：GoolgeFileSystem
　−clientはMasterと通信して読み書きを行う
　−Masterの下のチャンクはクラスタリング（レプリケート）されて、
　　耐障害性を高めている。
　−チャンクの生死はMasterが管理
　−チャンクとMasterを足せば、論理的に容量は無限大
　−チャンクの書き込みミスは、パリティを入れて読み込み時に確認
　−たまたま再起動していたり、データの古いチャンクは、
　　データの更新用シリアルナンバーでMasterから切り離される
　−Masterの障害はOperationLogをMaster同士がコピーして補完

○BigTable
　−Googleのインデックスに特化した、
　　非常に簡易なディスクをまたがる巨大なテーブル。
　−ただし中身は複雑で多次元構造となっている。

総じて、Googleの検索という技術は、
ITという技術にうまくモデリングできているところに妙があると思う。
同じように現実世界の内容をITにうまくモデリングできれば、
同じように稼ぐことができるのかもしれない。

またモデリングのうまさだけでなく、
この技術を他の分野でも使用できるようにしているところが、
またGoogleの強さだろう。
学びが多い。

[ブクログ · ★★★★☆]

googleの検索レスポンスは恐ろしく速い。私は仕事柄、どんなソフトを見ても、なんとなくその構造を想像できるが、googleだけは全くわからない。なぜ、あれほど堅牢に、あれほど正確、あれほど速いのか？それに答えるのが本書である。　まず、最初に一般的な検索サイトの技術要件をて定義し、googleの検索システムの概要説明を行う。大枠のアーキテクチャがなんとなくわかったところで、システムの重要な概念、モジュールであるgfs、bigtabel、MapReduceなどの詳細を解説。ここでのキーワードは、「大容量」である。googleのシステムは、全世界からダウンロードしてきた大量データに特化したアーキテクチャになっている。もう一つのキーワードは、「安いPCを大量に使う」である。安い故に低パフォーマンスのPCを、ネットワークを使用した超並列的分散アーキテクチャでつなぎ合わせ恐ろしいほどのパフォーマンスを安価に実現する。恐るべきgoogleの技術力。　その後、本書では、googleのコストについての推測を試みる。あれだけのデータセンターを持ってしまうと電気代が年間１００億円、PCが３００億円と読む。結構な額だが、売り上げ規模から考えればゴミみたいなものだと思う。しかし、ここでもgoogle魂発揮で、いかに電気代を下げるかと技術的試みを死に物狂いでやっているらしい。恐るべきgoogleのカイゼン魂。　最後に、ソフト開発に代表されるgoogleのマネージメントに言及する。個人の自主性を重んじる、２０％の時間は現在の仕事以外に使う、などの良くあるプラクティス（でも普通の会社は実行できていない）が掲げられている。　全体を通しての感想は、「さすがgoogle。ここまでやるか！」。一つ一つは大したことやっていないが、細かい工夫を山ほど行い最高の企業になっていると思う。

[ブクログ · ★★★★☆]

Googleを支える技術の入り口を見せてくれる本。Googleでは細かい部分まで綿密に設計されていることがわかる。消費電力のくだりは新鮮であり勉強になった。

[ブクログ · ★★★★☆]

前半はざっくりと検索システムの仕組みについて述べ、その後で Google でどのように実現しているかを解説。
こういうシステム／アーキテクチャに興味がある人には、
面白い本だと思います。

[ブクログ · ★★★★☆]

技術者にとって興味深い内容がたくさん書いてある。
ただ、実際にそこで開発に携わらない限り必要なさそうな
詳細な記述まであって、ところどころ難解な箇所がある。

[ブクログ · ★★★★☆]

世界的に使われているGoogleのシステムアーキテクチャ概要を解説した本である。細かな話が出てくるため、非常に読みにくく理解しにくいが、大まかに言うと、安価なPCレベルの機器を大量に利用することでスケールアウトしている点、GFSという分散ファイルシステムを利用している点、MapReduceによる分散データ処理、障害が起こることを前提とした運用設計などが特徴としてあげられる。