Apache Sparkは多数のコンピュータを並列で動かして高速処理を実現する技術です。大量のデータを扱う「ビッグデータ」や「機械学習」、「IoT（Internet of Things：物のインターネット）」などの分野で応用が期待されるOSS（Open Source Software）です。 Apache SparkはUCバークレイで提唱されたRDD（Resilient Distributed Datasets）というアーキテクチャを採用しており、メモリを積極的に活用した分散並列処理を実現します。これにより、従来よりも大幅なパフォーマンスアップが期待できます。また、Hadoopとの高い親和性を有しており、YARNやHDFSなどのHadoopのシステムの枠組を使えます。 本書はApache Sparkを使うための知識を簡潔かつ実践的に紹介していきます。Apache Sparkでは「機械学習」「グラフ処理」「ストリーミング」処理等々を実現するためのライブラリが標準で利用できますが、各分野への応用も見据えたこれらの活用方法も本書で解説します。 Apache Sparkの仕組みとその利用方法を理解することにより、一歩先を行くデータ処理の新しい潮流を知ることができます。 ※本電子書籍は同名出版物を底本として作成しました。記載内容は印刷出版当時のものです。 ※印刷出版再現のため電子書籍としては不要な情報を含んでいる場合があります。 ※印刷出版とは異なる表記・表現の場合があります。予めご了承ください。 ※プレビューにてお手持ちの電子端末での表示状態をご確認の上、商品をお買い求めください。

脳と魂の深部にある扉をそっと開き、 “まだ眠っている本質”を呼び覚ます！ これは、脳の筋トレ本だ！ やるかやらないかは、あなた次第 ――――作家 さとうみつろう 愛の物理学者、保江邦夫氏と、Ｍｉｎｄ　Ｓｐａｒｋ（マインドスパーク）という脳覚醒プログラムを開発、実践している茂木の利子氏による日本人の目覚めへの提言。 「脳は常に成長し、求めるものの答えを教えてくれる」 これまで多くの奇跡を経験してきた物理学者である保江邦夫氏は、密教寺院で修行し10代で僧籍を取得した茂木の利子氏が編み出した脳トレ（Mind Spark）を受け、脳覚醒―脳にスイッチを入れるーを体験。保江氏はMind Spark中、何度も現れたUFOや陰陽師だった祖母からのメッセージを受け取る一方、今自分がしなければならないことを教えられる。 トレーニングのメソッドを考案した茂木氏の動機というのは、世界の５大予言によれば「近い将来、人類は神に淘汰される」とされ、「それを救えるのは覚醒した日本人だ」と、世界的な宗教家に教えられたことだった。さらにあなたは日本人として何をするのかと問われ、たどり着いたのがMind Sparkだった。 脳にスイッチを入れる方法や、そのプロセスについて語られ、また日本人とは何かについても考察する。

飛鳥の先輩、斑鳩と葛城。――彼女たちの新入生時代。国立半蔵学院。その忍学科に久しぶりの新入生が2人。ソリが合わなきゃ手出しも早い。まさに犬猿な仲の、斑鳩と葛城。ゲームでは語られなかった、2人の新入生時代のハナシ。

Apache Sparkの仕組みとビッグデータ向けの大規模処理とML開発を徹底解説 本書は、ビッグデータを主な対象としたデータ分析フレームワークであるApache Spark、MLflow、Delta Lakeの中級入門書です。「動かしてみる」だけではなく、どのような仕組みになっているのか、どうすれば効率的な実装が行えるかまで踏み込みつつ、データAIの実装者がApache Spark、MLflow およびDelta Lakeを使いこなすための解説を行います。 本書では、単純なデータ分析と複雑なデータ分析を実行し、どのように機械学習アルゴリズムを採用していくか、解説していきます。Apache Sparkの導入から解説をはじめ、Spark SQLとデータフレーム、データセットを紹介していきます。そこから、Apache Sparkを利用した実践的な機械学習の方法を解説していきます。本書での学習を通じて、次のことが学習できます。 ・Python、SQL、Scala、またはJavaの高レベルの構造化APIの学習 ・Spark の操作とSQLエンジンの理解 ・Spark 構成とSpark UIを使用したSpark操作の検査、調整、デバッグ ・JSON、Parquet、CSV、Avro、ORC、Hive、S3、またはKafkaといったデータソースへの接続 ・構造化ストリーミングを使用してバッチ データとストリーミング データの分析を実行 ・オープンソースのDelta LakeとSparkを使用して信頼性の高いデータ パイプラインを構築 ・MLlibを使用する機械学習パイプラインの開発、MLflowを使用するモデルの管理、本番化 ・［日本語版オリジナルコンテンツ］pandas DataFrame、SparkDataFrameに関する各種データフレームの使い分け ・［日本語版オリジナルコンテンツ］LLMやEnglish SDK for SparkなどAIを活用した新たなコーディングスタイル、LLMの利用方法の実践 ※本書は『Learning Spark: Lightning-Fast Data Analytics 2nd Edition』の邦訳です。 ※本電子書籍は同名出版物を底本として作成しました。記載内容は印刷出版当時のものです。 ※印刷出版再現のため電子書籍としては不要な情報を含んでいる場合があります。 ※印刷出版とは異なる表記・表現の場合があります。予めご了承ください。 ※プレビューにてお手持ちの電子端末での表示状態をご確認の上、商品をお買い求めください。

※この商品はタブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字だけを拡大することや、文字列のハイライト、検索、辞書の参照、引用などの機能が使用できません。 写真を切り離すとトランプになるという仕様が当時ファンの間で話題となった『ORANGE RANGE LIVE TOUR 013 ～spark～』ツアーフォトブックを電子書籍として復刻！　“ハジけた”バンドサウンドが今にも聴こえてきそうな躍動感あふれるステージ写真のほか、メンバーのリラックスした表情が楽しめるオフショットなど（ドラムを叩くYAMATOの姿も！）、全27カ所30公演を行った全国ツアー中のさまざまな姿をキャプチャーしている。

本書は、ビッグデータを分散処理するためのフレームワーク「Apache Spark」のクエリのパフォーマンスチューニングのノウハウを紹介した解説書です。Apache Sparkでのクエリのチューニングのための知識として、基本的なアルゴリズム、ログの見方、チューニングの考え方、Salted Join, Skew Joinなどのチューニングの手法を説明します。

母親と妹の3人で暮らす彩は、元気なフツーの女の子。ある日住んでいるアパートが火事に!!　母親の親友・梶佐古おばさん家に居候することになったけど、そこには5人兄弟がいて…!?

ビッグデータ向けの処理基盤として「Apache Spark」が注目を集めています。Sparkにはストリームデータを処理する「Spark Streaming」というコンポーネントがあります。 本書では、Spark Streamingとその他のOSSを組み合わせたストリームデータ処理システムを構築し、その性能検証結果を紹介していきます。 第1章 Spark Streamingの概要と検証シナリオ 第2章 Kafka、Spark、Elasticsearchによるシステム構築と検証の進め方 第3章 Kafka、Spark、Elasticsearch のパラメータチューニング 第4章 マシン台数の調整とシステム全体のボトルネックについての考察 第5章 Spark 2.0を活用した配電設備の負荷集計システムの性能検証 第6章 Spark 2.0の性能検証の結果とボトルネックの考察 第7章 Sparkのデータ処理プロセスと処理性能のボトルネック 第8章 Sparkの性能向上のためのパラメータチューニングとバッチ処理向けの推奨構成 ※本書は紙書籍はモノクロ、電子書籍はカラーでの提供となります。 ※本書は、インプレスが運営するWebメディア「Think IT」で、「ユースケースで徹底検証！ Sparkのビッグデータ処理機能を試す」として連載された技術解説記事を書籍用に再編集したものです。 ※本書の内容は、執筆時点（2016年7月～2017年1月）までの情報を基に執筆されています。

本書では，Sparkの分散処理の基礎であるRDDのしくみ，Sparkを構成する各コンポーネントの機能を理解するところからはじめます。 さらにSparkクラスタの構築と運用，構造化データを処理するためのDataFrame APIとSpark SQL，ストリーミング処理のためのSpark Streaming，機械学習ライブラリMLlib，グラフ処理のためのGraphXの各コンポーネントの実践的な利用方法を基礎から徹底的に解説します。