長谷川亮の作品一覧

高い信頼性とハイパフォーマンスを両立するデータプラットフォームの新標準！ ビッグデータを最大限活用する仕組みと運用法を徹底解説 【本書の概要】 本書は、高い信頼性とハイパフォーマンスを両立する、OSSのストレージレイヤソフトウェアであるDelta Lakeの入門書です。セットアップから実際の操作手順、実行例まで、データ分析に携わる方が迷わずDelta Lakeを使いこなせるよう丁寧に解説を行います。 【本書で学べること】 ・最新のデータ管理およびデータエンジニアリング手法 ・ACIDトランザクションが大規模なデータレイクにどのように信頼性をもたらすのか ・データレイクに対してストリーミングジョブとバッチジョブを同時に実行する方法 ・テーブルの削除、更新、マージ方法 ・タイムトラベルを使用したロールバックによるデータバージョンの調査方法 ・メダリオンアーキテクチャに従ったストリーミングデータ品質パイプラインの構築方法 【本書の対象読者】 ・データ分析に携わる方 ・Delta Lakeの基本事項、用語、始め方などを知りたい方 ・最新のレイクハウスアーキテクチャの機能とメリットについて学びたいデータ担当者 ・Apache Sparkの経験を持つデータ担当者 【目次】 Chapter 1　 データアーキテクチャの進化 Chapter 2　 Delta Lake入門 Chapter 3　 Deltaテーブルの基本操作 Chapter 4　 テーブルの削除、更新、マージ Chapter 5　 パフォーマンス・チューニング Chapter 6　 タイムトラベルの利用 Chapter 7　 スキーマの取り扱い Chapter 8　 ストリーミングデータに対するオペレーション Chapter 9　 Delta Sharing Chapter 10　 Delta Lake上でのレイクハウス構築 ※本書は『Delta Lake: Up and Running: Modern Data Lakehouse Architectures with Delta Lake』の邦訳です。 ※本電子書籍は同名出版物を底本として作成しました。記載内容は印刷出版当時のものです。 ※印刷出版再現のため電子書籍としては不要な情報を含んでいる場合があります。 ※印刷出版とは異なる表記・表現の場合があります。予めご了承ください。 ※プレビューにてお手持ちの電子端末での表示状態をご確認の上、商品をお買い求めください。

Apache Sparkの仕組みとビッグデータ向けの大規模処理とML開発を徹底解説 本書は、ビッグデータを主な対象としたデータ分析フレームワークであるApache Spark、MLflow、Delta Lakeの中級入門書です。「動かしてみる」だけではなく、どのような仕組みになっているのか、どうすれば効率的な実装が行えるかまで踏み込みつつ、データAIの実装者がApache Spark、MLflow およびDelta Lakeを使いこなすための解説を行います。 本書では、単純なデータ分析と複雑なデータ分析を実行し、どのように機械学習アルゴリズムを採用していくか、解説していきます。Apache Sparkの導入から解説をはじめ、Spark SQLとデータフレーム、データセットを紹介していきます。そこから、Apache Sparkを利用した実践的な機械学習の方法を解説していきます。本書での学習を通じて、次のことが学習できます。 ・Python、SQL、Scala、またはJavaの高レベルの構造化APIの学習 ・Spark の操作とSQLエンジンの理解 ・Spark 構成とSpark UIを使用したSpark操作の検査、調整、デバッグ ・JSON、Parquet、CSV、Avro、ORC、Hive、S3、またはKafkaといったデータソースへの接続 ・構造化ストリーミングを使用してバッチ データとストリーミング データの分析を実行 ・オープンソースのDelta LakeとSparkを使用して信頼性の高いデータ パイプラインを構築 ・MLlibを使用する機械学習パイプラインの開発、MLflowを使用するモデルの管理、本番化 ・［日本語版オリジナルコンテンツ］pandas DataFrame、SparkDataFrameに関する各種データフレームの使い分け ・［日本語版オリジナルコンテンツ］LLMやEnglish SDK for SparkなどAIを活用した新たなコーディングスタイル、LLMの利用方法の実践 ※本書は『Learning Spark: Lightning-Fast Data Analytics 2nd Edition』の邦訳です。 ※本電子書籍は同名出版物を底本として作成しました。記載内容は印刷出版当時のものです。 ※印刷出版再現のため電子書籍としては不要な情報を含んでいる場合があります。 ※印刷出版とは異なる表記・表現の場合があります。予めご了承ください。 ※プレビューにてお手持ちの電子端末での表示状態をご確認の上、商品をお買い求めください。