Apache Sparkの仕組みとビッグデータ向けの大規模処理とML開発を徹底解説 本書は、ビッグデータを主な対象としたデータ分析フレームワークであるApache Spark、MLflow、Delta Lakeの中級入門書です。「動かしてみる」だけではなく、どのような仕組みになっているのか、どうすれば効率的な実装が行えるかまで踏み込みつつ、データAIの実装者がApache Spark、MLflow およびDelta Lakeを使いこなすための解説を行います。 本書では、単純なデータ分析と複雑なデータ分析を実行し、どのように機械学習アルゴリズムを採用していくか、解説していきます。Apache Sparkの導入から解説をはじめ、Spark SQLとデータフレーム、データセットを紹介していきます。そこから、Apache Sparkを利用した実践的な機械学習の方法を解説していきます。本書での学習を通じて、次のことが学習できます。 ・Python、SQL、Scala、またはJavaの高レベルの構造化APIの学習 ・Spark の操作とSQLエンジンの理解 ・Spark 構成とSpark UIを使用したSpark操作の検査、調整、デバッグ ・JSON、Parquet、CSV、Avro、ORC、Hive、S3、またはKafkaといったデータソースへの接続 ・構造化ストリーミングを使用してバッチ データとストリーミング データの分析を実行 ・オープンソースのDelta LakeとSparkを使用して信頼性の高いデータ パイプラインを構築 ・MLlibを使用する機械学習パイプラインの開発、MLflowを使用するモデルの管理、本番化 ・［日本語版オリジナルコンテンツ］pandas DataFrame、SparkDataFrameに関する各種データフレームの使い分け ・［日本語版オリジナルコンテンツ］LLMやEnglish SDK for SparkなどAIを活用した新たなコーディングスタイル、LLMの利用方法の実践 ※本書は『Learning Spark: Lightning-Fast Data Analytics 2nd Edition』の邦訳です。 ※本電子書籍は同名出版物を底本として作成しました。記載内容は印刷出版当時のものです。 ※印刷出版再現のため電子書籍としては不要な情報を含んでいる場合があります。 ※印刷出版とは異なる表記・表現の場合があります。予めご了承ください。 ※プレビューにてお手持ちの電子端末での表示状態をご確認の上、商品をお買い求めください。

◆MLflow 3で実現するLLMアプリの本番運用◆ 　本書は、LLMアプリケーションの開発・運用に必要な一連のプロセス――可観測性の確保、品質評価、プロンプト管理、本番展開――を、オープンソースプラットフォーム「MLflow」を使って体系的に実践する技術書です。 　LLMアプリケーションは、従来の機械学習システムとは異なる難しさを持ちます。プロンプトのわずかな変更が品質に大きく影響し、エージェントの挙動は複雑で追跡が難しく、コストは見えにくい場所で膨らみます。MLflow 3はこうした課題に正面から向き合い、トレーシング、評価（LLM-as-a-Judge）、Prompt Registry、AI Gatewayといった機能を1つのプラットフォームに統合しました。 　本書では、シンプルなLLMアプリケーションから始め、RAGシステム、マルチエージェントまで段階的にカバーしています。実際に動くPythonコードとともに、「作って終わり」ではなく「運用し続けられる」LLMアプリケーションの構築方法を提供します。 ■目次 第1章 LLMOpsの世界へようこそ 第2章 MLflowとは 第3章 MLflowのインストールと初期設定 第4章 可観測性の確保──トレーシングの導入 第5章 改善サイクルを加速する　──評価の仕組み 第6章 プロンプトエンジニアリング──プロンプトの運用と管理 第7章 本番環境で動かす──サービングとデプロイメント 第8章 監視と運用──LLMアプリケーションの健全性管理 第9章 実践ケーススタディ 第10章 エンタープライズ環境でのMLflow活用 第11章 LLMOpsの未来とベストプラクティス ■著者プロフィール 弥生 隆明：Databricks Japanにて、生成AIおよびデータエンジニアリングを専門にDatabricksの導入支援に取り組む。2026年4月より青山学院大学特別研究員を兼務。 渡辺 祐貴：DatabricksにてオープンソースMLflowのテックリードを務め、LLMOps領域の開発を推進している。とくにLLMアプリケーションの可観測性および評価機能の設計・開発をリードし、MLflowのGenAI対応を牽引。 大内山 浩：はDatabricks JapanにてAI領域の専門家として企業のAI導入・活用支援に取り組む。専門学校の教育顧問も兼務。 平田 東夢：Databricksソフトウェアエンジニア。DatabrickではMLflowやAIエージェントフレームワークDSPyの開発に従事。 河村 春孝：Databricksソフトウェアエンジニア。2020年にDatabricksに入社し、メンテナーとしてプロジェクトの開発・発展に取り組んでいる。

高い信頼性とハイパフォーマンスを両立するデータプラットフォームの新標準！ ビッグデータを最大限活用する仕組みと運用法を徹底解説 【本書の概要】 本書は、高い信頼性とハイパフォーマンスを両立する、OSSのストレージレイヤソフトウェアであるDelta Lakeの入門書です。セットアップから実際の操作手順、実行例まで、データ分析に携わる方が迷わずDelta Lakeを使いこなせるよう丁寧に解説を行います。 【本書で学べること】 ・最新のデータ管理およびデータエンジニアリング手法 ・ACIDトランザクションが大規模なデータレイクにどのように信頼性をもたらすのか ・データレイクに対してストリーミングジョブとバッチジョブを同時に実行する方法 ・テーブルの削除、更新、マージ方法 ・タイムトラベルを使用したロールバックによるデータバージョンの調査方法 ・メダリオンアーキテクチャに従ったストリーミングデータ品質パイプラインの構築方法 【本書の対象読者】 ・データ分析に携わる方 ・Delta Lakeの基本事項、用語、始め方などを知りたい方 ・最新のレイクハウスアーキテクチャの機能とメリットについて学びたいデータ担当者 ・Apache Sparkの経験を持つデータ担当者 【目次】 Chapter 1　 データアーキテクチャの進化 Chapter 2　 Delta Lake入門 Chapter 3　 Deltaテーブルの基本操作 Chapter 4　 テーブルの削除、更新、マージ Chapter 5　 パフォーマンス・チューニング Chapter 6　 タイムトラベルの利用 Chapter 7　 スキーマの取り扱い Chapter 8　 ストリーミングデータに対するオペレーション Chapter 9　 Delta Sharing Chapter 10　 Delta Lake上でのレイクハウス構築 ※本書は『Delta Lake: Up and Running: Modern Data Lakehouse Architectures with Delta Lake』の邦訳です。 ※本電子書籍は同名出版物を底本として作成しました。記載内容は印刷出版当時のものです。 ※印刷出版再現のため電子書籍としては不要な情報を含んでいる場合があります。 ※印刷出版とは異なる表記・表現の場合があります。予めご了承ください。 ※プレビューにてお手持ちの電子端末での表示状態をご確認の上、商品をお買い求めください。

【30秒で分かる、この電子書籍の中身】 ◆この電子書籍の結論 数百のAIエージェントが乱立する組織に、ポリシー・監査・コストを束ねる「制御プレーン」を設計し、役員会に通る導入起案へ仕立てる実践的指南書。 ◆こんな人におすすめ ・全社のAI基盤を任されたプラットフォーム／セキュリティ責任者 ・シャドーAIの拡大に危機感を持つ情報システム部門 ・AIガバナンスの起案を役員会に通したいDX推進担当 ・統制の厳しい業界でAI導入を進める経営層 ◆この本で学べる5つのこと 1.誰が何に触れているか可視化するポリシー3階層設計 2.部署ごとにブラックボックス化しないコスト管理 3.機密データを閉じ込めるサンドボックス運用 4.退職者アカウント等のリスクを潰す認証・監査 5.現場のPoCを役員承認の起案へ仕立てる進め方 ◆FAQ Q1.どんな人が読むと効果的？ A1.数百のAIエージェントと数十の共有サーバーが乱立し統制が追いつかない組織のプラットフォーム／セキュリティ責任者に最適。 Q2.読み終えると何が変わる？ A2.ポリシー・監査・コストを分離した制御プレーンを設計判断でき、役員やコンプライアンス部門と同じ語彙で議論できます。 Q3.前提知識は必要？ A3.個人・チームでのAIエージェント活用経験を前提としますが、必要な語彙は序章で整理しており本書単独でも読み進められます。 Q4.特定製品の解説書？ A4.OSS「Omnigent」を実装例に深部まで解説しますが、狙いは自社スタックへ応用できる設計思想と意思決定の枠組みを示すことです。 ◆著者について ENGORGIO, Inc.（著者）：AIネイティブな組織改革、データAI戦略アドバイザリ、AIエージェントの実装・ガバナンス整備を支援。 長谷川亮（著者）：外資系コンサルファーム、Databricksを経て、データAIガバナンス設計を担当。 弥生隆明（著者）：Databricksシニア・スペシャリストSA。生成AI・LLMOpsを技術面から支援。 平田東夢（著者・全体監修）：Databricksソフトウェアエンジニア。Omnigentの開発に従事。 竹下俊一郎（監修）：Databricksシニア・ソリューションアーキテクト。金融業界のガバナンス実装を担当。 ※プレビューにてお手持ちの電子端末での表示状態をご確認の上、商品をお買い求めください。