Apache Sparkの仕組みとビッグデータ向けの大規模処理とML開発を徹底解説 本書は、ビッグデータを主な対象としたデータ分析フレームワークであるApache Spark、MLflow、Delta Lakeの中級入門書です。「動かしてみる」だけではなく、どのような仕組みになっているのか、どうすれば効率的な実装が行えるかまで踏み込みつつ、データAIの実装者がApache Spark、MLflow およびDelta Lakeを使いこなすための解説を行います。 本書では、単純なデータ分析と複雑なデータ分析を実行し、どのように機械学習アルゴリズムを採用していくか、解説していきます。Apache Sparkの導入から解説をはじめ、Spark SQLとデータフレーム、データセットを紹介していきます。そこから、Apache Sparkを利用した実践的な機械学習の方法を解説していきます。本書での学習を通じて、次のことが学習できます。 ・Python、SQL、Scala、またはJavaの高レベルの構造化APIの学習 ・Spark の操作とSQLエンジンの理解 ・Spark 構成とSpark UIを使用したSpark操作の検査、調整、デバッグ ・JSON、Parquet、CSV、Avro、ORC、Hive、S3、またはKafkaといったデータソースへの接続 ・構造化ストリーミングを使用してバッチ データとストリーミング データの分析を実行 ・オープンソースのDelta LakeとSparkを使用して信頼性の高いデータ パイプラインを構築 ・MLlibを使用する機械学習パイプラインの開発、MLflowを使用するモデルの管理、本番化 ・［日本語版オリジナルコンテンツ］pandas DataFrame、SparkDataFrameに関する各種データフレームの使い分け ・［日本語版オリジナルコンテンツ］LLMやEnglish SDK for SparkなどAIを活用した新たなコーディングスタイル、LLMの利用方法の実践 ※本書は『Learning Spark: Lightning-Fast Data Analytics 2nd Edition』の邦訳です。 ※本電子書籍は同名出版物を底本として作成しました。記載内容は印刷出版当時のものです。 ※印刷出版再現のため電子書籍としては不要な情報を含んでいる場合があります。 ※印刷出版とは異なる表記・表現の場合があります。予めご了承ください。 ※プレビューにてお手持ちの電子端末での表示状態をご確認の上、商品をお買い求めください。

◆MLflow 3で実現するLLMアプリの本番運用◆ 　本書は、LLMアプリケーションの開発・運用に必要な一連のプロセス――可観測性の確保、品質評価、プロンプト管理、本番展開――を、オープンソースプラットフォーム「MLflow」を使って体系的に実践する技術書です。 　LLMアプリケーションは、従来の機械学習システムとは異なる難しさを持ちます。プロンプトのわずかな変更が品質に大きく影響し、エージェントの挙動は複雑で追跡が難しく、コストは見えにくい場所で膨らみます。MLflow 3はこうした課題に正面から向き合い、トレーシング、評価（LLM-as-a-Judge）、Prompt Registry、AI Gatewayといった機能を1つのプラットフォームに統合しました。 　本書では、シンプルなLLMアプリケーションから始め、RAGシステム、マルチエージェントまで段階的にカバーしています。実際に動くPythonコードとともに、「作って終わり」ではなく「運用し続けられる」LLMアプリケーションの構築方法を提供します。 ■目次 第1章 LLMOpsの世界へようこそ 第2章 MLflowとは 第3章 MLflowのインストールと初期設定 第4章 可観測性の確保──トレーシングの導入 第5章 改善サイクルを加速する　──評価の仕組み 第6章 プロンプトエンジニアリング──プロンプトの運用と管理 第7章 本番環境で動かす──サービングとデプロイメント 第8章 監視と運用──LLMアプリケーションの健全性管理 第9章 実践ケーススタディ 第10章 エンタープライズ環境でのMLflow活用 第11章 LLMOpsの未来とベストプラクティス ■著者プロフィール 弥生 隆明：Databricks Japanにて、生成AIおよびデータエンジニアリングを専門にDatabricksの導入支援に取り組む。2026年4月より青山学院大学特別研究員を兼務。 渡辺 祐貴：DatabricksにてオープンソースMLflowのテックリードを務め、LLMOps領域の開発を推進している。とくにLLMアプリケーションの可観測性および評価機能の設計・開発をリードし、MLflowのGenAI対応を牽引。 大内山 浩：はDatabricks JapanにてAI領域の専門家として企業のAI導入・活用支援に取り組む。専門学校の教育顧問も兼務。 平田 東夢：Databricksソフトウェアエンジニア。DatabrickではMLflowやAIエージェントフレームワークDSPyの開発に従事。 河村 春孝：Databricksソフトウェアエンジニア。2020年にDatabricksに入社し、メンテナーとしてプロジェクトの開発・発展に取り組んでいる。