無料マンガ・ラノベなど、豊富なラインナップで188万冊以上配信中!
◆開発速度と品質を両立したデータ変換パイプラインを実現する◆
データドリブンな意思決定の重要性が高まるなか、効率的で品質の高いデータパイプラインの構築のためのツールであるdbt(Data Build Tool)への注目が集まっています。本書では、dbtの基本的な使い方から、実践的なデータモデリング、品質管理、CI/CD連携まで、体系的に解説します。また、実際のビジネスシナリオに基づいたハンズオン形式の解説により、みなさん自身の課題に即座に適用できる知識を提供します。
■目次
第1章:dbtで解決するデータ変換の課題
・データ変換における従来の課題
・現代のデータ基盤に求められるもの
・dbtとは?
・dbtによる解決策の全体像
第2章:dbtをはじめよう
・ハンズオンのセットアップ
・dbtプロジェクトの作成
・sourceの定義
・モデル構成の全体像
・stagingレイヤーの構築
・モデル間の参照(ref)
・martsレイヤーの構築
・マテリアライゼーションの設定
・Jinjaテンプレートとマクロによる共通処理の再利用
・dbtの実行
・ハンズオンの次に知っておきたいこと
第3章:チーム開発を支えるテスト、ドキュメント、CI/CD
・ハンズオンのセットアップ
・dbt testによるテスト実行
・dbtのメタデータ管理とドキュメント生成
・dbtにおけるCI/CDパイプライン
・ハンズオン:GitHub ActionsによるCI/CDパイプラインの構築
第4章:実践的データモデリング
・本章で使用するdbtプロジェクト構成
・ビジネスシナリオと分析要件
・stagingレイヤーの実装
・intermediateレイヤーの設計
・ディメンショナルモデルの構築
・データマートの構築とハンズオン実践
第5章:データ品質管理の実践
・データ品質アセスメントと指標設計
・開発段階での品質保証体制の構築
・運用段階での異常検知と監視
・チーム間でのデータ品質情報共有
・テスト運用の実践知識
第6章:ワークフローエンジンによるdbtの運用
・ワークフローの実装
・本番環境でのワークフローの設計と運用
第7章:レイクハウスにおけるdbtの活用
・データレイクからレイクハウスへ
・本章のハンズオンの概要
・ハンズオン1:Icebergベースのレイクハウスをdbtで扱う
・ハンズオン2:複数プロジェクトで同じレイクハウスを扱う
・Icebergを利用するうえでの注意点
第8章:既存システムからのマイグレーション
・マイグレーションにとどまらない組織の変革へ
・移行計画の立案
・段階的な移行実践
・移行後の改善と最適化
付録A:セマンティックレイヤーの紹介
付録B:AIによるdbt設計・運用の効率化
付録C:dbtトラブルシューティングガイド
■著者プロフィール
●大橋潤(おおはし・じゅん):アマゾン ウェブ サービス ジャパン合同会社所属。SIerでのシステム構築・運用を経てAWSにクラウドサポートエンジニアとして入社し、アナリティクス関連サービスの技術サポートに従事。
●関山 宜孝(せきやま・のりたか):ビッグデータエンジニア。OSS dbtアダプターの開発に携わる。2026年よりデータ/AI企業にてStaff Forward Deployed Engineerとして勤務。2014年から2026年までAWSにてAWS Glueの開発・顧客支援に従事。
●豊原世将(とよはら・ときまさ):アマゾン ウェブ サービス ジャパン合同会社所属。プロフェッショナルサービスのデータアナリティクスコンサルタントとして、エンタープライズのお客様に対して、データ基盤構築やデータマネジメントなど、データ利活用を支援。
●中谷宙央(なかや・みちあき):アマゾン ウェブ サービス ジャパン合同会社所属。Webサービス開発を経てAWSへ入社し、クラウドサポートエンジニアとしてアナリティクス関連サービスの技術支援に従事。現在はコンサルタントとしてお客様のデータ活用を支援。
●疋田宗太郎(ひきた・そうたろう):アマゾン ウェブ サービス ジャパン合同会社所属。検索とビッグデータに関わる技術を中心に活動している。
※アプリの閲覧環境は最新バージョンのものです。
※アプリの閲覧環境は最新バージョンのものです。