疋田宗太郎の検索結果

  • 実践dbt入門
    NEW
    ◆開発速度と品質を両立したデータ変換パイプラインを実現する◆ データドリブンな意思決定の重要性が高まるなか、効率的で品質の高いデータパイプラインの構築のためのツールであるdbt(Data Build Tool)への注目が集まっています。本書では、dbtの基本的な使い方から、実践的なデータモデリング、品質管理、CI/CD連携まで、体系的に解説します。また、実際のビジネスシナリオに基づいたハンズオン形式の解説により、みなさん自身の課題に即座に適用できる知識を提供します。 ■目次 第1章:dbtで解決するデータ変換の課題 ・データ変換における従来の課題 ・現代のデータ基盤に求められるもの ・dbtとは? ・dbtによる解決策の全体像 第2章:dbtをはじめよう ・ハンズオンのセットアップ ・dbtプロジェクトの作成 ・sourceの定義 ・モデル構成の全体像 ・stagingレイヤーの構築 ・モデル間の参照(ref) ・martsレイヤーの構築 ・マテリアライゼーションの設定 ・Jinjaテンプレートとマクロによる共通処理の再利用 ・dbtの実行 ・ハンズオンの次に知っておきたいこと 第3章:チーム開発を支えるテスト、ドキュメント、CI/CD ・ハンズオンのセットアップ ・dbt testによるテスト実行 ・dbtのメタデータ管理とドキュメント生成 ・dbtにおけるCI/CDパイプライン ・ハンズオン:GitHub ActionsによるCI/CDパイプラインの構築 第4章:実践的データモデリング ・本章で使用するdbtプロジェクト構成 ・ビジネスシナリオと分析要件 ・stagingレイヤーの実装 ・intermediateレイヤーの設計 ・ディメンショナルモデルの構築 ・データマートの構築とハンズオン実践 第5章:データ品質管理の実践 ・データ品質アセスメントと指標設計 ・開発段階での品質保証体制の構築 ・運用段階での異常検知と監視 ・チーム間でのデータ品質情報共有 ・テスト運用の実践知識 第6章:ワークフローエンジンによるdbtの運用 ・ワークフローの実装 ・本番環境でのワークフローの設計と運用 第7章:レイクハウスにおけるdbtの活用 ・データレイクからレイクハウスへ ・本章のハンズオンの概要 ・ハンズオン1:Icebergベースのレイクハウスをdbtで扱う ・ハンズオン2:複数プロジェクトで同じレイクハウスを扱う ・Icebergを利用するうえでの注意点 第8章:既存システムからのマイグレーション ・マイグレーションにとどまらない組織の変革へ ・移行計画の立案 ・段階的な移行実践 ・移行後の改善と最適化 付録A:セマンティックレイヤーの紹介 付録B:AIによるdbt設計・運用の効率化 付録C:dbtトラブルシューティングガイド ■著者プロフィール ●大橋潤(おおはし・じゅん):アマゾン ウェブ サービス ジャパン合同会社所属。SIerでのシステム構築・運用を経てAWSにクラウドサポートエンジニアとして入社し、アナリティクス関連サービスの技術サポートに従事。 ●関山 宜孝(せきやま・のりたか):ビッグデータエンジニア。OSS dbtアダプターの開発に携わる。2026年よりデータ/AI企業にてStaff Forward Deployed Engineerとして勤務。2014年から2026年までAWSにてAWS Glueの開発・顧客支援に従事。 ●豊原世将(とよはら・ときまさ):アマゾン ウェブ サービス ジャパン合同会社所属。プロフェッショナルサービスのデータアナリティクスコンサルタントとして、エンタープライズのお客様に対して、データ基盤構築やデータマネジメントなど、データ利活用を支援。 ●中谷宙央(なかや・みちあき):アマゾン ウェブ サービス ジャパン合同会社所属。Webサービス開発を経てAWSへ入社し、クラウドサポートエンジニアとしてアナリティクス関連サービスの技術支援に従事。現在はコンサルタントとしてお客様のデータ活用を支援。 ●疋田宗太郎(ひきた・そうたろう):アマゾン ウェブ サービス ジャパン合同会社所属。検索とビッグデータに関わる技術を中心に活動している。
  • 実践Apache Iceberg —— 高効率・高生産性を実現するオープンなデータ基盤の構築と運用
    ビジネス・実用
    -
    1巻4,400円 (税込)
    ※この商品はタブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字だけを拡大することや、文字列のハイライト、検索、辞書の参照、引用などの機能が使用できません。 ◆次世代のテーブルフォーマットIcebergを完全解説!◆ Apache Icebergは、ストレージ上のファイル群を抽象化し分散クエリエンジンで扱うためのオープンな「テーブルフォーマット」です。本書では、データレイク構築に関する基本的な考え方やIcebergを使うことのメリットといった基本から、Sparkなどの各種分散クエリエンジンにおける実践的な活用方法、そして実運用のためのノウハウまで、豊富なハンズオンとともに解説。次世代のデータ基盤の構築・運用に関わるエンジニア必携の一冊です。 ■こんな方におすすめ ・データ基盤の開発・運用に携わるエンジニア、これからデータ基盤を作りたいエンジニア ■目次 第1部 Apache Icebergの基本 ・第1章:データレイクの課題とApache Iceberg ・第2章:Apache Icebergの仕組みと機能 ・第3章:Icebergカタログとストレージ 第2部 分散クエリエンジンでの利用 ・第4章:Apache Spark ・第5章:Apache Flink ・第6章:Trino ・第7章:Apache Hive ・第8章:PyIceberg 第3部 ユースケースと応用 ・第9章:ユースケースとソリューションパターン ・第10章:AWSでIcebergを活用する ・第11章:運用管理 ・第12章:パフォーマンス最適化 ・第13章:Icebergへの移行戦略とパターン ■著者プロフィール 田中智大(たなか ともひろ):アマゾン ウェブ サービス ジャパン合同会社 サポートエンジニアリングチームに所属。2017年にAWSにジョインし、ビッグデータに関連するサービスについて、日々お客様の技術的課題の解決に取り組んでいる。最近はApache Iceberg OSSへの貢献をはじめ、海外カンファレンスでの登壇などコミュニティ活動にも積極的に参加している。 疋田宗太郎(ひきた そうたろう):アマゾン ウェブ サービス ジャパン合同会社所属。SI企業でエンタープライズITに向けた市場取引システムやデータ分析基盤の構築、運用に従事。AWSではデータ分析基盤の構想策定から具体的な実装支援までを行う。巨大なデータを効率よく柔軟に扱う技術と、それを支えるOSSに関心があり、Apache IcebergやOpenSearchを好む。

最近チェックした作品からのおすすめ