BI・DWH

DWH・データレイク・レイクハウスの違い――選定時に見るべき要件

データ基盤の構想で最初につまずきやすいのが、「DWH(データウェアハウス)、データレイク、レイクハウスのどれを選ぶべきか」という問いです。しかし、この三つは単純な世代交代ではありません。構造化された経営指標を安定して提供するのか、ログや文書を含む多様なデータを将来の分析に残すのか、BIとAIを同じデータから動かすのかによって、適した構成は変わります。

EXPERT EDITION読了目安 約13分実務テンプレート・判断基準付き
FRAMEWORK
データ基盤方式を決める4段階

製品名から選ばず、意思決定とワークロードを起点に、統制・運用まで含む目標アーキテクチャとして具体化します。

01意思決定を定義利用者、判断、頻度、判断後の行動を明確化
02データ特性を評価形式、粒度、履歴、鮮度、品質、同時利用を整理
03統制と運用を設計権限、メタデータ、監視、スキル、TCOを比較
04目標構成を選択DWH、レイク、レイクハウス、併用を要件で判定
OUTPUT方式評価表・目標データアーキテクチャ・段階移行ロードマップ

重要なのは製品名から入らず、事業上の意思決定、データ特性、サービスレベル、統制、運用能力を要件に変換することです。本記事では、三方式の違いと選定手順を、エンタープライズアーキテクチャ(EA)とDAMA-DMBOKの観点も交えて整理します。

この記事でわかること

  • DWH・データレイク・レイクハウスの基本的な違い
  • 用途、品質、性能、ガバナンス、スキル、TCOによる比較方法
  • 単一方式に決め打ちせず、組み合わせを設計する考え方
  • EAとDMBOKを使って要件を漏れなく整理する方法

結論:名称ではなく「提供するデータサービス」で選ぶ

DWHは、定義と構造を整えたデータを、経営管理や定型分析へ安定して提供することを得意とします。データレイクは、多様な形式のデータを元の状態に近い形で保持し、探索、データサイエンス、将来の再利用に備える基盤です。レイクハウスは、オープンなファイルストレージを土台に、トランザクション、スキーマ管理、品質管理、BI向けのクエリ性能などを組み合わせる設計思想です。

現実の企業アーキテクチャでは、三択ではなく併用も一般的です。たとえば、原本として保持すべきデータはレイクに保持し、標準化したデータをレイクハウス上で加工し、経営報告向けにはDWHまたはSQL提供層を置く構成です。構成要素を増やせば連携、監視、権限、コストの管理も増えるため、「できること」ではなく「必要なこと」から範囲を決めます。

DWH・データレイク・レイクハウスの比較

比較観点DWHデータレイクレイクハウス
主な目的経営報告、定型分析・自由分析、部門横断KPI生データ保管、探索、データサイエンス、AIBI、データエンジニアリング、AIの基盤統合
扱うデータ主に構造化し、意味と品質を整えたデータ構造化、半構造化、非構造化を幅広く保持多様なデータを保持しつつ、テーブルとして統制
スキーマ格納前に定義する考え方が中心利用時に解釈する柔軟性が高い柔軟な格納とスキーマ適用・進化を両立
利用者BI開発者、アナリスト、業務利用者データエンジニア、データサイエンティスト左記の複数職種。役割別の利用経路が必要
得意な統制整合した指標、SQL、安定した権限・性能原本保持、再処理、多様なデータの収集共通データ上の品質段階、履歴、複数エンジン利用
主な注意点未確定用途への対応速度、非構造化データ意味、品質、発見性を放置した「データ沼」製品機能だけでは統合運用やKPI統一は完成しない

Microsoftの公式アーキテクチャガイドでも、単一のデータ管理方式があらゆる保存・分析タスクに適するわけではなく、実環境では複数方式を組み合わせることが示されています。したがって、「レイクハウスならDWHは不要」といった一般論ではなく、自社のワークロード単位で評価すべきです。

選定時に確認する7つの要件

1.意思決定と利用シナリオ

最初に「誰が、どの判断を、いつ行い、その結果どの行動を変えるか」を記述します。月次の予実管理、日次の需給調整、不正検知、顧客行動の探索では、必要な粒度、鮮度、応答時間が異なります。画面一覧ではなく、業務上の問いと意思決定を起点にしてください。

2.データ形式と変化の大きさ

基幹テーブル中心か、JSON、センサーログ、画像、文書まで扱うかを確認します。項目が安定し、業務定義が明確な領域はDWHと相性がよく、形式や用途が未確定なデータはレイクの柔軟性が有効です。両方を同じデータ資産として扱うなら、レイクハウスを含む統合構成を検討します。

3.品質を保証する段階

経営数値には、重複排除、コード統一、締め処理、訂正反映などの品質保証が必要です。原本を残すだけでよい領域と、公開前に品質基準を満たす領域を分け、データセットごとに「raw/validated/business-ready」などの状態を明示します。保存場所の名称より、誰がどの基準で昇格を承認するかが重要です。

4.鮮度、性能、同時利用

更新頻度は「リアルタイム」という言葉だけで決めず、発生から利用可能になるまでの許容時間、ピーク時の利用者数、代表クエリの応答目標を数値で定義します。バッチ、マイクロバッチ、ストリーミングを用途別に使い分け、不要な低遅延化を避けます。

5.ガバナンス、セキュリティ、監査

機密区分、保存期間、越境、行・列レベルのアクセス、暗号化、利用ログ、削除要求を確認します。また、カタログ、業務用語、データ責任者、リネージュが基盤をまたいで追跡できることも要件です。多様なデータを集めるほど、発見性と利用条件の整備が欠かせません。

6.組織のスキルと運用モデル

SQL中心のチームか、分散処理、ソフトウェア開発、機械学習の運用まで担えるかを見ます。新方式の採用は、権限設計、パイプライン監視、コスト管理、障害対応、データプロダクトの責任者まで含む運用変更です。必要な人材を調達・育成できない構成は、技術的に優れていても持続しません。

7.TCOと変更容易性

保存・計算費だけでなく、データコピー、変換、監視、テスト、ネットワーク、ライセンス、専門人材、障害復旧を含めて比較します。将来の変更に備え、データ形式、API、メタデータの可搬性、契約終了時の移行方法も確認します。

要件から方式を絞る判断表

要件の重心第一候補設計上の補足
確定したKPIを多数の利用者へ安定提供DWHセマンティックレイヤーで指標定義を再利用する
未加工データを長期保持し、探索・AIに利用データレイクカタログ、責任者、品質状態、削除規則を同時に設計する
BIとデータサイエンスが共通データを利用レイクハウス利用者別の提供層と性能保証を分ける
規制対象の経営報告と多様なログ分析を両立組み合わせ原本層、標準化層、提供層の責任境界を明確にする

EAとDMBOKで「基盤だけの最適化」を防ぐ

EAでは、データ基盤を単独の製品導入ではなく、事業能力、業務プロセス、情報、アプリケーション、テクノロジーのつながりとして設計します。現行と目標のアーキテクチャを描き、段階移行の単位を決めることで、短期のユースケースと全社標準の両方を扱えます。

DAMA-DMBOKの視点では、Data Warehousing & Business Intelligenceだけでなく、データガバナンス、データアーキテクチャ、モデリング、統合、品質、メタデータ、セキュリティを横断して確認します。方式選定表にこれらの責任と成果物を追加すると、「基盤は完成したが、数値が信用されない」という失敗を抑えられます。

選定を進める実務ステップ

  1. 優先する3〜5件の意思決定ユースケースを選ぶ
  2. 必要データ、粒度、履歴、鮮度、品質、権限を定義する
  3. 現行データフローと重複・ボトルネックを可視化する
  4. 候補方式を同じ評価項目と代表ワークロードで比較する
  5. 小さな実証で性能だけでなく、運用、品質、コストを測る
  6. 目標構成と段階移行ロードマップを意思決定する

要件を具体化する際は、DWH構築の要件定義チェックリストもご覧ください。セルフサービス利用を広げる場合は、セルフサービスBIのガバナンスまで一体で設計する必要があります。

専門家向け補論:製品名ではなくアーキテクチャ決定記録で選ぶ

DWH、データレイク、レイクハウスは互いに排他的な製品区分ではありません。保存形式、計算エンジン、データモデル、提供インターフェース、ガバナンスを分離すると、同一基盤内で複数方式を組み合わせられます。選定では「レイクハウスを採用する」ではなく、どのデータサービスを誰に、どのSLOで提供するために、どの構成要素を使うかを決定記録へ残します。

アーキテクチャ決定記録のサンプル

項目記載内容レビュー観点
意思決定企業報告はDWH、探索・機械学習はレイクハウス、原本は未加工データ層(Raw層)用途と責任境界が明確か
前提・制約SQL中心の運用、半構造データ増加、日次確定将来の変化を含むか
候補単一DWH、データレイク+DWH、レイクハウス中心、連携型同じ評価軸で比較したか
トレードオフ柔軟性、取引整合性、性能、スキル、運用、費用利点だけでなく負債を記録したか
再評価条件データ量、待ち時間、利用者、規制、費用の閾値いつ決定を見直すか
重要な分離:オープンなファイル形式を採用しても、メタデータ、権限、ジョブ、SQL方言、運用APIまで移植できるとは限りません。「ストレージの可搬性」と「ワークロード全体の可搬性」を分け、退出計画とデータエクスポートの実証を行います。

高度な設計判断:一基盤か、複合アーキテクチャか

設計論点DWH中心レイクハウス中心複合型
主要利用者SQL、BI、定型分析データエンジニア、データサイエンティスト、探索役割別に最適化
品質確定格納前または公開前に厳格層が進むごとに品質を段階的に高めるRaw保持とCurated契約を分離
取引・更新複数表更新や整合性を重視ファイル/テーブル処理と大規模変換更新責任を領域ごとに分ける
性能反復SQLと同時実行を最適化大規模処理と多様なエンジン提供層でワークロード隔離
運用モデル・SQL・ジョブ中心コード、ファイル、カタログ、ジョブ中心共通の監視基盤と個別の運用手順書が必要
主なリスク未構造・探索への硬直性意味・品質・小ファイルの無秩序重複、責任空白、費用の見えにくさ

データプロダクト契約とSLO

基盤方式が何であっても、利用者が直接使うのはデータプロダクトです。データセットごとに、業務目的、所有者、スキーマ、意味、粒度、履歴、鮮度、品質、権限、リネージュ、変更・廃止を定義します。Raw、Cleansed、Curatedの層名だけでは、品質保証や利用可否を表せません。

SLO領域定義例設計への影響
鮮度ソース確定後60分以内に公開取り込み方式、再処理、監視
完全性重要キー欠損を許容せず隔離品質ゲート、Quarantine領域
可用性月次締め時間帯を最優先容量、障害復旧、変更凍結
性能代表クエリの応答時間をパーセンタイル値で評価パーティション、集約、キャッシュ
変更破壊的変更は並行版と事前通知バージョン、契約テスト、影響分析
保持Raw層は再処理に必要な期間データを保持し、Curated層は監査要件に従う階層化、アーカイブ、削除証跡

アンチパターン

アンチパターン結果是正策
とりあえず全データをLakeへ所有・意味・品質が不明なデータスワンプ(管理されず使えない「データの沼」)取り込み時に所有者、分類、保持、利用目的を登録
Medallionをフォルダ名だけで実装層間の品質ゲートと責任がない各層の受入・公開・再処理契約を定義
全処理を一つのエンジンへ統一不得意なワークロードで費用・性能が悪化保存と計算を分離し、代表負荷で検証
PoCを小データだけで評価同時実行、履歴、障害復旧、費用を見落とすピーク量、失敗、再処理、権限を含む実証
コピー数を把握しない整合性・費用・削除義務が複雑化リネージュ、正本、複製理由、有効期限を管理

運営RACIと成熟度

活動データプロダクト責任者プラットフォームデータエンジニアガバナンス/EA
用途・SLO・優先度A/RCCC
基盤・容量・共通サービスCA/RCC
モデル・パイプライン・品質CCA/RC
原則・分類・リネージュ・例外CRRA
価値・費用・廃止レビューARCC
段階状態次の一手
レベル1 保存中心基盤導入と取り込み件数を重視用途、所有、カタログ
レベル2 管理済み層、品質、権限、運用が標準化データプロダクト契約とSLO
レベル3 サービス型ドメイン別に再利用可能なデータを提供価値・費用・信頼性の統合管理
レベル4 適応型負荷と変化に応じ配置・計算を最適化ポリシー自動化とADRの継続的な見直し

段階ロードマップ

  1. 構想:ユースケース、データ分類、SLO、制約、現行資産を整理する。
  2. 方式検証:代表データとピーク負荷で、性能、品質、権限、障害復旧、費用を測る。
  3. 対象を絞ったエンドツーエンド実装:一つのデータプロダクトをRawから消費まで構築し、運用Runbookを作る。
  4. 標準化:テンプレート、CI/CD、カタログ、品質、リネージュ、FinOpsを共通化する。
  5. 拡張・再評価:ADRの再評価条件に基づき、方式の追加・統合・廃止を判断する。

用語解説

  • Schema-on-write:格納・公開前に構造と品質を定める考え方。
  • Schema-on-read:読み取り時に用途に応じて構造を解釈する考え方。
  • Medallion Architecture:Raw、検証・標準化、業務提供へ段階的に品質を高める設計パターン。
  • ADR:アーキテクチャ意思決定記録。選択、理由、代替、影響、再評価条件を残す記録。

まとめ

DWH、データレイク、レイクハウスの選定に唯一の正解はありません。正解に近づく方法は、意思決定を起点に、データ、品質、性能、統制、スキル、TCOを同じ土俵で比較し、必要なら複数方式の責任境界を設計することです。Version株式会社では、EAとDMBOKをベースに、製品選定前のデータ基盤構想から段階移行まで支援しています。自社の要件整理や候補構成の第三者レビューをご希望の場合は、お問い合わせください

参考資料

BI・DWH構想を、経営判断とデータ管理の両面から整理しませんか

Version株式会社は、意思決定とKPIの整理、データアーキテクチャ、DMBOKに基づくガバナンス、基盤選定、導入・刷新ロードマップを一体で支援します。

BI・DWHについて相談する

BI/DWHテーマクラスター:BI要件定義経営ダッシュボードセルフサービスBI統制DWH・データレイク・レイクハウスDWH要件定義セマンティックレイヤーBI数値不一致とリネージュレガシーDWH刷新BI CoEDWH受入テスト

関連記事

コメント

この記事へのコメントはありません。

TOP