データ基盤の構想で最初につまずきやすいのが、「DWH(データウェアハウス)、データレイク、レイクハウスのどれを選ぶべきか」という問いです。しかし、この三つは単純な世代交代ではありません。構造化された経営指標を安定して提供するのか、ログや文書を含む多様なデータを将来の分析に残すのか、BIとAIを同じデータから動かすのかによって、適した構成は変わります。
製品名から選ばず、意思決定とワークロードを起点に、統制・運用まで含む目標アーキテクチャとして具体化します。
重要なのは製品名から入らず、事業上の意思決定、データ特性、サービスレベル、統制、運用能力を要件に変換することです。本記事では、三方式の違いと選定手順を、エンタープライズアーキテクチャ(EA)とDAMA-DMBOKの観点も交えて整理します。
この記事でわかること
- DWH・データレイク・レイクハウスの基本的な違い
- 用途、品質、性能、ガバナンス、スキル、TCOによる比較方法
- 単一方式に決め打ちせず、組み合わせを設計する考え方
- EAとDMBOKを使って要件を漏れなく整理する方法
結論:名称ではなく「提供するデータサービス」で選ぶ
DWHは、定義と構造を整えたデータを、経営管理や定型分析へ安定して提供することを得意とします。データレイクは、多様な形式のデータを元の状態に近い形で保持し、探索、データサイエンス、将来の再利用に備える基盤です。レイクハウスは、オープンなファイルストレージを土台に、トランザクション、スキーマ管理、品質管理、BI向けのクエリ性能などを組み合わせる設計思想です。
現実の企業アーキテクチャでは、三択ではなく併用も一般的です。たとえば、原本として保持すべきデータはレイクに保持し、標準化したデータをレイクハウス上で加工し、経営報告向けにはDWHまたはSQL提供層を置く構成です。構成要素を増やせば連携、監視、権限、コストの管理も増えるため、「できること」ではなく「必要なこと」から範囲を決めます。
DWH・データレイク・レイクハウスの比較
| 比較観点 | DWH | データレイク | レイクハウス |
|---|---|---|---|
| 主な目的 | 経営報告、定型分析・自由分析、部門横断KPI | 生データ保管、探索、データサイエンス、AI | BI、データエンジニアリング、AIの基盤統合 |
| 扱うデータ | 主に構造化し、意味と品質を整えたデータ | 構造化、半構造化、非構造化を幅広く保持 | 多様なデータを保持しつつ、テーブルとして統制 |
| スキーマ | 格納前に定義する考え方が中心 | 利用時に解釈する柔軟性が高い | 柔軟な格納とスキーマ適用・進化を両立 |
| 利用者 | BI開発者、アナリスト、業務利用者 | データエンジニア、データサイエンティスト | 左記の複数職種。役割別の利用経路が必要 |
| 得意な統制 | 整合した指標、SQL、安定した権限・性能 | 原本保持、再処理、多様なデータの収集 | 共通データ上の品質段階、履歴、複数エンジン利用 |
| 主な注意点 | 未確定用途への対応速度、非構造化データ | 意味、品質、発見性を放置した「データ沼」 | 製品機能だけでは統合運用やKPI統一は完成しない |
Microsoftの公式アーキテクチャガイドでも、単一のデータ管理方式があらゆる保存・分析タスクに適するわけではなく、実環境では複数方式を組み合わせることが示されています。したがって、「レイクハウスならDWHは不要」といった一般論ではなく、自社のワークロード単位で評価すべきです。
選定時に確認する7つの要件
1.意思決定と利用シナリオ
最初に「誰が、どの判断を、いつ行い、その結果どの行動を変えるか」を記述します。月次の予実管理、日次の需給調整、不正検知、顧客行動の探索では、必要な粒度、鮮度、応答時間が異なります。画面一覧ではなく、業務上の問いと意思決定を起点にしてください。
2.データ形式と変化の大きさ
基幹テーブル中心か、JSON、センサーログ、画像、文書まで扱うかを確認します。項目が安定し、業務定義が明確な領域はDWHと相性がよく、形式や用途が未確定なデータはレイクの柔軟性が有効です。両方を同じデータ資産として扱うなら、レイクハウスを含む統合構成を検討します。
3.品質を保証する段階
経営数値には、重複排除、コード統一、締め処理、訂正反映などの品質保証が必要です。原本を残すだけでよい領域と、公開前に品質基準を満たす領域を分け、データセットごとに「raw/validated/business-ready」などの状態を明示します。保存場所の名称より、誰がどの基準で昇格を承認するかが重要です。
4.鮮度、性能、同時利用
更新頻度は「リアルタイム」という言葉だけで決めず、発生から利用可能になるまでの許容時間、ピーク時の利用者数、代表クエリの応答目標を数値で定義します。バッチ、マイクロバッチ、ストリーミングを用途別に使い分け、不要な低遅延化を避けます。
5.ガバナンス、セキュリティ、監査
機密区分、保存期間、越境、行・列レベルのアクセス、暗号化、利用ログ、削除要求を確認します。また、カタログ、業務用語、データ責任者、リネージュが基盤をまたいで追跡できることも要件です。多様なデータを集めるほど、発見性と利用条件の整備が欠かせません。
6.組織のスキルと運用モデル
SQL中心のチームか、分散処理、ソフトウェア開発、機械学習の運用まで担えるかを見ます。新方式の採用は、権限設計、パイプライン監視、コスト管理、障害対応、データプロダクトの責任者まで含む運用変更です。必要な人材を調達・育成できない構成は、技術的に優れていても持続しません。
7.TCOと変更容易性
保存・計算費だけでなく、データコピー、変換、監視、テスト、ネットワーク、ライセンス、専門人材、障害復旧を含めて比較します。将来の変更に備え、データ形式、API、メタデータの可搬性、契約終了時の移行方法も確認します。
要件から方式を絞る判断表
| 要件の重心 | 第一候補 | 設計上の補足 |
|---|---|---|
| 確定したKPIを多数の利用者へ安定提供 | DWH | セマンティックレイヤーで指標定義を再利用する |
| 未加工データを長期保持し、探索・AIに利用 | データレイク | カタログ、責任者、品質状態、削除規則を同時に設計する |
| BIとデータサイエンスが共通データを利用 | レイクハウス | 利用者別の提供層と性能保証を分ける |
| 規制対象の経営報告と多様なログ分析を両立 | 組み合わせ | 原本層、標準化層、提供層の責任境界を明確にする |
EAとDMBOKで「基盤だけの最適化」を防ぐ
EAでは、データ基盤を単独の製品導入ではなく、事業能力、業務プロセス、情報、アプリケーション、テクノロジーのつながりとして設計します。現行と目標のアーキテクチャを描き、段階移行の単位を決めることで、短期のユースケースと全社標準の両方を扱えます。
DAMA-DMBOKの視点では、Data Warehousing & Business Intelligenceだけでなく、データガバナンス、データアーキテクチャ、モデリング、統合、品質、メタデータ、セキュリティを横断して確認します。方式選定表にこれらの責任と成果物を追加すると、「基盤は完成したが、数値が信用されない」という失敗を抑えられます。
選定を進める実務ステップ
- 優先する3〜5件の意思決定ユースケースを選ぶ
- 必要データ、粒度、履歴、鮮度、品質、権限を定義する
- 現行データフローと重複・ボトルネックを可視化する
- 候補方式を同じ評価項目と代表ワークロードで比較する
- 小さな実証で性能だけでなく、運用、品質、コストを測る
- 目標構成と段階移行ロードマップを意思決定する
要件を具体化する際は、DWH構築の要件定義チェックリストもご覧ください。セルフサービス利用を広げる場合は、セルフサービスBIのガバナンスまで一体で設計する必要があります。
専門家向け補論:製品名ではなくアーキテクチャ決定記録で選ぶ
DWH、データレイク、レイクハウスは互いに排他的な製品区分ではありません。保存形式、計算エンジン、データモデル、提供インターフェース、ガバナンスを分離すると、同一基盤内で複数方式を組み合わせられます。選定では「レイクハウスを採用する」ではなく、どのデータサービスを誰に、どのSLOで提供するために、どの構成要素を使うかを決定記録へ残します。
アーキテクチャ決定記録のサンプル
| 項目 | 記載内容 | レビュー観点 |
|---|---|---|
| 意思決定 | 企業報告はDWH、探索・機械学習はレイクハウス、原本は未加工データ層(Raw層) | 用途と責任境界が明確か |
| 前提・制約 | SQL中心の運用、半構造データ増加、日次確定 | 将来の変化を含むか |
| 候補 | 単一DWH、データレイク+DWH、レイクハウス中心、連携型 | 同じ評価軸で比較したか |
| トレードオフ | 柔軟性、取引整合性、性能、スキル、運用、費用 | 利点だけでなく負債を記録したか |
| 再評価条件 | データ量、待ち時間、利用者、規制、費用の閾値 | いつ決定を見直すか |
高度な設計判断:一基盤か、複合アーキテクチャか
| 設計論点 | DWH中心 | レイクハウス中心 | 複合型 |
|---|---|---|---|
| 主要利用者 | SQL、BI、定型分析 | データエンジニア、データサイエンティスト、探索 | 役割別に最適化 |
| 品質確定 | 格納前または公開前に厳格 | 層が進むごとに品質を段階的に高める | Raw保持とCurated契約を分離 |
| 取引・更新 | 複数表更新や整合性を重視 | ファイル/テーブル処理と大規模変換 | 更新責任を領域ごとに分ける |
| 性能 | 反復SQLと同時実行を最適化 | 大規模処理と多様なエンジン | 提供層でワークロード隔離 |
| 運用 | モデル・SQL・ジョブ中心 | コード、ファイル、カタログ、ジョブ中心 | 共通の監視基盤と個別の運用手順書が必要 |
| 主なリスク | 未構造・探索への硬直性 | 意味・品質・小ファイルの無秩序 | 重複、責任空白、費用の見えにくさ |
データプロダクト契約とSLO
基盤方式が何であっても、利用者が直接使うのはデータプロダクトです。データセットごとに、業務目的、所有者、スキーマ、意味、粒度、履歴、鮮度、品質、権限、リネージュ、変更・廃止を定義します。Raw、Cleansed、Curatedの層名だけでは、品質保証や利用可否を表せません。
| SLO領域 | 定義例 | 設計への影響 |
|---|---|---|
| 鮮度 | ソース確定後60分以内に公開 | 取り込み方式、再処理、監視 |
| 完全性 | 重要キー欠損を許容せず隔離 | 品質ゲート、Quarantine領域 |
| 可用性 | 月次締め時間帯を最優先 | 容量、障害復旧、変更凍結 |
| 性能 | 代表クエリの応答時間をパーセンタイル値で評価 | パーティション、集約、キャッシュ |
| 変更 | 破壊的変更は並行版と事前通知 | バージョン、契約テスト、影響分析 |
| 保持 | Raw層は再処理に必要な期間データを保持し、Curated層は監査要件に従う | 階層化、アーカイブ、削除証跡 |
アンチパターン
| アンチパターン | 結果 | 是正策 |
|---|---|---|
| とりあえず全データをLakeへ | 所有・意味・品質が不明なデータスワンプ(管理されず使えない「データの沼」) | 取り込み時に所有者、分類、保持、利用目的を登録 |
| Medallionをフォルダ名だけで実装 | 層間の品質ゲートと責任がない | 各層の受入・公開・再処理契約を定義 |
| 全処理を一つのエンジンへ統一 | 不得意なワークロードで費用・性能が悪化 | 保存と計算を分離し、代表負荷で検証 |
| PoCを小データだけで評価 | 同時実行、履歴、障害復旧、費用を見落とす | ピーク量、失敗、再処理、権限を含む実証 |
| コピー数を把握しない | 整合性・費用・削除義務が複雑化 | リネージュ、正本、複製理由、有効期限を管理 |
運営RACIと成熟度
| 活動 | データプロダクト責任者 | プラットフォーム | データエンジニア | ガバナンス/EA |
|---|---|---|---|---|
| 用途・SLO・優先度 | A/R | C | C | C |
| 基盤・容量・共通サービス | C | A/R | C | C |
| モデル・パイプライン・品質 | C | C | A/R | C |
| 原則・分類・リネージュ・例外 | C | R | R | A |
| 価値・費用・廃止レビュー | A | R | C | C |
| 段階 | 状態 | 次の一手 |
|---|---|---|
| レベル1 保存中心 | 基盤導入と取り込み件数を重視 | 用途、所有、カタログ |
| レベル2 管理済み | 層、品質、権限、運用が標準化 | データプロダクト契約とSLO |
| レベル3 サービス型 | ドメイン別に再利用可能なデータを提供 | 価値・費用・信頼性の統合管理 |
| レベル4 適応型 | 負荷と変化に応じ配置・計算を最適化 | ポリシー自動化とADRの継続的な見直し |
段階ロードマップ
- 構想:ユースケース、データ分類、SLO、制約、現行資産を整理する。
- 方式検証:代表データとピーク負荷で、性能、品質、権限、障害復旧、費用を測る。
- 対象を絞ったエンドツーエンド実装:一つのデータプロダクトをRawから消費まで構築し、運用Runbookを作る。
- 標準化:テンプレート、CI/CD、カタログ、品質、リネージュ、FinOpsを共通化する。
- 拡張・再評価:ADRの再評価条件に基づき、方式の追加・統合・廃止を判断する。
用語解説
- Schema-on-write:格納・公開前に構造と品質を定める考え方。
- Schema-on-read:読み取り時に用途に応じて構造を解釈する考え方。
- Medallion Architecture:Raw、検証・標準化、業務提供へ段階的に品質を高める設計パターン。
- ADR:アーキテクチャ意思決定記録。選択、理由、代替、影響、再評価条件を残す記録。
まとめ
DWH、データレイク、レイクハウスの選定に唯一の正解はありません。正解に近づく方法は、意思決定を起点に、データ、品質、性能、統制、スキル、TCOを同じ土俵で比較し、必要なら複数方式の責任境界を設計することです。Version株式会社では、EAとDMBOKをベースに、製品選定前のデータ基盤構想から段階移行まで支援しています。自社の要件整理や候補構成の第三者レビューをご希望の場合は、お問い合わせください。
参考資料
- Microsoft Learn:Choose between Fabric Warehouse and Lakehouse
- Microsoft Learn:Medallion lakehouse architecture in Fabric
- Microsoft Learn:What is Fabric Data Warehouse?
- Microsoft Learn:What is a data lake?
- Microsoft Learn:Choose an analytical data store in Azure
- Microsoft Learn:What is a data lakehouse?
- DAMA International:What is Data Management?
- The Open Group:The TOGAF Standard
BI・DWH構想を、経営判断とデータ管理の両面から整理しませんか
Version株式会社は、意思決定とKPIの整理、データアーキテクチャ、DMBOKに基づくガバナンス、基盤選定、導入・刷新ロードマップを一体で支援します。
BI/DWHテーマクラスター:BI要件定義 / 経営ダッシュボード / セルフサービスBI統制 / DWH・データレイク・レイクハウス / DWH要件定義 / セマンティックレイヤー / BI数値不一致とリネージュ / レガシーDWH刷新 / BI CoE / DWH受入テスト
コメント