JDMC会員による「リレーコラム」。
メンバーの皆さんそれぞれの経験・知見・想いをリレー形式でつなげていきます。
今回、バトンを受け取ったのは、ビジネスエンジニアリング株式会社 金石和英さんです。
皆さま、はじめまして。ビジネスエンジニアリング株式会社（B-EN-G）の金石和英と申します。JDMCには2019年度から「エンジニアの会」に参加しており、現在はサブリーダーを任されております。
まず、弊社について簡単にご紹介できればと思います。B-EN-Gは製造業を中心にシステムの導入を通じて、お客様の変革をサポートしています。パッケージ製品を組み合わせてのシステムインテグレーションサービスを提供するほか、「mcframe」をはじめとする自社開発のソフトウェアを提供しています。
私が所属するデータマネジメント部では、MDMやデータ基盤の導入などによりデータマネジメントの仕組みづくりをご支援しています。私自身、近年データ基盤を導入する案件に参画する機会があり、データの持ち方に関して「もっとこうすればよかったな」と思うような経験が多々ありました。
そこで、今回は「データ基盤におけるデータの持ち方の注意点」というテーマで3点ご紹介させていただきます。
1.事前に最終アウトプットをイメージできているか？
データ基盤において、何のデータを保持するかを決めるアプローチには大きく2つの方向性が考えられます。
まずは「データ活用・分析の目的に応じて、どんなデータを持つかを決める」というアプローチです。このアプローチは、利用用途によってデータの対象範囲が自然に決まってくるので、比較的簡単に進めることができます。
もう一つは、最終的にあらゆるデータを利活用することを目指して「最初に『あるべき』データモデルを考えて、保持するデータを決める」というアプローチです。将来的に保持するデータをあまり変更したくないような領域では、このように「あるべき」を事前に考えることが求められます。
かつて、後者のアプローチで取り組んだ案件があったのですが、将来の姿を考える抽象的な議論から抜け出せず、最終アウトプットをあまり具体的に考えられていなかったため、「あるべき」の根拠が出せず、モデリングに想定以上の時間がかかってしまいました。
アウトプットが決まると、データを見たい粒度と切り口が決まり、「あるべき」の根拠になってきます。将来を見据えて後者のアプローチを取る際にも、現状想定されるアウトプットをある程度イメージできると、プロジェクトが進めやすいと感じました。
2.変更に備えたアーキテクチャになっているか？
データ活用・分析シーンにおいて、グラフやレポートなどのアウトプットを一旦作成し、活用し始めると「もっとこうしたい」という新しいニーズが多々発生します。
私が参画していた案件でも、例に漏れずこのような事案が発生したのですが、データ基盤を当初想定していた必要なデータのみ絞り込んだ形で構成していたため、連携機能の作り直しが発生し、関係者との調整などにより、対応に時間がかかってしまった経験がありました。
この経験から、変更は発生するものだと考えておき、初期のニーズでは使わないとされたデータも含めて生データのままで基盤に置いておくと良いと感じるようになりました。できれば変更を見越した上で、最小限のデータを持っておけると良いのですが、全ての変更を予測するのは難しいでしょう。
特に期限が決まっていて早くアウトプットを出したいような案件では、将来の検討をする時間も限られてくるので、とりあえず生データを保持しておくと、後からの変更に対応しやすいと思います。
3.活用しやすい形でモデリングできているか？
データの持ち方といえば第3正規形が定石ですが、データ基盤においては必ずしもその形が最適とは限りません。以前、第3正規形でデータ保持をした際に、データを活用する際に大量にテーブルを結合する必要が出てきて、かなり手間がかかりました。
そこで、ヘッダと明細を結合して保持しておく、商品分類マスタと商品マスタを結合して持っておく、マスタ属性をトランザクションと結合して持っておくなど、事前にデータを統合して保持しておく方法が考えられます。
ただ、統合しすぎると一つのテーブルが大きくなりすぎてしまい、管理が大変、パフォーマンスが落ちるなどのデメリットもあります。また、使用するDWH製品やBI製品との相性も考慮する必要があるでしょう。正規形で保持する場所と非正規形で保持する場所でデータを分けるなどの工夫をしながら、活用しやすい形でデータを保持することが求められると実感しました。
データ基盤におけるデータの持ち方については、近年「Data Vault」や「メダリオンアーキテクチャ」といった手法も出てきて、まだまだベストプラクティスが模索されている難しい領域かと思います。お客様の状況によっても、最適なデータの持ち方というのは変わってきますが、まずは上記3つのポイントを押さえながらデータを保持する工夫をしていけば、データの利活用がしやすい基盤を作れると考えています。
今後もJDMCでの活動を通して、よりデータマネジメントに関する知見を深めて行きたいと考えています。引き続き、よろしくお願いいたします。
