JDMC会員による「リレーコラム」。
メンバーの皆さんそれぞれの経験・知見・想いをリレー形式でつなげていきます。
今回、バトンを受け取ったのは、株式会社エーピーコミュニケーションズ・市村 幸一郎さんです。
はじめまして。エーピーコミュニケーションズの市村と申します。2023年より、JDMC会員として活動させていただくことになりました。皆さま、どうぞよろしくお願いいたします。
エーピーコミュニケーションズは、ITインフラ領域に強みを持つSIerです。データマネジメント関連においては「MODERN DATA＋AI STACK COMPANY」をテーマとして、データ&AIの民主化に取り組んでいます。
ITインフラ領域の強みとデータマネジメントをかけ合わせることで、包括的なご支援を行わせていただく機会も非常に増えてきました。今回は、これまでの業務経験を基に、データマネジメントにおけるアーキテクチャ「データメッシュ」について書きたいと思います。
データメッシュの歴史1：一元管理型データ基盤の誕生
まずは「データメッシュアーキテクチャ」が誕生した経緯から説明します。データメッシュ以前に、以下のようなデータマネジメントの課題から、データを一元管理する共通基盤としてのデータレイク、DWHが誕生しました。
・「データのサイロ化」によって阻まれるAI戦略
各部門が各々の業務やシステムにデータを収集して保管するため、有効活用されていない。社内各部署で同様のデータを扱っている場合でも、データが分散して保存される「データのサイロ化」が発生する。そのため、経営戦略として統合的なデータ把握ができず、データAI戦略に繋がらない。
・データリネージ（データの履歴）
いつ誰が取得したデータなのか、誰が加工したのか、そもそも正確なデータなのか、といったリネージが効いていないため、分析結果が正しいかを判断できない。
・データ収集蓄積がゴールに
データ収集（データを溜め込むこと）がメインタスクとなり、データ分析まで至っていない、データ分析や準備に進もうとすると、縦割りの社内組織が壁となりペンディングになる、を繰り返す。
・選定するサービスプロダクトの難しさ
データエンジニアリングやサイエンスなど、それぞれでサービスプロダクトを選択しなければならないが、多種多様に存在するため選定が困難。
データメッシュの歴史2：一元管理型データ基盤の課題
データレイク、DWHの誕生は、上記の課題を一定解消することはできたものの、ビジネスのビッグデータ化やビジネスユーザーの増加に伴い、新たな課題を生むことになりました。
・ビッグデータ管理の複雑化
データ元やデータ利用者の増加に伴い、大規模化されるデータが複雑化し、データ構造や処理へのシステム管理が困難となる。
・スケーラビリティの限界
データの大量化に伴う急な拡張性への対応が間に合わない。
・パフォーマンス遅延
データのリアルタイム性やストリーミング処理の増加に伴い、更新処理が瞬発的に増加することで処理スピードへの性能が求められる。柔軟性の高いデータ処理を行いたいが、処理が追い付かない。
・データガバナンス責任者の不在
企業全体のデータガバナンスを管理する責任者が存在しない。または、データエンジニアに委ねられているため、データガバナンスが効かずにデータの誤用や悪用につながってしまう。
・進まないデータエンジニアリング、サイエンスの内製化
社内のデータエンジニア、サイエンティストが不足しており、自社内製化が計画できない。データマネジメントやAI、LLMの活用などに挑戦したいが、同じ目線で共同推進できる企業が見つからない。
「データメッシュアーキテクチャ」の誕生
こうした一元管理型データ基盤の課題を解消するため、データメッシュアーキテクチャが誕生します。
「データメッシュ」は大規模データを効率的、効果的に管理することで上記の課題解決のヒントになる概念であり、プロジェクト推進や、組織管理体系の変革についてのアイデアになるかもしれません。まずはデータメッシュの原則について、説明しましょう。
①Domain Ownership
従来の中央集権的な管理ではなく、ドメインごとの所有権で自律的にデータを管理し、データの責任を持ちます。ドメインとは部門やチームなどのビジネスユニット上の組織グループです。
ドメインごとにデータオーナーを置き、ドメイン間のデータのやり取りはドメイン間でコミュニケーションを取ります。ただし、システム全体設計や全社的なシステムポリシー、統合ガバナンスについては、統制不能な状態になることで企業全体のリスクとなるため、中央集権型となります。
②Data as a Product
この原則についてはさまざまな解説がありますが、①の定義を踏まえ、各ドメインでデータを「プロダクト」として扱える状態として管理運用すること、と私は捉えています。
各ドメインのデータはRawデータではなく、「メダリオンアーキテクチャ」などデータパイプラインの段階を経て、コードやインサイトを含んだ利用価値の高いデータになります。そのデータを、横展開を含めた全社的に価値のある、アクセス可能な「プロダクト」と認知される必要があるのです。
③Self-Serve Data Platform
データメッシュの概念を導入する場合、クラウドインフラ、データ分析サービス、運用監視など多くの検討要素があり、それぞれのサービス運用も検討する必要があります。
個々の検討要素が多いため、弊社ではデータウェアハウス、データサイエンス、BI、AIなどBig Dataを扱う場合の全機能を取り込んだ「データ＆AIプラットフォーム」の導入を提案させていただくケースも多く存在します。
④Federated Computational Governance
上記①②③を達成するために必要な原則です。
各ドメインを自立的にデータを管理し、データの横展開ができる横断的な組織にしていくためには、全社的なポリシーやアーキテクチャ設計、組織体制検討（必要人員の確保）が必要となります。組織構成については、次で詳しく解説します。
組織構成（改革）について
ここまで、データメッシュの原則におけるアーキテクチャやシステム整備の概念を説明してきましたが、データマネジメントを成功させる上でそれ以上に重要なのは、目標達成のための熱意を持ち続けることと、組織構成だと考えています。
エンドユーザー企業様全体の目標達成のための熱意と実行力、継続力を持ち続け、お客様目線で常に寄り添ってくれるデータマネジメント支援企業と「ワンチーム」になることが重要です。
組織の成長に伴い、縦割りのユニット感が強くなり「自社収益に貢献する」という目的意識にズレが生じるのは、多くの組織で起き得ることです。この目的意識のズレが、企業のデータ戦略に悪影響を及ぼすことは想像に難くありません。
データメッシュの概念においては、データドメイン単位でビジネスユニットを構成することが推奨されており、ドメイン毎にデータオーナーを配置します。ドメイン毎にそれぞれがワークスペースやソース、データを保持します。
つまりはデータの単位と組織の単位は同一となり、ドメイン主導で効率的に管理するという考え方です。最初から組織全体を再構成しようとするのはリスクが大きい、と考える場合は、段階的に、着実にステップを踏んで進んでいくことが望ましいでしょう。
その過程では、各ドメインにおいて固有のインサイトを作成し、データプロダクトとして必要に応じて、他ドメインに提供することが可能となります。
また、アーキテクチャの変化に伴い、ユースケースごとの開発手法は、ウォーターフォール型からアジャイル型へと変えることが望ましいです。開発にスピード感が生まれ、結果的に全体工数の削減やデータ管理、クラウドコストの削減につなぐことができます。
Notebookの共同管理やMLOps、モデルやデータプロダクト管理、AI戦略などのネクストステップでより効果が表れてくるでしょう。
さらに、既存組織ではイレギュラーな編成とされていた横断型な組織構成が、その組織にとっての通常概念となり、全社横断プロジェクトや新規事業などへの応用力や実行力が高まると個人的には考えています。
既存の組織構成を維持したまま、データメッシュの概念のみを取り入れると、アーキテクチャ概念と組織構成がちぐはぐになり、失敗する可能性が高まります。
データメッシュを成功させるためのマネジメントや関係者の調整などは、非常に根気がいる作業となるので、PoCなどの道半ばで元の組織（概念）に戻ってしまうケースも多いと思いますが、データマネジメントを成功させる上で、組織改革を前提とすることは必須なのです。
エーピーコミュニケーションズのアプローチ
今後、データマネジメントがAIマネジメントに繋がっていくことは確実であり、両者はほぼ同じ意味になるでしょう。ビジネス戦略は可視化と予測、AIによる意思決定がより重要視されるようになると考えているためです。
人間が意思決定をすることも重要ですが、データとAIの成熟度を向上させ、利活用することで、よりビジネス戦術の確度が高めていくことが、企業としての優位性を獲得できる手段になるのではないでしょうか。
私たちは、データと組織構成がビジネスAI戦略の鍵となるべきと考え、エンタープライズ企業様視点での包括的なご支援をしております。
また、データAI領域と同様に、LLMやLLMOpsを組み合わせて構成することは今後必須の要件となりますので、今まで以上にビジネスとテックのコラボレーションを常に意識していきたいと思います。
市村 幸一郎（いちむら こういちろう）
株式会社エーピーコミュニケーションズ
グローバルビジネス事業本部
Lakehouse部 部長
SIer、製造業のDX推進業務などを経て、2017年にエーピーコミュニケーションズへ入社。顧客のデータ戦略立案・利活用・推進などに従事。