株式会社Q’sfix 牟田 光孝
前回に引き続きデータ準備をテーマとしてエンジニアの会が開催されました。今回はインフォマティカ・ジャパン株式会社の阿部拓也氏をお招きして、前半はInformatica Intelligent Cloud Services (IICS) についての講義、後半は実際にIICSを体験するハンズオンが行われました。
IICSはデータ管理や分析など多くの機能を持っていますが、今回の講義では特にデータ統合およびデータ品質についてお話しいただきました。データ統合の課題として、クラウドとオンプレミス間のデータ連携の複雑化やセキュリティ担保の困難さなどが一般的に挙げられます。また、データ品質についてもその状態を正確に把握し、必要に応じてクレンジングを行う必要があります。さらに、IT要員が少ないことからコーディングを必要とする開発・運用はできないという現場の問題もあります。このような課題を解決すべく、IICSでは「あらゆるデータに対してあらゆる統合パターンで処理し、あらゆるユーザがデータ活用できる」という特徴を有しているとご説明いただきました。ハンズオンではデータ統合に関する次の3つの作業を体験しました。
1) IICS内に格納されているログファイルを構造化データに変換し、Google Big Queryへロードする
2) Google Cloud Storageに格納されている大量のファイルをGoogle Big Queryへ一括転送する
3) Salesforceに格納されているデータを加工処理しつつGoogle Big Queryへコピーする
これらの作業はすべてGUI操作で行うことができるため、コーディングの知識や技術に乏しくとも簡単にデータ統合やデータの加工が可能です。データ分析作業にかかる時間のうち8割がデータ準備に費やされ、分析そのものは残りの2割でしかできないとも言われていますが、データ準備にかかる時間や労力を減らせる点でデータを扱うエンジニアにとってIICSは有用であると感じました。また、必要な時に必要なデータを簡便に見ることができるツールは、データマネジメントに直接携わらない者にとってもビジネスの上で役立つのではないかと思います。
企業によってデータ管理のシステム環境やデータの活用方法は様々ですが、前回今回とデータ準備をテーマとした講義ならびにハンズオンを実施できたことで、自社に合ったデータプレパレーションツールがどのようなものか見えてきたのではないでしょうか。この度のエンジニアの会も、参加者にとって自身のスキル向上にあたり有意義な時間になったことと思います。
＜主なアンケート＞
- UIは他ツールより使いやすいと感じた。 研修の中でUIの使い方は学べたが、実際の結果について確認することが出来なかったので、改善して頂けたらと思う。
- ETLツールとしてInformaticaのPowerCenterを利用したことがあるため、IICSでもPowerCenterと同様GUIで簡単に処理を作ることができることを確認できた。 実際にデータ抽出やロードできたかの確認目的で、ソースやターゲットへのアクセス権があり、データが正しく処理されていることを確認できるとなお良かったと思う。
- GUI操作でデータ連携が簡単にでき、データプレパレーションツールでデータ準備にかかる時間や労力を減らせそうだと実感できました。
- IICSのカバー範囲が広いこと、操作性が高いことがわかりました。ありがとうございました。
- ハンズオンを開催して頂きまして、ありがとうございました。 ID統合において、自社・他社それぞれ全く異なるIDを統合する技術は難易度が高く、ID統合を謳っているツールの中身は、実は、自社とグループ会社のそもそもIDが関連しているデータの統合、あるいは、自社と他社のデータ統合でも確率的に「推定」する形で精度に疑義があります。一方、今回のInformaticaさんのデータ統合がそれを可能にするのであれば、非常に有効なツールと感じました。
- 講義のみ出席させていただきました。勉強になりました。 機会あればぜひ今後はハンズオンも参加させていただきます。
- 業務都合上、前半のみの参加となってしまいましたがハンズオンでの成果が見えづらかった感触がありました。
- 多くのスライドを使って分かりやすく学べました。また、IICSが色々可能性のあるツールだと思いました。ただ、ハンズオンの進行がもう少しゆっくりの方がついていきやすいと感じました。ありがとうございました。
- IICSの基本操作が理解でき、ご質問にも的確にお答えいただき大変良かったです。 ハンズオンの出だしのところで少しつまづいたので、5分程度、基本操作の時間があればよかったかなと思いました。
- 初めて使わせて頂きましたが、使いやすいと思いました。
- データソースから、データを貯め込むまでを統合的に実施できる製品だとわかって有意義だった。 また、マルチテナント対応の製品だとわかったのは良かった
- 次世代データ連携・活用アーキテクチャは参考になりました。実際に使いこなせるように準備したいと思います。
- データマネジメントの分野でデファクトと思っており、他社ETLツールやデータカタログ等との違いに意識を置いて拝聴しておりました。 ハンズオンも時間多めで参加者にはやりやすかったのではないでしょうか。
- 新人社員の教育の場として、活用させていただきました。 セルフサービスBIやプレパレーションツールと同様、GUI操作で開発が可能なローコード/ノーコード系のツールは流行の面もありますが、オンラインのトレーニングの題材としても適していますね。
- 今回、初めて「エンジニアの会」に参加させていただきました。 今後の案件で実際にIICSを利用する可能性があり急遽、参加させていただきました。 使い方自体はGUIで直感的に利用はできますがやはり最初は実際に作るところを見ながらが わかりやすいので非常に助かりました。
- ひとまずデータ統合のところやジョブ連動など必要そうなところは抑えられたとの認識です。 今後も機会があれば参加させてただければと思います。