(エンジニアの会メンバー・水信 元)
2021年8月18日夕方、「データ分析のためのクラウドプラットフォームを体験」する講義とハンズオンがオンラインで開催された。今回はJDMC会員の日本マイクロソフトの協力で、「Azure Synapse Analytics」を体験した。
「Azure Synapse Analytics」は、オンプレミスやSaaS上で管理されているデータを収集し、変換・統合・分析までを統合的に兼ね備え、
ペタバイトクラスの超大規模データに対しても、難なく対応する処理能力が魅力のビッグデータ分析用のマネージドサービス。
まず「Azure Synapse Analytics」の全体像やアーキテクチャーについて概観をご説明頂いた後、「Azure Synapse Analytics」クイックスタート(https://docs.microsoft.com/ja-jp/azure/synapse-analytics/)に沿って進めた。10万件のサンプルデータを使い、下記の6ステップについて各個人で操作を行い、都度、つまずいた時点でチャットにてQ&A対応頂く形式で進行。コア機能に関してステップバイステップで学ぶことができた。
ステップ 1 – Synapse ワークスペースを作成する
ステップ 2 – サーバーレス SQL プールを使用して分析する
ステップ 3 – Apache Spark を使用して分析する
ステップ 4 – 専用 SQL プールを使用して分析する
ステップ 5 – ストレージ アカウント内のデータを分析する
ステップ 6 – パイプラインを使用してオーケストレーションする
また、ハンズオン参加ではなく、体験参加(視聴のみ参加)の方向けに、操作デモンストレーションも同時並行で行って頂き、内容盛りだくさんで、あっという間の2時間だった。
ビッグデータは「データ量(Volume)」「データ種類(Variety)」「データ発生頻度・更新頻度(Velocity)」の3つのVで構成されており、これらをリアルタイムにかつ高速に処理することのできる環境が、数クリックとわずかな設定で構築できるというのを体感することができた。
ビックデータを用いた分析環境は整った!あとは分析結果から得られるインサイトを用いて、どうビジネスや社会の発展に役立てていくか!? 人間にしかできないであろうイマジネーションを最大限に働かせることこそが大事であると改めて思った。(悩)
もくもくとハンズオンを進めつつラジオ感覚で説明を聞けて、私個人的には取り組みやすいやり方でした。情報が多かったので、復習しながら頭の中を整理していきます。今回は視聴のみで参加でしたが、次回は実際に手を動かしたいと思います。
クラウドについては、技術進歩が速いので、常にトレンドやキーワードについて学び続ける必要があると実感しました。途中で急ぎの業務対応があり中座したところは、アーカイブ動画をみて復習してみます。 ご関係者のみなさま、今回も運営ありがとうございました。
<アンケート抜粋>
- 短い時間でありながら、体験できて非常に有意義でした。視聴のみは私だけだったようで大変恐縮です。細かいtipsが聞けたので大変満足しています。
- ありがとうございました。
- Azureアカウントをご準備いただけたので大変助かりました。ありがとうございました。MSの人、熱いものを、感じました。情熱?元気をもらいました。初心者向けがあるとたすかります。
- 時間が短かったのでしょうがないのですが、早口で聞き取りづらかったですが楽しかった。
テキストベースで自分で進めてくださいという形であれば、あまりWeb会議で時間を取ってやる意味が薄れると思いました。終わってもよくわからない部分が多いと感じました。 - 受講者からの問い合わせがあったときのブレイクアウトルームへの誘導がスムーズであれば、より有意義な時間になったと思いました。
- ハンズオンで出てくる用語やツールなどの説明を事前に頂けると、「自分が今何をしているのか」がより認識できて有意義な時間になると思いました。ありがとうございました。
- 今回のハンズオンを機にAzureをもう少し触り理解したいと感じました。