荒木善貴（INCUDATA株式会社）
2021年12月3日（金）夕刻、Snowflake プロダクトマーケティングマネージャーであるKT氏を講師に迎え、「データ蓄積」をテーマとしたエンジニアの会が開催されました。
デジタル化が進むことで、業務ごとに様々な機能を持った便利なシステムの導入が進んできています。その反面で、それぞれの業務システム毎のデータ管理になってしまっていることで起こる「データのサイロ化」が、データ活用における壁になってしまっていることも事実です。 その「データのサイロ化」の課題解決を実現するための方法としてのデータクラウドを提供しているプラットフォームとして、Snowflakeを体験しました。
ハンズオンの前段で、データ基盤の仕組みと黎明期から現在に至るまでの歴史的背景なども紐解いてご説明頂き、「データ活用」には欠かすことができない、データ基盤の重要性を良く理解することができました。
以下はハンズオンの主な内容です。
- RBAC：ロールで管理するアクセス制御
- データベースを簡単に作る
- ウェアハウス：コンピュートとストレージが分離しているワケ
- データロード：6000万件を体験
- クエリ：参照に最適なアクセスとキャッシュの仕組み
- タイムトラベル：うっかり更新ミスを体験してみる
- 半構造化データ、ログデータを扱う
データベースを立てて、データをロードしたり、他のアカウントにデータを共有したり、といったまさにハンズオンのテーマでもある「データの蓄積」を様々な方法で実行しました。数千万〜数億のレコードを実際にロード・共有を実行しましたが、数秒〜数十秒といった速さで実行でき、その速さには驚きました。これはSnowflakeがアーキテクチャを構築する上で掲げている「プラットフォームに必要なこと」の一つでもある、「迅速な処理」を実現しているものと理解しています。 他にも「拡張性の高さ」という点で、各種のクラウド環境（GCP/AWS/Azure）にも対応し、シームレスで安全に拡張できるというところも好感の持てるポイントかと思いました。
これまでもエンジニアの会では、様々なツールのハンズオンを実施してきましたが、それぞれのツールが追求・訴求するポイントがあることを今回改めて実感しました。特に今回のSnowflakeは「迅速な処理」や、「拡張性の高さ」といったポイントが大変わかりやすく、かつ実感できたのではないかと思います。
引き続きエンジニアの会を通して、データ活用や、データ基盤を構築する上での追求・訴求するポイントとそれを実現するためのアーキテクチャを学んでいきたいと思いました。
＜参加者感想＞
- クラウドデータベースを活用したエコシステムの可能性を感じました。 進め方はとてもよかったです。 ELT処理の実現イメージ、フローもデモしてもらえたらよかったなあと思います。
- 従量課金制のDWHについて、初めて学んだので勉強になりました。
- Snowflakeがどのようなものか、理解するのに大変役立ちました。実際に手を動かせるのはよいですね。ありがとうございました。
- 当日、業務都合で参加できませんでした。非常に残念です。
- 説明が分かりやすかった。 BIツールと絡めたハンズオンんとかもやってみたいと思った。
- KTさんの進め方が非常に分かりやすく、楽しくハンズオンに取り組むことができました。
- Snowflakeを直接触れる機会があった良かった。 仮想データウェアハウスのサイズを変更した際の効果について実際に試すことができたことが今後の自社プロジェクトに役に立ちそうです。
- Snowflakeがとても簡単に扱えるDWHであることがわかった
- データの活用・分析手法はいろいろと進化していることを実感できました。
- Snowflakeのハンズオンで製品体験ができてよかった。 製品の特長を学ぶことができた。 特にエンタープライズ機能にメリットを感じた。 開発環境はクローン化でテーブル複製ができる。 データ量が増えているのではなくポインタ設定を変えているだけなので課金にはならない。マイクロパーテーションで設定を保持しているので大本がなくなっても見える。コマンド実行で作成ができるため開発環境がいらない。など。
- Snowflakeの利点を手を動かしながら学ぶことができ、2時間があっという間でした。 特にマスキングやフェールオーバーは視覚的にも驚きました。 ありがとうございました。
- Snowflakeには初めて触れたのですが、大量データの処理スピードの速さに感動しました。また、UIがとても分かりやすく、従来のDB製品よりも敷居が低いように感じました。
- 超大量なレコードをスピーディに処理したり、消してしまったレコードを復活させたりと、これがオンプレでなくサービスで利用できるすごい時代になったものだと感動しました。 途中、自社の仕事の横やりが入り聞けなかった部分がありますが、それを考慮しても大いに有益な体験となりました。ありがとうございました。
- データのクローン化など、新しい概念なのかなと感じ、非常に興味深い講義でした。ありがとうございました。
- Snowflakeの使い方が分かりました。 Snowflakeは簡単に操作でき、レスポンスが速くて感動しました。 ただメリットだけではなく、デメリットもあればお教えいただきたいと思いました。 有料級の講演ありがとうございました。
- 大変楽しい内容でした。ハンズオン形式は実体験できるので有意義な進め方だと感じています。
- KTさんの説明がとても分かりやすく、とても理解出来ました。
- 分かりやすく、そして面白く説明してくださいました。とても楽しかったです。 ただ、Snowflakeの無料トライアル環境については、事前にAWSかつリージョンまで指定が欲しかったです。
- もともとSnowflakeは気になっていましたが、データトラベルやデータシェアリングの強力さを目の当たりにして驚きました。 一方で、オンプレのときとは違う視点で設計や運用を考えていかねばならない時代になってきたのかな、とも感じ、置いていかれないようにしないと、と思いました。 全体を通して非常によいハンズオンでした。ありがとうございました。
- 説明は何度か伺いましたが、操作性や速さを体験することができ、大変有意義でした。ありがとうございました。
時代の流れを感じられ刺激的な内容で面白かったです。 半構造化データに加えて、音声や画像データ等の非構造化データについてもまたの機会にお伺いしたいと思います。 ありがとうございました。 - 講師自身の体験をお話ししてもらいながら、サクサク講義が進んだので集中して参加出来ました。製品の特徴もハンズオンを通じて詳しく説明していただけたので、利用シーンが思い浮かびました。
- ハンズオンもそうですが、前段のお話など大変勉強になりました。よりデータ活用環境のアーキテクチャに学ぶための良いきっかけになりました。ありがとうございました。
- Snowflakeに関心があり、またKTさんが講師として登壇されるということで楽しみにしていました。 期待通りの内容で非常に参考になりました。 企画などありがとうございました。