Google Cloud (GCP) を初めて学ぶとき、プロダクトがたくさんあってどこから勉強すれば良いかわからない方も多いのではないでしょうか? まずは概要やサービス全体を把握し、そこからより詳しく知りたい分野を中心に […]
gcp
Datastream と Cloud SQL を VPC ピアリングを利用してプライベート接続する方法
Google Cloud の CDC(Change Data Capture)サービス Datastream が 2021年5月に発表されました。Oracle、MySQL の変更データキャプチャを Cloud Stora […]
Vertex AI の Workbench で機械学習パイプラインを構築する方法〜 scikit-learn の学習結果を BigQuery へ出力する〜
Vertex AI の Workbench で機械学習パイプラインを構築する方法をご紹介します。 Jupyter ノートブックをベースとした開発環境で、機械学習モデルの実装はもちろん、BigQuery などの GCP サ […]
【まとめ】Professional Data Engineerの勉強で読むべき公式ドキュメント
GCP Professional Data Engineer 認定資格に合格するための勉強方法では、試験ガイドと公式ドキュメントを熟読することが一番大事だと書きました。 しかし、公式ドキュメントが多すぎて、どこを重点的に […]
GCPで構築するデータ基盤の各コンポーネントとサービスについてのまとめ
前回の記事では、「Google Cloudではじめるデータエンジニアリング入門」の第1章の内容、データ基盤の必要性と全体像について書きました。 今回は、第2章〜第11章の内容である、データ基盤の各コンポーネントで求められ […]
Google Cloudではじめるデータエンジニアリング入門から学ぶデータ基盤の必要性
データ活用の重要性が高まっている今、データ基盤の重要性も増しています。 データ基盤を構成するシステムには、オンプレからクラウドまで様々な技術の選択肢があります。 今回は、「Google Cloudではじめるデータエンジニ […]
GCP Professional Data Engineer 認定資格に合格するための勉強方法
今年の2月に、2度目のProfessional Data Engineerを取得しました。 2017年に初めてGoogle Cloudの認定資格を受験し、Professional Cloud Architectは2回不合 […]