エンジニア

【まとめ】Professional Data Engineerの勉強で読むべき公式ドキュメント

GCP Professional Data Engineer 認定資格に合格するための勉強方法では、試験ガイドと公式ドキュメントを熟読することが一番大事だと書きました。しかし、公式ドキュメントが多すぎて、どこを重点的に […]

データをどう活かすかがビジネスの鍵であると言われるようになりました。それによって、データの一連の流れを整備するデータエンジニアという職種にも注目が集まっています。しかし、Webアプリケーションエンジニアなどと比べると […]

データ活用やDX推進が注目を浴びる中、データ分析で今までの勘や経験を数値で表し、ビジネスに活かすことが重要になっています。データ分析は課題解決の一つの手段で、集計や可視化、統計分析などの手法があります。統計分析とは統 […]

ビッグデータが扱えるようになった昨今、日常生活からビジネスまでAI(人工知能)の活用が広まっています。 AIとは知的な情報処理をするものといった概念のことを指し、それを実現する手法として機械学習、ディープラーニングがあり […]

前回の記事では、「Google Cloudではじめるデータエンジニアリング入門」の第1章の内容、データ基盤の必要性と全体像について書きました。今回は、第2章〜第11章の内容である、データ基盤の各コンポーネントで求められ […]

データ活用の重要性が高まっている今、データ基盤の重要性も増しています。データ基盤を構成するシステムには、オンプレからクラウドまで様々な技術の選択肢があります。今回は、「Google Cloudではじめるデータエンジニ […]

機械学習・AIと聞くと、難しそう、学習コストがかかりそう、というイメージを持たれる方も多いのではないでしょうか？今回は、SQLだけで機械学習モデルを作ることができる、BigQuery MLについてご紹介します。プログ […]

Bigqueryでデータの整形から集計までのワークフローを組む場合、スケジュールクエリで行うことも多いと思います。しかし、依存関係を定義できず、手動で時間をずらしながら登録するなど不便なこともあります。複雑なワークフロ […]

BigQuery でサブクエリを多用すると、複雑で可読性が低くなる場合があります。そういうときは、with 句が最適です。間違いにも気づきやすいですし、他の人に見てもらうときにもわかりやすくなります。本記事では wi […]