ビッグデータが扱えるようになった昨今、日常生活からビジネスまでAI(人工知能)の活用が広まっています。 AIとは知的な情報処理をするものといった概念のことを指し、それを実現する手法として機械学習、ディープラーニングがあり […]
お知らせ
GCPで構築するデータ基盤の各コンポーネントとサービスについてのまとめ
前回の記事では、「Google Cloudではじめるデータエンジニアリング入門」の第1章の内容、データ基盤の必要性と全体像について書きました。 今回は、第2章〜第11章の内容である、データ基盤の各コンポーネントで求められ […]
Google Cloudではじめるデータエンジニアリング入門から学ぶデータ基盤の必要性
データ活用の重要性が高まっている今、データ基盤の重要性も増しています。 データ基盤を構成するシステムには、オンプレからクラウドまで様々な技術の選択肢があります。 今回は、「Google Cloudではじめるデータエンジニ […]
BigQuery MLでTwitterエンゲージメント数の予測モデル作成
機械学習・AIと聞くと、難しそう、学習コストがかかりそう、というイメージを持たれる方も多いのではないでしょうか? 今回は、SQLだけで機械学習モデルを作ることができる、BigQuery MLについてご紹介します。 プログ […]
Cloud Composerでワークフローを構築する方法〜BigQueryからGoogle Cloud StorageにCSVを出力する〜
データのワークフロー、スケジューリングができるCloud Composerの使い方についてご紹介します。 Cloud ComposerはApache Airflowのマネージドサービスで、インストールなどの環境構築をせず […]
【ブログ運営報告】3ヶ月目の数値結果と行ったことについて。PVや収益は伸びるのか?
ブログを始めて3ヶ月が過ぎました。 「ブログ 3ヶ月」と検索すると、月間PVが4桁を達成された方や収益化できている方も見受けられます。 私の運営ブログでは3ヶ月目で月刊PV2桁、収益0円でした。 数値はとても少ないですが […]
「ブログネタがない」を解決するための考え方〜書くことが思いつかない人のための文章教室〜
ブログを始めて、書くネタが思いつかないと悩んだことはありませんか? 「ブログ ネタがない」と検索すると、検索キーワードの数だけブログネタがあるから、ネタ切れは実質ありえないとも書かれています。 それでも中々書けない、そう […]
Dataformの使い方〜ELT、ワークフロー、データ定義、テストがこれ一つで完結!〜
Bigqueryでデータの整形から集計までのワークフローを組む場合、スケジュールクエリで行うことも多いと思います。 しかし、依存関係を定義できず、手動で時間をずらしながら登録するなど不便なこともあります。複雑なワークフロ […]
BigQueryのwith句の使い方〜可読性の高いSQLを書こう〜
BigQuery でサブクエリを多用すると、複雑で可読性が低くなる場合があります。そういうときは、with 句が最適です。 間違いにも気づきやすいですし、他の人に見てもらうときにもわかりやすくなります。 本記事では wi […]
【体験談】コワーキングスペースのメリットとは?仕事効率化や気分転換にもおすすめ!
コロナ禍になって、在宅勤務が増えた方も多いと思います。 通勤時間がなくなるなど嬉しいこともある反面、家だと集中できなかったり、同じ環境に飽きてしまったことはありませんか? そんな方におすすめしたいのは「コワーキングスペー […]