電通デジタルでバックエンド開発をしている松田です。弊社ではデータパイプラインの構築や管理のために主にApache Airflowを利用しています[1, 2]。 本記事では、AirflowのOperatorを使ってタスク実行環境を分離する方法についてご紹介します。 タスク実行環境を ...

Python、ライブラリ、コマンドラインユーティリティで表形式のデータをプリティプリントします。 ライブラリの主な使用例は次のとおりです。 SQL の結果をそのまま印字する：MySQL や Oracle、PostgreSQL に SQL を実行した結果を編集することなく関数呼び出しで ...

こんにちは。電通デジタルのデータエンジニア 中﨑です。 本記事ではAirflowでのDAGファイルの設定、分析プラットフォーム（Ads Data Hub、BigQuery）から実行順序をつけてクエリ実行する方法をご紹介します。 今回はDAGファイルとfunctionファイルに分けて作成 ...