本連載の第5回で紹介した「Apache Airflow」は米Adobe（アドビ）や米Airbnb（エアビーアンドビー）、米Google（グーグル）、米Twitter（ツイッター）をはじめとした世界的なIT企業などで採用されているオープンソースの統合ジョブ管理ツールです。 ワークフローを ...

外部からデータを収集しHadoopクラスタのHDFSへインポートするETLツールとしてAirflowを選択した。今回はAirflowの最小構成であるスタンドアロンでのセットアップとKerberos認証のかかったHDFSへの接続のための認証設定を行った。（認証自体の動作確認はまだして ...

ログインして、InfoQのすべての体験をアンロックしましょう！お気に入りの著者やトピックの最新情報を入手し、コンテンツと交流し、限定リソースをダウンロードできます。 クラウドコンピューティングの登場以降、ソフトウェア業界は大きな変革の中に ...

DX（デジタルトランスフォーメーション）を推進するうえで、データを効率よく扱うためのデータ統合は欠かせません ...

電通デジタルでバックエンド開発をしている松田です。 前回の記事は「広告出稿プランニング業務におけるセグメントのマッピングと表示改善」でした。 Dentsu Digital Tech Advent Calendar 20209 日目の記事になります。この記事ではAirflow 2.0で追加された機能の一つ ...

米Amazon Web Servicesは、Apache Airflow向けManaged Workflowsの一般提供を、11月24日（現地時間）に開始した。 Apache Airflowは、ユーザーがワークフローを作成、スケジュール、監視する際に役立つオープンソースのツールで、Managed Workflowsはデータエンジニアがクラウド ...