AirFlow は DAG の中に複数の Task を定義して処理を組み込むことができる。タスクを定義するには AirFlow のオペレータを 使用することで簡単に定義することができる。ここではBashOperatorとDummyOperatorを利用して DAG を作成する手順を解説していく。 尚、本記述は AirFlow は AWS にある MWAA で実装されている Ver.2.0.2 を想定する。 DAG の各種Operatorは AirFlow のバージョンによって若干異なるので詳細は公式ページの確認をおすすめします。 公式ページ...

AirFlow での DAG の作成時に定義するパラメータについて解説していこうと思う。 DAG は Python で AirFlow ライブラリーを使用することで簡単に DAG を記述することができる。 以下のサンプルコードでは AirFlow の’DAG’クラスを import して使用し、DAG クラスのインスタンス生成時にパラメーターを定義して DAG を生成する。 尚、本記述は AirFlow は AWS にある...

Pythonというプログラミング言語を使用してプログラミング未経験の方がまず学習する点に関して集約して解説していこうと思う。本格的に学習を開始する場合、以下を学習の後、参考書を読むことで理解速度が早まるとと思うので参考になれば幸いです。 ここでは個々の標準メゾット(関数)については説明しないため標準のメゾット(関数)について不明な場合は、別途検索し学習することを進めます。 python のインストール方法は以下のリンクを引用

SESとして現場でよく使用するLinuxコマンドを備忘録のために列挙しておこうと思う。

windowsのコマンドプロンプト(CMD)でSES現場でも使われるコマンドを紹介していこうと思う .batを作るときにも使えるものもあるので参考になれば幸いです。 さらに詳しい情報や、その他の情報は公式のリファレンスを参照