2021-01-01から1年間の記事一覧
最近dbtについて情報を収集していたら、Great ExpectationsというOSSと合わせて使っているという事例があり、これは何者？という疑問が湧いたのでちょっと調べてさわり程度に動かしてみました。https://greatexpectations.io/GitHub - great-expectations/gr…
最近もっぱらdbt (data build tool) についての検証をしています。dbtは現時点だとなかなか日本語の情報があまりなく公式のドキュメントを頑張って読んで理解していく必要があるので、日本語にてこういう便利な機能があるよっていうのを紹介していく需要はあ…
以下の記事のパート4です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト 【パート3】ECSのタスク定義と動作確認 【パート4】Step Functionsで簡単に実行できるように設定する（★本記事） ECSでのタスクの実行確認までできました…
以下の記事のパート3です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト 【パート3】ECSのタスク定義と動作確認（★本記事） 【パート4】Step Functionsで簡単に実行できるように設定する 前回までのパートで、ECSでEmbulkを実行…
以下の記事のパート2です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト（★本記事） 【パート3】ECSのタスク定義と動作確認 【パート4】Step Functionsで簡単に実行できるように設定する Cloud9とRDSのセットアップとデータの登…
ECS（Elastic Container Service）とEmbulkの勉強したついでに、EmbulkのバッチETL処理をサーバレスの基盤で実行する環境を構築するチュートリアルを作ってみました。バッチ処理はクラウドの課金体系と相性がいいのでサーバレスで実行できるようにするとコス…
タイトルの内容に入る前になぜこのようなことをしたいかという背景を少し語ります。 最近DWHをいかにアジャイルに構築して運用していくかについて考えています。商用のツールを使えばいいアプローチはいくらでもありますが、この手のツールはとても高価なイ…
AWSのソリューションアーキテクトアソシエイト（SAA-C02）に合格しました。長すぎるくらいの準備期間を経ての受験だったので、思ったよりも簡単だなぁという印象でした。合格体験記ということで、シンプルに合格に至るまで情報をまとめておきます。 AWS歴 ・…
GWで時間があったので、少しストリーミング処理基盤に関して勉強してみました。とりあえず動く環境を作ることを一つのゴールにしてCloudformationの勉強もかねてサンプルのアプリケーションを作ってみました。一部、不出来なところは多いですが、細かいとこ…
