AWS
自分の検証用途で利用しているAWSアカウントでBudgetのアラートが飛んできて、何がそんなにお高いのかと調べてみたら、SageMakerが25ドルくらいになっていました。SageMakerは確かにCanvasとかちょっと立ち上げてみたから、そのせいかなと思いつつも、1,2時…
2022/10/28 更新 この不具合は修正されました。 過去にこんなことがあったのだなくらいに思っていてください。 In the left column, enter Patch Group or PatchGroup. If you have allowed tags in EC2 instance metadata, you must use PatchGroup (withou…
以下の記事のパート4です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト 【パート3】ECSのタスク定義と動作確認 【パート4】Step Functionsで簡単に実行できるように設定する(★本記事) ECSでのタスクの実行確認までできました…
以下の記事のパート3です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト 【パート3】ECSのタスク定義と動作確認(★本記事) 【パート4】Step Functionsで簡単に実行できるように設定する 前回までのパートで、ECSでEmbulkを実行…
以下の記事のパート2です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト(★本記事) 【パート3】ECSのタスク定義と動作確認 【パート4】Step Functionsで簡単に実行できるように設定する Cloud9とRDSのセットアップとデータの登…
ECS(Elastic Container Service)とEmbulkの勉強したついでに、EmbulkのバッチETL処理をサーバレスの基盤で実行する環境を構築するチュートリアルを作ってみました。バッチ処理はクラウドの課金体系と相性がいいのでサーバレスで実行できるようにするとコス…
タイトルの内容に入る前になぜこのようなことをしたいかという背景を少し語ります。 最近DWHをいかにアジャイルに構築して運用していくかについて考えています。商用のツールを使えばいいアプローチはいくらでもありますが、この手のツールはとても高価なイ…
AWSのソリューションアーキテクトアソシエイト(SAA-C02)に合格しました。長すぎるくらいの準備期間を経ての受験だったので、思ったよりも簡単だなぁという印象でした。合格体験記ということで、シンプルに合格に至るまで情報をまとめておきます。 AWS歴 ・…
GWで時間があったので、少しストリーミング処理基盤に関して勉強してみました。とりあえず動く環境を作ることを一つのゴールにしてCloudformationの勉強もかねてサンプルのアプリケーションを作ってみました。一部、不出来なところは多いですが、細かいとこ…
Amazon Linux2でyumだとちょっと足りないな…というときにお世話になるamazon-linux-extrasコマンドでProxyを通したいんだけどな…というときがありました。Google先生に聞いても上位でヒットする中に答えを見つけられなかったということもあり、シンプルに備…
最近、専らPostgreSQLとAWSの勉強ばかりしています。 この本を読んでAWSの勉強をさせてもらっていますが、本に記載されている演習でAWS CDKを触ったので、python版(本だとAWS CDKの親玉のtypescriptでした)のCDKの方が自分には理解しやすいぞということで…