データベース技術調査ブログ

LinuxやPostgreSQL、Oracleデータベース、AWSの知識をアウトプットしていきます

AWS

【AWS/EC2/SSM】Patch Managerを使う際のEC2のメタデータのオプションに注意

AWS

EC2のタグをDescribeInstanceやDescribeTagを使用しなくても取得できる2022年1月に追加されたEC2の便利な機能ですが、SSM Patch Managerと相性が悪いので有効化しない方がいい場合があるという話。(デフォルトで無効なのでそのままにしていることが多いとは…

【AWS/ECS/Fargate】Embulkのジョブをサーバレスに実行する基盤を作ってみるチュートリアル(パート4)

AWS

以下の記事のパート4です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト 【パート3】ECSのタスク定義と動作確認 【パート4】Step Functionsで簡単に実行できるように設定する(★本記事) ECSでのタスクの実行確認までできました…

【AWS/ECS/Fargate】Embulkのジョブをサーバレスに実行する基盤を作ってみるチュートリアル(パート3)

AWS

以下の記事のパート3です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト 【パート3】ECSのタスク定義と動作確認(★本記事) 【パート4】Step Functionsで簡単に実行できるように設定する 前回までのパートで、ECSでEmbulkを実行…

【AWS/ECS/Fargate】Embulkのジョブをサーバレスに実行する基盤を作ってみるチュートリアル(パート2)

AWS

以下の記事のパート2です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト(★本記事) 【パート3】ECSのタスク定義と動作確認 【パート4】Step Functionsで簡単に実行できるように設定する Cloud9とRDSのセットアップとデータの登…

【AWS/ECS/Fargate】Embulkのジョブをサーバレスに実行する基盤を作ってみるチュートリアル(パート1)

AWS

ECS(Elastic Container Service)とEmbulkの勉強したついでに、EmbulkのバッチETL処理をサーバレスの基盤で実行する環境を構築するチュートリアルを作ってみました。バッチ処理はクラウドの課金体系と相性がいいのでサーバレスで実行できるようにするとコス…

【AWS/CloudFront/S3/Cognito】静的ウェブサイトにCognitoの認証をつけたい(dbt)

AWS

タイトルの内容に入る前になぜこのようなことをしたいかという背景を少し語ります。 最近DWHをいかにアジャイルに構築して運用していくかについて考えています。商用のツールを使えばいいアプローチはいくらでもありますが、この手のツールはとても高価なイ…

【AWS/SAA-C02】ソリューションアーキテクトアソシエイト合格体験記

AWS

AWSのソリューションアーキテクトアソシエイト(SAA-C02)に合格しました。長すぎるくらいの準備期間を経ての受験だったので、思ったよりも簡単だなぁという印象でした。合格体験記ということで、シンプルに合格に至るまで情報をまとめておきます。 AWS歴 ・…

【AWS/Kinesis/DMS/KCL】KinesisとCDCを利用したストリーミング処理の構築チュートリアル

AWS

GWで時間があったので、少しストリーミング処理基盤に関して勉強してみました。とりあえず動く環境を作ることを一つのゴールにしてCloudformationの勉強もかねてサンプルのアプリケーションを作ってみました。一部、不出来なところは多いですが、細かいとこ…

【AWS】Amazon Linux2のExtras LibraryにProxy経由でアクセスするときは環境変数を設定するだけでいい

AWS

Amazon Linux2でyumだとちょっと足りないな…というときにお世話になるamazon-linux-extrasコマンドでProxyを通したいんだけどな…というときがありました。Google先生に聞いても上位でヒットする中に答えを見つけられなかったということもあり、シンプルに備…

【AWS CDK】cdk initするディレクトリ名でハマった件

最近、専らPostgreSQLとAWSの勉強ばかりしています。 この本を読んでAWSの勉強をさせてもらっていますが、本に記載されている演習でAWS CDKを触ったので、python版(本だとAWS CDKの親玉のtypescriptでした)のCDKの方が自分には理解しやすいぞということで…