データベース技術調査ブログ

LinuxやPostgreSQL、Oracleデータベース、AWSの知識をアウトプットしていきます

【注意】SagaMaker Canvasのセッション料金がやばい

AWS

自分の検証用途で利用しているAWSアカウントでBudgetのアラートが飛んできて、何がそんなにお高いのかと調べてみたら、SageMakerが25ドルくらいになっていました。SageMakerは確かにCanvasとかちょっと立ち上げてみたから、そのせいかなと思いつつも、1,2時…

【AWS/EC2/SSM】Patch Managerを使う際のEC2のメタデータのオプションに注意が必要(だったけど直っていた)

AWS

2022/10/28 更新 この不具合は修正されました。 過去にこんなことがあったのだなくらいに思っていてください。 In the left column, enter Patch Group or PatchGroup. If you have allowed tags in EC2 instance metadata, you must use PatchGroup (withou…

【Great Expectations】データ品質・プロファイリング・ドキュメントのためのOSSに大きな期待

最近dbtについて情報を収集していたら、Great ExpectationsというOSSと合わせて使っているという事例があり、これは何者?という疑問が湧いたのでちょっと調べてさわり程度に動かしてみました。https://greatexpectations.io/GitHub - great-expectations/gr…

【DWH/モデリング】Type 2 SCDとdbtのSnapshotについて(SCD: Slowly Changing Dimension)

最近もっぱらdbt (data build tool) についての検証をしています。dbtは現時点だとなかなか日本語の情報があまりなく公式のドキュメントを頑張って読んで理解していく必要があるので、日本語にてこういう便利な機能があるよっていうのを紹介していく需要はあ…

【AWS/ECS/Fargate】Embulkのジョブをサーバレスに実行する基盤を作ってみるチュートリアル(パート4)

AWS

以下の記事のパート4です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト 【パート3】ECSのタスク定義と動作確認 【パート4】Step Functionsで簡単に実行できるように設定する(★本記事) ECSでのタスクの実行確認までできました…

【AWS/ECS/Fargate】Embulkのジョブをサーバレスに実行する基盤を作ってみるチュートリアル(パート3)

AWS

以下の記事のパート3です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト 【パート3】ECSのタスク定義と動作確認(★本記事) 【パート4】Step Functionsで簡単に実行できるように設定する 前回までのパートで、ECSでEmbulkを実行…

【AWS/ECS/Fargate】Embulkのジョブをサーバレスに実行する基盤を作ってみるチュートリアル(パート2)

AWS

以下の記事のパート2です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト(★本記事) 【パート3】ECSのタスク定義と動作確認 【パート4】Step Functionsで簡単に実行できるように設定する Cloud9とRDSのセットアップとデータの登…

【AWS/ECS/Fargate】Embulkのジョブをサーバレスに実行する基盤を作ってみるチュートリアル(パート1)

AWS

ECS(Elastic Container Service)とEmbulkの勉強したついでに、EmbulkのバッチETL処理をサーバレスの基盤で実行する環境を構築するチュートリアルを作ってみました。バッチ処理はクラウドの課金体系と相性がいいのでサーバレスで実行できるようにするとコス…

【AWS/CloudFront/S3/Cognito】静的ウェブサイトにCognitoの認証をつけたい(dbt)

AWS

タイトルの内容に入る前になぜこのようなことをしたいかという背景を少し語ります。 最近DWHをいかにアジャイルに構築して運用していくかについて考えています。商用のツールを使えばいいアプローチはいくらでもありますが、この手のツールはとても高価なイ…

【AWS/SAA-C02】ソリューションアーキテクトアソシエイト合格体験記

AWS

AWSのソリューションアーキテクトアソシエイト(SAA-C02)に合格しました。長すぎるくらいの準備期間を経ての受験だったので、思ったよりも簡単だなぁという印象でした。合格体験記ということで、シンプルに合格に至るまで情報をまとめておきます。 AWS歴 ・…

【AWS/Kinesis/DMS/KCL】KinesisとCDCを利用したストリーミング処理の構築チュートリアル

AWS

GWで時間があったので、少しストリーミング処理基盤に関して勉強してみました。とりあえず動く環境を作ることを一つのゴールにしてCloudformationの勉強もかねてサンプルのアプリケーションを作ってみました。一部、不出来なところは多いですが、細かいとこ…

【AWS】Amazon Linux2のExtras LibraryにProxy経由でアクセスするときは環境変数を設定するだけでいい

AWS

Amazon Linux2でyumだとちょっと足りないな…というときにお世話になるamazon-linux-extrasコマンドでProxyを通したいんだけどな…というときがありました。Google先生に聞いても上位でヒットする中に答えを見つけられなかったということもあり、シンプルに備…

【PostgreSQL】OSS-DB Gold ver.2.0 合格体験記

先日OSS-DB Exam Gold (ver.2.0)の試験に合格したので学習方法など参考になればと思いまとめておきます。正直勉強時間足りていないなと思いつつ当日を迎えてしまいましたが、何とかギリギリ合格ラインに滑り込めました。(試験時間ぎりぎりまで考えて心の準…

OSS-DB Silverの認定証と一緒にノートも届きました

OSS-DB Silverの合格後10日後くらいにLPI-Japanから認定証と認定カード以外にODD-DBのノートも届きました。 思ったより早かったです(´・ω・) OSS-DB Silverとともに届いたノートやシールノートの中身は…ぜひ合格して実物をご確認ください!(/ω\)(必ず届く…

【PostgreSQL】OSS-DB silver合格体験記

OSS-DB silverの試験に合格したので今回は合格体験記として情報をまとめようと思います。執筆時点で最新版のver2.0の情報になります。 対象はPostgreSQL 10と11ですが、執筆時点での最新版は12.3です。(13はまだプレビュー状態) 参考書の紹介 [改訂新版]…

【PostgreSQL】OSS-DB Exam Silver 技術解説無料セミナー(PostgreSQLのバックアップ方法)を受講

LPIが開催するOSS-DB Exam Silverのオンラインセミナーを受講した感想です。最後に検証環境での実行ログも残しておきます。参考にどうぞ【オンライン開催】OSS-DB Exam Silver 技術解説無料セミナー PostgreSQLのバックアップ方法 (2020/7/19(日) 13:00~14…

【PostgreSQL】私の ~/psqlrc はこれだ

psqlクライアントは対話型モードの時のプロンプトやページャーがいじれるのですが、私はこんな感じにしています。好みに合わせてカスタマイズしてみると面白いです。 [postgres@cent82-pg12-01 ~]$ cat ~/.psqlrc \set COMP_KEYWORD_CASE upper \set PROMPT1…

【PostgreSQL】VirtualBoxで検証環境を構築

PostgreSQLの勉強をする上で実機での検証をするためにVirtualBoxを利用しています。今回は私の検証環境の構築手順を紹介します。 検証環境の概要 ツールの準備 VirtualBox Teraterm 仮想マシンの準備 インストーラー VirutalBoxの設定 CentOSのインストール …

【PostgreSQL】「[改訂新版]内部構造から学ぶpostgresql 設計・運用計画の鉄則」を読んでみた

これからのCloud時代のDBAとしてOracle Databaseだけでなく、PostgreSQLについても知っていると強いので勉強しています。(というか最近Oracle触っていないな~)ネットで調べることに限界を感じたので、何かわかりやすい本はないかなと探してみました。次の…

【AWS CDK】cdk initするディレクトリ名でハマった件

最近、専らPostgreSQLとAWSの勉強ばかりしています。 この本を読んでAWSの勉強をさせてもらっていますが、本に記載されている演習でAWS CDKを触ったので、python版(本だとAWS CDKの親玉のtypescriptでした)のCDKの方が自分には理解しやすいぞということで…

SwingbenchでOracle Databaseにベンチマークしたい!

ベンチマークのマニアックな話です。Oracle Databaseに簡単に負荷がかけられるツールとしてSwingbenchが有名です。最近swingbenchに触る機会があり、ちょっと勉強したのでアウトプットしようと思います。swingbench自体の説明と負荷かけ結果をExcelでレポー…

RAC用AWRレポートの取得を非対話的に実行したい!

Oracle Databaseの性能情報の分析をするときに使うAWRレポートを自動化したい!...そんなことができるのかなっと思ったら変数をいじってあげればできるみたいです。細かい解説は...割愛します(笑) スクリプト読むと大体わかると思います( ̄▽ ̄) 大事なのは置…

【nmon】LinuxのOS性能取得ツール nmon 試してみたら便利だった

最近、LinuxでOS性能を取得したいよねって話になりまして、いろいろ調査しました。レポ―ト(Excelがよさげ)を出したいというゴールがあったので、なんかめんどくさいな~って思っていたらいいツール nmon にたどり着きました! 今回は備忘もかねて nmon の…

【ORACLE MASTER】12c Gold合格までの軌跡

実は9月の頭にORACLE MASTER Goldの試験に合格したので今回は合格にあたっての軌跡をまとめます。 【2021/05/09 追記】 2020年に新しい資格体系の試験が始まっています。(この記事は一つ前の体系のものです) 試験範囲などはコーソルさんのブログが参考にな…

Oracle DB 19cのRPMでのインストールできる環境の情報を取得してみた

先日以下の記事を書くにあたって構築した環境でいろいろ独特な構成になっているので、気になってどんな設定になっているのか確認してみました。(検証環境をサクッと立てるにはちょうどいいけど、)現場では使わないであろうRPMでのインストール。ちょっとマ…

Oracle検証環境構築手順~白本環境構築スクリプトの実行~

本記事は次の記事の中の手順です。 jimatomo.hatenablog.com 前の記事 jimatomo.hatenablog.com 6-1) スクリプトのダウンロード あとはスクリプトをダウンロードして実行するだけです! しかしながら、スクリプトがWindows向けに作られているのでいろいろ困…

Oracle検証環境構築手順〜Databaseの作成〜

本記事は次の記事の中の手順です。 jimatomo.hatenablog.com 前の記事 jimatomo.hatenablog.com 次の記事 jimatomo.hatenablog.com 5-1)「/etc/init.d/oracledb_ORCLCDB-19c」によるサンプルDBの作成 いよいよDB作成です。今回は自動でサンプルDBを作成して…

Oracle検証環境構築手順~事前設定とRPMを利用したインストール~

本記事は次の記事の中の手順です。 jimatomo.hatenablog.com 前の記事 jimatomo.hatenablog.com 次の記事 jimatomo.hatenablog.com 4-1) ネットワークとホスト名のの設定 CLIの画面でrootユーザーでログインする。 コンソール画面でネットワークの設定だけし…

Oracle検証環境構築手順〜Linuxのインストール〜

本記事は次の記事の中の手順です。 jimatomo.hatenablog.com 前の記事 jimatomo.hatenablog.com 次の記事 jimatomo.hatenablog.com 3-1) 仮想マシンの起動 仮想マシンを選択して「起動」をクリックします。 仮想マシン名をダブルクリックしても起動できます※…

Oracle検証環境構築手順〜VirtualBoxでの設定〜

本記事は次の記事の中の手順です。 jimatomo.hatenablog.com 前の記事 jimatomo.hatenablog.com 次の記事 jimatomo.hatenablog.com 2-1) 新規仮想マシンの追加 VirtualBoxを起動します(VirtualBoxマネージャー)。 新規をクリックします。 VirtualBoxマネー…