自分の検証用途で利用しているAWSアカウントでBudgetのアラートが飛んできて、何がそんなにお高いのかと調べてみたら、SageMakerが25ドルくらいになっていました。SageMakerは確かにCanvasとかちょっと立ち上げてみたから、そのせいかなと思いつつも、1,2時…
2022/10/28 更新 この不具合は修正されました。 過去にこんなことがあったのだなくらいに思っていてください。 In the left column, enter Patch Group or PatchGroup. If you have allowed tags in EC2 instance metadata, you must use PatchGroup (withou…
最近dbtについて情報を収集していたら、Great ExpectationsというOSSと合わせて使っているという事例があり、これは何者?という疑問が湧いたのでちょっと調べてさわり程度に動かしてみました。https://greatexpectations.io/GitHub - great-expectations/gr…
最近もっぱらdbt (data build tool) についての検証をしています。dbtは現時点だとなかなか日本語の情報があまりなく公式のドキュメントを頑張って読んで理解していく必要があるので、日本語にてこういう便利な機能があるよっていうのを紹介していく需要はあ…
以下の記事のパート4です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト 【パート3】ECSのタスク定義と動作確認 【パート4】Step Functionsで簡単に実行できるように設定する(★本記事) ECSでのタスクの実行確認までできました…
以下の記事のパート3です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト 【パート3】ECSのタスク定義と動作確認(★本記事) 【パート4】Step Functionsで簡単に実行できるように設定する 前回までのパートで、ECSでEmbulkを実行…
以下の記事のパート2です。 【パート1】開発環境の準備 【パート2】Embulkコンテナの作成・単体テスト(★本記事) 【パート3】ECSのタスク定義と動作確認 【パート4】Step Functionsで簡単に実行できるように設定する Cloud9とRDSのセットアップとデータの登…
ECS(Elastic Container Service)とEmbulkの勉強したついでに、EmbulkのバッチETL処理をサーバレスの基盤で実行する環境を構築するチュートリアルを作ってみました。バッチ処理はクラウドの課金体系と相性がいいのでサーバレスで実行できるようにするとコス…
タイトルの内容に入る前になぜこのようなことをしたいかという背景を少し語ります。 最近DWHをいかにアジャイルに構築して運用していくかについて考えています。商用のツールを使えばいいアプローチはいくらでもありますが、この手のツールはとても高価なイ…
AWSのソリューションアーキテクトアソシエイト(SAA-C02)に合格しました。長すぎるくらいの準備期間を経ての受験だったので、思ったよりも簡単だなぁという印象でした。合格体験記ということで、シンプルに合格に至るまで情報をまとめておきます。 AWS歴 ・…
GWで時間があったので、少しストリーミング処理基盤に関して勉強してみました。とりあえず動く環境を作ることを一つのゴールにしてCloudformationの勉強もかねてサンプルのアプリケーションを作ってみました。一部、不出来なところは多いですが、細かいとこ…
Amazon Linux2でyumだとちょっと足りないな…というときにお世話になるamazon-linux-extrasコマンドでProxyを通したいんだけどな…というときがありました。Google先生に聞いても上位でヒットする中に答えを見つけられなかったということもあり、シンプルに備…
先日OSS-DB Exam Gold (ver.2.0)の試験に合格したので学習方法など参考になればと思いまとめておきます。正直勉強時間足りていないなと思いつつ当日を迎えてしまいましたが、何とかギリギリ合格ラインに滑り込めました。(試験時間ぎりぎりまで考えて心の準…
OSS-DB Silverの合格後10日後くらいにLPI-Japanから認定証と認定カード以外にODD-DBのノートも届きました。 思ったより早かったです(´・ω・) OSS-DB Silverとともに届いたノートやシールノートの中身は…ぜひ合格して実物をご確認ください!(/ω\)(必ず届く…
OSS-DB silverの試験に合格したので今回は合格体験記として情報をまとめようと思います。執筆時点で最新版のver2.0の情報になります。 対象はPostgreSQL 10と11ですが、執筆時点での最新版は12.3です。(13はまだプレビュー状態) 参考書の紹介 [改訂新版]…
LPIが開催するOSS-DB Exam Silverのオンラインセミナーを受講した感想です。最後に検証環境での実行ログも残しておきます。参考にどうぞ【オンライン開催】OSS-DB Exam Silver 技術解説無料セミナー PostgreSQLのバックアップ方法 (2020/7/19(日) 13:00~14…
psqlクライアントは対話型モードの時のプロンプトやページャーがいじれるのですが、私はこんな感じにしています。好みに合わせてカスタマイズしてみると面白いです。 [postgres@cent82-pg12-01 ~]$ cat ~/.psqlrc \set COMP_KEYWORD_CASE upper \set PROMPT1…
PostgreSQLの勉強をする上で実機での検証をするためにVirtualBoxを利用しています。今回は私の検証環境の構築手順を紹介します。 検証環境の概要 ツールの準備 VirtualBox Teraterm 仮想マシンの準備 インストーラー VirutalBoxの設定 CentOSのインストール …
これからのCloud時代のDBAとしてOracle Databaseだけでなく、PostgreSQLについても知っていると強いので勉強しています。(というか最近Oracle触っていないな~)ネットで調べることに限界を感じたので、何かわかりやすい本はないかなと探してみました。次の…
最近、専らPostgreSQLとAWSの勉強ばかりしています。 この本を読んでAWSの勉強をさせてもらっていますが、本に記載されている演習でAWS CDKを触ったので、python版(本だとAWS CDKの親玉のtypescriptでした)のCDKの方が自分には理解しやすいぞということで…
ベンチマークのマニアックな話です。Oracle Databaseに簡単に負荷がかけられるツールとしてSwingbenchが有名です。最近swingbenchに触る機会があり、ちょっと勉強したのでアウトプットしようと思います。swingbench自体の説明と負荷かけ結果をExcelでレポー…
Oracle Databaseの性能情報の分析をするときに使うAWRレポートを自動化したい!...そんなことができるのかなっと思ったら変数をいじってあげればできるみたいです。細かい解説は...割愛します(笑) スクリプト読むと大体わかると思います( ̄▽ ̄) 大事なのは置…
最近、LinuxでOS性能を取得したいよねって話になりまして、いろいろ調査しました。レポ―ト(Excelがよさげ)を出したいというゴールがあったので、なんかめんどくさいな~って思っていたらいいツール nmon にたどり着きました! 今回は備忘もかねて nmon の…
実は9月の頭にORACLE MASTER Goldの試験に合格したので今回は合格にあたっての軌跡をまとめます。 【2021/05/09 追記】 2020年に新しい資格体系の試験が始まっています。(この記事は一つ前の体系のものです) 試験範囲などはコーソルさんのブログが参考にな…
先日以下の記事を書くにあたって構築した環境でいろいろ独特な構成になっているので、気になってどんな設定になっているのか確認してみました。(検証環境をサクッと立てるにはちょうどいいけど、)現場では使わないであろうRPMでのインストール。ちょっとマ…
本記事は次の記事の中の手順です。 jimatomo.hatenablog.com 前の記事 jimatomo.hatenablog.com 6-1) スクリプトのダウンロード あとはスクリプトをダウンロードして実行するだけです! しかしながら、スクリプトがWindows向けに作られているのでいろいろ困…
本記事は次の記事の中の手順です。 jimatomo.hatenablog.com 前の記事 jimatomo.hatenablog.com 次の記事 jimatomo.hatenablog.com 5-1)「/etc/init.d/oracledb_ORCLCDB-19c」によるサンプルDBの作成 いよいよDB作成です。今回は自動でサンプルDBを作成して…
本記事は次の記事の中の手順です。 jimatomo.hatenablog.com 前の記事 jimatomo.hatenablog.com 次の記事 jimatomo.hatenablog.com 4-1) ネットワークとホスト名のの設定 CLIの画面でrootユーザーでログインする。 コンソール画面でネットワークの設定だけし…
本記事は次の記事の中の手順です。 jimatomo.hatenablog.com 前の記事 jimatomo.hatenablog.com 次の記事 jimatomo.hatenablog.com 3-1) 仮想マシンの起動 仮想マシンを選択して「起動」をクリックします。 仮想マシン名をダブルクリックしても起動できます※…
本記事は次の記事の中の手順です。 jimatomo.hatenablog.com 前の記事 jimatomo.hatenablog.com 次の記事 jimatomo.hatenablog.com 2-1) 新規仮想マシンの追加 VirtualBoxを起動します(VirtualBoxマネージャー)。 新規をクリックします。 VirtualBoxマネー…