ぱと隊長日誌

ブログ運用もエンジニアとしての生き方も模索中

データベース

SerializabilityとMonotonicityとRigorousnessの関係

概要 motononeなスケジュールのクラスでは、スケジュールから任意のトランザクションが消失してもスケジュールのクラスが変わりません。CSRはmonotoneです。CSRだけではabortを扱うのが難しいため、ロックによる手法を組み合わせます。SS2PLによって作られる…

PostgreSQLマニュアルの「リピータブルリード分離レベル」における「制御レコード」とはなにか?

PostgreSQL(9.1以降)マニュアルの「13.2.2. リピータブルリード分離レベル」に以下の記述があります。 リピータブルリードモードでは、全てのトランザクションがデータベースの一貫した不変のビューの状態を参照することが保証されます。 しかし、このビュ…

NTTDATATC2017「本当は恐ろしい分散システムの話」聴講メモ

前書き NTTデータ テクノロジーカンファレンス 2017 (NTTデータ テクノロジーカンファレンス2017 デジタルトランスフォーメーション成功のカギ~ Hadoop, Spark, ブロックチェーン | NTTデータのHadoopソリューション) 【テクノロジー】本当は恐ろしい分散シ…

急がば回れ、選ぶなら近道 TX記事 読解メモ

目次 目次 はじめに 前提知識 トランザクションの基礎知識 数学記号 iff Serializabilityの選択 本エントリでの表記 Welcome back to the TRANSACTION! A Critique of ANSI SQL Isolation Levels再読 A critique of ansi sql isolation levels 解説公開用 (…

DBTS2017「次世代DB / 分散OLTP(MVCC系)を可能な限り全力で解説」聴講メモ

前書き db tech showcase Tokyo 2017 (db tech showcase Tokyo 2017 | db tech showcase) C31:次世代分散OLTP 次世代DB / 分散OLTP(MVCC系)を可能な限り全力で解説 の聴講メモです。スピーカーはノーチラステクノロジーズの神林さん(@okachimachiorz1)です…

DBTS2017 これからの”本命技術”はこう見つける! まとめ

前書き db tech showcase Tokyo 2017 (db tech showcase Tokyo 2017 | db tech showcase) A12 : KEYNOTE 2 これからの”本命技術”はこう見つける!~ポスト・リレーショナルデータベース時代を読み解くコツ~ のまとめ記事です。本セッションはウルシステムズ…

PostgreSQLの実行計画を読み解くための参考資料集

はじめに PostgreSQLは商用DBに比べて書籍が少なく、まとまった情報が入手しにくいです。また、有志の方がPostgreSQLに関する資料を公開していますが、散在しており、せっかくの有益な情報にアクセスしにくい状況にあります。そこで、本エントリではPostgreS…

PostgreSQLのオブジェクト識別子(OID)とキャスト

目的 オブジェクト識別子(以下、OID)とキャストについては、すでに詳細な解説記事があります。 オブジェクト識別子を活用する | Let's Postgres 本エントリではこの解説記事をベースにしつつ、理解し辛い点を補足します。本エントリの目次を示します。 目的 …

pg_rman の「最新の状態までリカバリ」の処理内容

目的 pg_rman で復元ポイントを指定せずにリストアを実行し、PostgreSQLを起動すると、可能な限り障害直前の状態までリカバリされます。pg_rman のマニュアルで「リストア・オプション」の節に以下の説明があります。 --recovery-target-timeline TIMELINE …

pg_rman によるバックアップで、バックアップ対象ファイルのタイムスタンプがシステム時刻より進んでいるとエラーとなる

事象 pg_rman によるバックアップ中に、以下のエラーが表示されて、処理が中断される。 $ pg_rman backup --backup-mode=full --with-serverlog --progress INFO: copying database files Processed 1183 of 1183 files, skipped 0 INFO: copying archived W…

PostgreSQL実行計画のハッシュノードに出力されるバケット数とバッチ数の解説

目的 PostgreSQLの実行計画のハッシュノード(Hash)に出力されるバケット数(Buckets)とバッチ数(Batches)について解説を行います。また、バッチ数とパフォーマンスの関係についても触れます。このテーマについて Pat Shaughnessy さんが英語の解説記事を公開…

「データベースパフォーマンスアップの教科書」の「猶予ハッシュジョイン」説明補足

はじめに 「データベースパフォーマンスアップの教科書」(以下、書籍)はデータベースの内部処理を解説した数少ない本です。その解説にはややわかりづらい点があります。また、その中で取り上げられている「猶予ハッシュジョイン」はネットで情報を探しにく…

テーブル結合における外部表・内部表の選択

目的 テーブル結合の外部表(駆動表)はデータセットの小さい方を選ぶ可能性が高いです。データセットの小さい方を選ぶことでI/Oコストの観点から有利になることを示します。また、オプティマイザの外部表・内部表選択基準の例を挙げます。 疑問 表Rと表Sの…

PostgreSQLの検査制約におけるNULLの扱い

はじめに PostgreSQLを基準とした資格試験の問題集「徹底攻略 OSS-DB Silver問題集[OSDBS-01]対応」にて、以下の検査制約を設定したテーブルに対して、値にNULLを含んだINSERTが成功するか?という問題がありました。 CREATE TABLE points ( col1 INTEGER …

OSS-DB Silver [OSDBS-01] 受験対策教材集

はじめに OSS-DB Silver [OSDBS-01] 受験対策の教材はあまり多くありません。ですが、よく探してみると、自習で役立つ資料が公開されていたりします。 このエントリでは私が受験対策のために実際に使い、参考になったものをご紹介いたします。 テキスト OSS…

OSS-DB silver問題集 [OSDBS-01]対応 補足

OSS-DB Silver [OSDBS-01] 受験対策としてインプレスジャパンの問題集を利用されている方は多いかと思います。徹底攻略 OSS-DB Silver問題集[OSDBS-01]対応 (ITプロ/ITエンジニアのための徹底攻略)作者: SRA OSS Inc.日本支社北川俊広,株式会社アシスト田…

PostgreSQLのデータベースクラスタ及びテーブルスペースの関係

はじめに PostgreSQLの「データベースクラスタ」及び「テーブルスペース(テーブル空間)」の関係を説明します。 前提 このエントリではPostgreSQL 9.6のドキュメントをベースに解説します。 データベースクラスタ PostgreSQLにおける「データベースクラスタ…

「SQLパフォーマンス詳解」(原文タイトル:SQL Performance Explained)の紹介と購入時のポイント

本の紹介 「SQLパフォーマンス詳解」(原文タイトル:SQL Performance Explained)はデータベースのBツリーインデックスについて解説しています。インデックスの仕組みから実務に活かせるテクニックまで幅広く取り上げられています。 データベースのインデック…

SQLのWHERE句で用いられる相関サブクエリを理解する

はじめに 相関サブクエリもしくはEXISTS述語の使い方として、以下のようなSQLがよく取り上げられます。 SELECT * FROM item i WHERE EXISTS (SELECT * FROM stock s WHERE i.id = s.id); これに対して以下のデータが与えられたとします。◆itemテーブル id na…

SQLのWHERE句の処理を理解する

はじめに SQLのWHERE句は「集合から条件に合致する行を選択する」処理です。 ですが、SQLの様々な書き方を学ぶうちにWHERE句の役割について混乱してしまうことがあるかもしれません。本エントリではこの混乱の解消を目標に説明します。 SQLの実行順序 SQLの…

Oracle JDBC ドライバのバージョンを管理する

はじめに Oracle JDBCドライバのバージョン管理についてまとめます。 できる限り公式の情報に基づいていますが、推測に頼らざるを得なかった箇所はその旨記載しています。 はじめに 手元にあるOracle JDBC ドライバのバージョンはどうやって調べるのか? OTN…

Oracle Database 12cR1 で列追加した時の行データブロック検証

目的 Oracle Database 12cR1 で列追加を行った時、行データブロックがどのように変化するかを検証する。 予備知識 以下のエントリを読んでおくと理解しやすい。Oracle Databaseでdefault指定の列を追加するときの挙動 - ぱと隊長日誌 Oracle Databaseのバー…

Oracle Database のデータ・ブロックのダンプとその解析

目的 Oracle Databaseのデータ・ブロックをダンプするコマンドは正式にドキュメント化されていない。ただ、断片的な情報がいくつかのエントリで公開されている。このエントリでダンプ方法とその実例、及び解析の概要とさらに詳細を知るためのエントリへのリ…

Oracle Databaseでdefault指定の列を追加するときの挙動

疑問 Oracle Databaseでdefault指定の列を追加すると、長時間のLibrary chache lockが発生すると聞く。これは本当か? 結論 11gR1より前のバージョンでは起こりえた。行追加により既存行が全て更新されるため。11gR1-11gR2ではdefault指定かつNOT NULL制約の…

Oracle Database インスタンスとリスナーの起動順序

原則として、Oracle Database ではリスナーを起動した後、インスタンスを起動する。 SQL*Plusを使用してデータベース・インスタンスを起動する前に、次の準備手順を実行する必要があります。 1. データベースが依存するOracleコンポーネントが起動されたこと…

Oracleの日付書式"RR"と"YY"は4桁表記にも適用できる

Oracle Database の日時書式モデルは以下のように定義されている。 要素 説明 RR 2桁のみを使用して、21世紀に20世紀の日付を格納できます。 YY 年の2桁。 参考:書式モデル実際には日付書式に"RR"と"YY"を指定しても、年に4桁を使用できる。 SQL> select TO…

Oracle Database のTO_DATEファンクションでORA-01861が発生する

事象 Oracle Database にJDBC経由で接続し、TO_DATEファンクションを日付フォーマット指定無しに実行すると、環境によってORA-01861が発生する場合がある。 例えば、Windows上では問題ないのに、Linux上で同じJavaプログラムを動かすとエラーになることがあ…

Oracle Database 12c Release 1 の機能評価用検証環境 構築手順

目的 Oracle Database 12c Release 1 の機能評価用検証環境 構築手順を説明します。 Oracleからガイドが提供されていますので、補足する形で説明します。 利用するガイドはこちら。 Oracle VM VirtualBox を用いた Oracle Database 12c Release 1 環境の構築…

MySQL(InnoDB)はフィールド値の一部で主キーを構成できる&そのメリット

MySQLのインデックスを作成する際、対象となるフィールド値の一部だけを使って構成できることを知らなかった。サイズが大きいフィールドにprimary keyをはる必要がある場合に助かる。 http://msykt.hatenablog.com/entry/2013/07/30/023704 このようにフィー…