ぱと隊長日誌

ブログ運用もエンジニアとしての生き方も模索中

Transactional Information Systems 5章 MVCC勉強会 第二回 議論メモ

勉強会について Transactional Information Systems 5章 MVCC勉強会 第二回 の議論メモです。自分のメモをベースにまとめています。発言の聞き間違い、解釈違いの可能性があることをご了承ください。特記の無い引用は本で議論した箇所を示しています。Transa…

Transactional Information Systems 5章 MVCC勉強会 第一回 議論メモ

勉強会について Transactional Information Systems 5章 MVCC勉強会 第一回 の議論メモです。自分のメモをベースにまとめています。発言の聞き間違い、解釈違いの可能性があることをご了承ください。特記の無い引用は本で議論した箇所を示しています。Transa…

PostgreSQL の実行計画に現れる One-Time Filter の読み解き方

テーマ PostgreSQLの実行計画に現れる One-Time Filter とは、クエリ―実行時に1回だけ評価すればよいフィルターのことです。例えば、次のようなクエリーで現れます。 SELECT * FROM pg_type WHERE CURRENT_DATE = '2018-12-01'::date;このWHERE句はクエリー…

特定の分野を究めるとY型人材になる

先日、こんなツイートを見かけました。オタクというか、物事にマニアックな人というのは、興味の対象をこんな風に掘って行くのではないかと思っていて。最初はたしかに興味分野を掘り始めるのだけど、掘ってくうちに興味の対象外分野まで否応無く掘り返して…

PostgreSQL にてWHERE句で=演算子の左辺・右辺に同じ列名を指定すると行数推定が不正確になることがある

はじめに WHERE句で=演算子の左辺・右辺に同じ列名を指定したクエリを考えます。 SELECT count(*) FROM seq WHERE value = value;これは以下のクエリと等価です。 SELECT count(*) FROM seq WHERE value IS NOT NULL;value = value で value = NULL であれ…

PostgreSQL のシリアライザブル分離レベルにおけるスナップショットのタイミング

PostgreSQL 10 のマニュアルには以下の記載があります。 13.2.2. リピータブルリード分離レベル リピータブルリードのトランザクション内の問い合わせは、トランザクション内の現在の文の開始時点ではなく、トランザクションの最初のトランザクション制御以…

トランザクションで w-w はなぜ Lost Update ではないか?

課題 db tech showcase Tokyo 2018 (db tech showcase Tokyo 2018 | db tech showcase) でノーチラステクノロジーズ 神林さんが以下のテーマで講演されました。 MVCCにおけるw-w/w-r/r-wのあり方とcommit orderのあり方の再検討~Sundial: Harmonizing Concu…

DBTS2018「今後のDBのトランザクション処理のあり方について徹底討議する」パネラー参加記録

始めに db tech showcase Tokyo 2018 (db tech showcase Tokyo 2018 | db tech showcase) 今後のDBのトランザクション処理のあり方について徹底討議する ~"InvisibleWriteRule: トランザクションの書込み最適化" を中心に にパネラーとして参加してきました…

トランザクションをもっと深く知るための資料集

はじめに データベース(DB)を扱う方にとって、トランザクションは当たり前の存在です。そんな当たり前のものがどういった理論と技術で実現されているか、そしてそれらが今も進化していることをご存知でしょうか。トランザクションをもっと深く知りたい方に向…

トランザクションの Strictness と Rigorousness の定義を再確認する

はじめに トランザクションの Recoverability を理解するうえで Strictness (ST) と Rigorousness (RG) を避けては通ることができません。ただ、日本語の資料が少ないうえに用語の定義が若干あいまいなケースも見受けられました。そこで、本エントリでは資料…

PostgreSQLの一部の関数はトランザクション分離レベルに従わない

はじめに PostgreSQL 8.4.1 で pg_dump と index の再作成を同時に実行すると "ERROR: cache lookup failed for index" の発生することがあるのはなぜか?との質問に、tom lane さんがこんな回答をしていました。 pg_dump runs in a serializable transactio…

DB Online Day 2018 Summer「日本のデータベーススペシャリストは最終的にどこを目指すべきか?」聴講メモ

セッションについて DB Online Day 2018 Summer (DB Online Day 2018 Summer) 基調講演 日本のデータベーススペシャリストは最終的にどこを目指すべきか? の聴講メモです。講演者は 関 俊洋 さん [株式会社アシスト] です。自分のメモをベースにまとめてい…

DB Online Day 2018 Summer「データで見る、経験で語る、日本のデータベーススペシャリストのリアリティ」聴講メモ

セッションについて DB Online Day 2018 Summer (DB Online Day 2018 Summer) スペシャルセッション データで見る、経験で語る、日本のデータベーススペシャリストのリアリティ の聴講メモです。本セッションはパネルディスカッション形式で行われました。 …

PostgreSQLのシリアライザブルとコミット/ロールバックと遅延可能な読み取り専用トランザクションの関係

はじめに PostgreSQLのトランザクション分離レベルにはシリアライザブル(Serializable)があります。ドキュメントのシリアライザブル分離レベルの説明には以下の記載があります。 異常を防止するためにシリアライザブルトランザクションを使用するのであれば…

Bitmap Index Scan の後の Bitmap Heap Scan でRecheck処理が行われることの解説

はじめに PostgreSQL の実行計画において、Bitmap Index Scan の後に実行される Bitmap Heap Scan で "Recheck cond" と出力されます。Index Scan をしているにも関わらず、なぜ Heap Scan でインデックスの検索条件を再チェックする必要があるのか解説しま…

SQLの GROUP BY 句には列名だけでなく式も記述することができる

はじめに 「達人に学ぶSQL徹底指南書」(以下、達人SQL)の「1-1 CASE式のススメ」には GROUP BY 句に CASE 式の含まれるSQLが登場します。達人に学ぶ SQL徹底指南書 (CodeZine BOOKS)作者: ミック出版社/メーカー: 翔泳社発売日: 2008/02/07メディア: 単行…

海外からの旅行者に電車の乗換案内を英語で質問されたときの乗り越え方

はじめに 新幹線や飛行機だけでなく、日常的に通勤や遊びに行くために使う路線でも海外からの旅行者を多く見かけるようになりました。今後もさらに増えていくことでしょう。そんな状況を背景に、海外からの旅行者に電車の乗換案内を英語で質問されるかもしれ…

Oracle DB の DBCA で空きポートが使用中とエラー表示される場合の対処法

事象 Database Configuration Assistant (DBCA) を使用してデータベースを作成するとき、「新規リスナー作成」や「Enterprise Manager (EM) Database Express の構成」で、空きポートが使用中とエラー表示される。[DBT-06103] ポート(1,521)がすでに使用中で…

SQLのGROUP BY句の処理を理解する

はじめに SQLのGROUP BY句の解説記事は多くありますが、本エントリでは他の記事とは解説方法を変え、処理の段階を追って説明します。これにより、これまでGROUP BY句のふるまいにモヤモヤを感じていた方が少しでもスッキリできることを目指します。 また、CA…

Windows 10 April 2018 Update 適用後にリモートデスクトップ接続ができなくなってからの復旧手順の一例

事象・環境 ローカルPC及びリモートPC共に Windows 10 April 2018 Update(バージョン 1803)適用後、リモートデスクトップ接続ができなくなりました。表示されるエラーメッセージは以下の通りです。 「リモートデスクトップはコンピューター"*****"を…

Kindle for iOS で辞書よりWikipediaが先に表示される一因

Kindleには辞書が内蔵されており、調べたい単語を選択することで意味を調べることができます。また、言語に応じた辞書がデフォルトで表示されます。例えば、Kindle for PC で日本語の単語を選択すれば「デジタル大辞泉」、英単語を選択すれば「プログレッシ…

PostgreSQLの実行計画の実行順とコスト・実行時間の累積

はじめに PostgreSQLの実行計画の読み解き方は公式マニュアルで説明されています。PostgreSQL 10 でのリンクを示します。 14.1. EXPLAINの利用ですが、若干分かり辛い個所があるため、本エントリでは以下の観点に着目して補足することにします。 ノードの実…

ネストしたサブクエリにOR条件を含むSQLのパフォーマンスをPostgreSQLで改善する

はじめに ネストしたサブクエリ(副問合せ)はEXISTS条件でよく利用されます。ですが、このサブクエリのフィルタ条件次第ではパフォーマンス問題となることがあります。これを Oracle Database で改善する例がOracleの記事(以下、「記事」とだけ表記した場…

Oracle Database の LNNVL を PostgreSQL で実現する

Oracle Database には LNNVL というファンクションがあります。 LNNVL(condition) LNNVL の説明を Oracle Database 12c R2 マニュアルから引用します。 LNNVLは、条件のオペランドの1つまたは両方がNULLの可能性がある場合にその条件を簡単に評価する方法を…

Linux のディレクトリとファイルのパーミッション組み合わせと振る舞い

パーミッションとその組み合わせ Linux のディレクトリとファイルのパーミッションが組み合わさった時、どうふるまうのかを確認します。 ディレクトリ・ファイル単体 Linux のディレクトリ・ファイルのパーミッション表記で使用される文字は以下の定義がされ…

エルブラン・セマンティクス(Herbrand Semantics)理解メモ

はじめに データベースのトランザクション(特にスケジュール)の理論を勉強しようとすると、エルブラン・セマンティクス(Herbrand Semantics)の理解が必要となります。Herbrand Semantics の解説は以下の本・章にあります。Transactional Information Syste…

MANABIYA「技術者としての成長のための技術トレンド」聴講メモ

はじめに MANABIYA(【国内最大級のエンジニア向け技術祭典】MANABIYA -teratail Developer Days-) 2018/03/24(土)1時間目 技術者としての成長のための技術トレンド スピーカー:及川 卓也 さん [エンジニアリング・プロダクトアドバイザー] の聴講メモです…

MANABIYA「エンジニアのための自分経営戦略」聴講メモ

はじめに MANABIYA(【国内最大級のエンジニア向け技術祭典】MANABIYA -teratail Developer Days-) 2018/03/24(土)2時間目 エンジニアのための自分経営戦略 スピーカー:西尾 泰和 さん [サイボウズ・ラボ] の聴講メモです。メモは口頭説明を中心にまとめて…

二乗平均の分母はなぜ平方根に含めるのか?

はじめに 二乗平均の計算は各データを2乗して足してデータの個数で割り、そのあと平方根をとります。 各データを2乗して足すのはマイナスの符号をなくすためで、このままでは単位が2乗になるために平方根をとる、と多くの資料で説明されます。ですが、単位の…

デブサミ2018「【16-C-3】Gitで安定マスターブランチを手に入れる」聴講メモ

はじめに Developers Summit 2018 (Developers Summit 2018) 【16-C-3】Gitで安定マスターブランチを手に入れる スピーカー:井上 誠一郎 さん [ワークスアプリケーションズ] / 三宅 泰裕 さん [ワークスアプリケーションズ]) の聴講メモです。メモは口頭…