Apache Icebergにおける同時実行制御の仕組みと注意点 - 流沙河鎮

2025/01/19 55 users Apache Iceberg 同時実行制御 注意点

はじめに Icebergテーブルのアーキテクチャ Icebergの同時実行制御のコンセプト Icebergの書き込み処理の流れ 同時書き込み時のシナリオパターン データ競合チェック なぜデータ競合のチェックが必要か？ 主要なオペレーションで実施されるバリデーション AppendFiles OverwriteFiles (Copy-on-Write 更新/削除) RowDelt... 続きを読む

Apache Iceberg とは何か - 流沙河鎮

2023/09/24 139 users Apache Iceberg

はじめに 概要 Apache Iceberg(アイスバーグ)とは バージョン [注意] IcebergはTable Specである Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類 時間 truncate[W] bucket[N] Partition Evolution Sort Order ... 続きを読む