Apache Icebergにおける同時実行制御の仕組みと注意点 - 流沙河鎮

2025/01/19 55 users Apache Iceberg 同時実行制御 注意点

はじめに Icebergテーブルのアーキテクチャ Icebergの同時実行制御のコンセプト Icebergの書き込み処理の流れ 同時書き込み時のシナリオパターン データ競合チェック なぜデータ競合のチェックが必要か？ 主要なオペレーションで実施されるバリデーション AppendFiles OverwriteFiles (Copy-on-Write 更新/削除) RowDelt... 続きを読む

Apache Iceberg とは何か - 流沙河鎮

2023/09/24 139 users Apache Iceberg

はじめに 概要 Apache Iceberg(アイスバーグ)とは バージョン [注意] IcebergはTable Specである Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類 時間 truncate[W] bucket[N] Partition Evolution Sort Order ... 続きを読む

IFTTTでTwitterへの投稿をmstdn.jpにも転送する時の考慮点 - 流沙河鎮

2023/04/09 9 users Twitter wikipe ifttt Fediverse

Fediverseデビューしたものの即座にTwitterを離脱するのは難しそう。でもFediverse側も盛り上げていきたい。なので当面はTwitterとFediverse両方に同じ内容をポストしようとなるのだが、これがめんどくさい。そこで自動化することにした。(Twitterが国境を開放してくれればこんな事は考えなくていいのだが...) ja.wikipe... 続きを読む